基于深度特征提取和DCT变换的图像复制粘贴篡改检测*

魏伟一,赵毅凡,陈 帼

(西北师范大学计算机科学与工程学院，甘肃 兰州 730070)

随着图像编辑软件的发展，普通用户可以轻易地将图像篡改为难以肉眼识别的非真实图像。在新闻、司法等行业，需要鉴别图像真伪，以确定信息的可靠性。复制粘贴篡改检测CMFD(Copy-Move Forgery Detection)的目的是检测同幅图像中是否存在2处甚至多处相同或相似区域。CMFD算法通常分为基于关键点的算法、基于图像块的算法及关键点和图像块相结合的算法。

基于关键点的算法首先提取局部特征，再进行特征点匹配。目前应用较广泛的特征点有SIFT(Scale Invariant Feature Transform)[1]和SURF(Speeded Up Roubst Feature)[2]等，特征匹配算法有g2NN、构建KD树和随机蕨分类器[3]等。Alhammadi等人[2]通过单图像超分辨率SISR(Single Image Super Resolution)算法进行预处理，生成高分辨率图像，提取SURF特征点后进行2NN匹配，最后通过层次聚类过滤错误匹配。Yang等人[4]首先通过计算自适应分布阈值提取SURF关键点，并引入BRISK(Binary-Robust-Invariant-Scalable-Keypoints)[5]来描述局部特征，然后通过嵌入式随机蕨分类器进行匹配。Li等人[6]证明了通过降低对比度阈值和调整图像大小，即使在平滑或较小的区域也可以生成足够数量的SIFT关键点，并提出了新的层次匹配策略和迭代定位方案。Lin等人[7]提出将LIOP(Local-Intensity- Order-Pattern)和SIFT形成组合特征，利用传递匹配改进匹配关系，同时提出新的基于图像分割的滤波方法来消除误匹配。

基于图像块的算法首先将图像分割为重叠或非重叠块，然后提取块特征进行匹配。此类算法匹配精度高，其效率与块特征提取密切相关，因此恰当的块特征提取方法有利于提高效率。目前常用的提取块特征的算法有DCT(Discrete- Cosine-Transform)[8]、DWT(Discrete-Wavelet-Transform)[9]、FMT(Fourier-Mellin-Transform)[10]和Hu矩[11]等。块匹配过程中，Muja等人[12]通过建立KD树来寻找最佳匹配对；
Ryu等人[13]提出了基于局部敏感哈希的高效块匹配方法；
Barnes等人[14]提出了PatchMatch方案，利用图像中的其他区域来恢复边缘区域，搜索块特征之间的相关性，以寻找最佳匹配；
Chen等人[15]从彩色图像中提取分数阶四元数FrQZMs特征，然后利用改进的PatchMatch算法对FrQZMs特征进行匹配。

在图像块与关键点相结合的算法研究方面，Bi等人[16]将图像分割成多尺度且不规则的非重叠块，然后提取每块的SIFT特征作为块特征，随后通过自适应块匹配算法寻找可疑伪造区域；
Chen等人[11]提取SIFT特征进行g2NN匹配，再通过计算图像块的Hu不变矩进行块匹配。

深度学习在计算机视觉领域应用日益广泛。Liu等人[17]利用COB(Convolutional-Oriented-Boundaries)网络对图像进行自适应分割，随后通过SKPD(Segmentation-based-KeyPoint-Distribution)策略检测关键点，再利用卷积核网络CKN(Convolutional Kernel Network)提取特征。Agarwal等人[18]使用VGG(Visual Geometry Group)网络对分割块进行多尺度特征提取并进行深度重构，然后采用ABM(Adaptive-Block-Matching)算法进行块匹配。

基于关键点的算法所需的特征点数目通常难以确定，基于图像块的算法则时间复杂度高且定位区域不够完整。针对上述问题，本文提出一种采用自适应阈值提取图像深度特征的算法，并结合块特征和点特征分别进行初步匹配和基于卷积运算的精细匹配，完整定位出篡改区域。

本文利用新的基于全卷积神经网络FCN(Fully Convolutional Network)的特征提取器，在融合颜色和纹理信息的图像中计算自适应特征提取阈值，进而获得图像深度特征;然后通过基于DCT变换的初始匹配和基于卷积运算的精确匹配来获得篡改区域。算法流程如图1所示。

Figure 1 Flow chart of the proposed algorithm图1 本文算法流程

2.1 图像颜色信息和纹理信息融合

在CMFD任务中，提取传统特征(如SIFT、SURF等)和深度特征时，通常是基于图像颜色信息，忽略了纹理信息，导致所提取的特征不够均匀，数目也有所限制。因此，本文提出将图像颜色信息和纹理信息进行融合，并对图像进行直方图均衡化处理，以获取更多的特征点。

LBP(Local Binary Pattern)值由式(1)和式(2)定义:

(1)

(2)

其中，ip表示邻域像素值，ic表示中心像素值,Np表示邻域像素数量。

遍历所有像素得到由LBP值构成的二维矩阵，即LBP通道。将原始RGB图像与LBP通道融合，记为RGB_L图像，并进行直方图均衡化处理。

为证明在相同阈值下RGB_L图像中的特征点分布更加均匀，在GRIP数据集[19]上采用特征点均匀度评价算法进行分布均匀度评价，通过方差衡量特征点数目的波动程度，特征点分布均匀度U越大表示特征点分布越均匀。该算法如算法1所示。

算法1特征点均匀度评价算法

输入：篡改图像。

输出：特征点分布均匀度。

步骤1读入图像并提取特征点；

步骤2按照batch大小将图像非重叠分块，并统计每个图像块的特征点数目，记为Ni,i=1,2,…,n；

步骤3按照式(3)计算N1～Nn的方差，通过式(4)计算图像的特征点分布均匀度：

(3)

(4)

算法1中特征提取阈值t设为0.001，在GRIP数据集中图像大小为1024×768，为保证图像分块大小的一致性和避免分块数目过多，设图像块大小batch为256×256，则n=12。图2a是提取的RGB图像特征点，图2b是提取的RGB_L图像特征点，表1是图2和整个数据集上的平均分布均匀度对比。

Figure 2 Comparison of the effect of feature points extraction before and after pretreatment图2 预处理前后特征点提取效果对比

Table 1 Feature points distribution uniformity of figure 2 and GRIP dataset

2.2 采用自适应阈值提取图像特征

2.2.1 自适应特征提取阈值

不同图像要获得足够的特征点数目，需要单独设置特征提取阈值，这导致算法无法端到端进行。尽管Li等人[6]提出了自适应阈值算法，但该算法只是在计算单个超像素块的特征点密度后，再根据原特征提取阈值进行向下调整，算法的时间复杂度较高。本文提出结合图像信息熵和LBP值计算自适应特征提取阈值，以获得合适的特征点数目。

结合图像熵和平均LBP值，自适应计算图像的特征提取阈值，其定量关系由式(5)给出：

(5)

Figure 3 Four tampered images 图3 4幅篡改图像

Table 2 Relationship between the number of image feature points and image entropy and average LBP value

2.2.2 利用FCN特征检测器提取深度特征

针对计算机视觉中的几何变换问题，DeTone 等人[20]提出采用自监督训练全卷积网络FCN来作为特征检测器，提取图像的SuperPoint特征点。相比SIFT、SURF和ORB(Oriented FAST and Rotated BRIEF)等传统特征，SuperPoint特征点的提取更加快速，特征点提取的描述更加全面和鲁棒。

此特征检测器由3个模块组成：1个编码器和2个共享解码器，如图4所示。编码器模块由1个卷积层、3个连续池化层和激活函数组成；
特征点解码器模块生成特征点位置信息；
描述符解码器模块生成特征描述向量;W,H和D分别表示图像的宽、高和通道数。

将融合的RGB_L图像作为检测器的输入，计算自适应特征提取阈值检测图像特征点，并得到特征点集合：

(1)特征点位置集合P={p1,p2,p3,…,pn}，其中pm=(xm,ym)代表特征点m的位置坐标，n是特征点数目。

(2)特征点描述符集合F={f1,f2,f3,…,fn}，其中fm代表特征点m的256维特征向量。

Figure 4 Network structure of feature detector图4 特征检测器网络结构

2.3 基于DCT变换和卷积操作进行特征匹配

2.3.1 粗略匹配

基于图像块的CMFD算法通常将图像重叠分块后再进行迭代匹配，算法时间复杂度高且定位区域不完整。针对此问题，本文提出了二级匹配策略，即以SuperPoint特征点为中心分别进行粗略匹配和精细匹配，完整定位篡改区域。

本刊社长、总编辑、旅游文化创意研究院院长刘建波向记者介绍了研究院的概况，他说，研究院将依托济南大学和历文学院的智力资源优势，抓住当下文化和旅游融合的机遇，围绕省委省政府的中心工作，紧扣红色旅游、康养和研学旅游等版块的热点和难点，以多种方式合作开展旅游理论研究、实践总结、学术交流、智库建设和决策咨询等工作，实现产学研有机对接，为山东省文化旅游融合发展提供智力支持、数据支持、市场支持和产品支持，为塑造山东新形象贡献自己的力量。

以SuperPoint特征点为中心取8*8的图像块进行DCT变换，变换公式如式(6)所示：

(6)

其中，x,μ=0,1,2,…,M-1；
y,ν=0,1,2,…,N-1;M×N表示图像矩阵的大小。在DCT域图像的能量主要集中在左上角，因此通过“Z形”截断DCT域系数后得到16维的块描述向量，即得到集合 。迭代计算图像块描述向量之间的欧氏距离，如式(7)所示:

(7)

其中,mi,mj分别表示2个维度相同的特征向量。若D(mi,mj)小于阈值T，则认为2个图像块匹配。

经过粗略匹配，篡改区域被划分为篡改区域A和篡改区域B，即可能相似的2个区域，如图5所示。

2.3.2 过滤误匹配

由图5c可以看出，经过粗略匹配后会出现部分错误匹配，因此，本文将进一步计算匹配块对应的SuperPoint特征向量的相似性，以消除误匹配。设一对匹配块对应的特征点描述向量分别为f1=[a1,a2,…,a256]和f2=[b1,b2,…,b256]，由于余弦相似度可以衡量2个向量之间的方向相关性，因此本文采用式(8)计算2个特征向量之间的相似性:

Figure 5 Results of rough matching图5 粗略匹配结果

(8)

当所得余弦相似度大于阈值Tcos时保留匹配块，否则消除错误匹配，结果如图5d所示。

2.3.3 基于卷积运算的精细匹配

经过粗略匹配和过滤误匹配后，能够准确得知图像是否经过篡改，但定位区域不够完整时，所得篡改区域往往小于真实篡改区域。因此，本文提出利用卷积运算进一步细化篡改区域，即在初步匹配得到的2类篡改区域中使用共享卷积核进行卷积运算，通过比较2个区域的卷积值是否相同来进行精细匹配，算法描述如算法2所示。其中，凸包由粗略定位的篡改区域中所有坐标点计算最外围坐标得到，最后采用形态学操作填充空洞区域。

算法2精细匹配算法

输入：A、B区域内所有匹配块的角点坐标集合。

输出：块标记为0或1。

步骤1分别读取区域A内所有匹配块的角点坐标集合，并通过Hull算法分别得到凸包1和凸包2。

步骤2确定大于凸包边缘的区域A′和B′。

步骤3在区域A′和B′的相同位置，采用共享卷积核分别计算卷积值A′i和B′i。

步骤4若A′i=B′i，将位置i所在的块区域标记为1；
否则，将位置i所在的块区域标记为0。

步骤5重复步骤3和步骤4，直至遍历完整个区域A′和B′。

3.1 数据集及评价指标

本文选择2个公共数据集进行实验，分别是GRIP数据集和CoMoFoD数据集。GRIP[19]数据集包含80幅光滑程度不同的篡改图像及其对应的80幅真值图，图像大小均为768×1024像素。CoMoFoD[21]数据集包含260组图像集，每组图像集包括经过不同处理的篡改图像、2幅真值图及原始图像。篡改图像包括经过平移、旋转、缩放、JPEG压缩、模糊和噪声添加等攻击的图像。

实验采用准确率P、召回率R、F值和运行时间作为评价指标，其定义分别如式(9)～式(11)所示:

(9)

(10)

(11)

其中，NTP表示检测正确的像素数目，NFP表示检测错误的像素数目，NFN表示未检测到的像素数目。通过这3项指标和运行时间比较本文算法和文献[8,11]算法在2个公共数据集上的实验结果，以表明本文算法的优越性。

3.2 实验参数设置

在实验中，根据先验知识和实验效果对实验参数进行设置，具体参数值如表3所示。相比其他参数值设置，在表3的参数设置下，本次实验的效果最具优势。

Table 3 Setting of experimental parameters

Figure 6 Experimental results comparison among the proposed algorithm and those from reference[8,11]图6 与文献[8,11]算法实验结果对比

3.3 实验结果对比

与文献[8,11]相比，本文算法的时间复杂度低，且评价指标均能达到很好的效果，图6是GRIP数据集中4组篡改图像的对比结果。从像素级结果可以看出，文献[8]算法存在检测区域不完整且存在错误匹配的问题;文献[11]算法由于采用区域生长的算法来获得最终结果，导致检测区域不够精确;本文算法的定位结果均优于以上算法的。

算法的评价指标结果如表4所示，本文算法的准确率和F值均比文献[8,11]的高，且运行时间最少。文献[8]算法通过直接将图像划分为重叠块并进行DCT变换获得块特征，随后采用欧氏距离进行块特征匹配。相比文献[8]算法，本文算法仅在特征点所在区域提取块特征并匹配，大大提高了效率，且基于卷积运算的精确匹配使检测区域更加完整。

Table 4 Comparison of evaluation indicators of different algorithms on GRIP dataset

文献[11]算法首先提取SIFT特征点并进行g2NN匹配，在匹配点对的基础上再次提取Hu矩特征，并利用区域生长获得最终伪造区域。由于g2NN算法在特征点数目较多的情况下效率并不理想，本文利用欧氏距离来衡量块特征的相似性并利用点特征来消除误匹配，明显降低了时间复杂度。

为衡量本文算法在不同数据集和不同攻击下的有效性，同时在包含不同攻击图像的CoMoFoD数据集上进行实验。此数据集包含2部分：一是大小为512×512像素的图像，共10 400幅；
二是大小为3000×2000像素的图像，共3 120幅。为表明算法在小区域篡改图像的性能，实验中仅选取大小为512×512像素的图像进行验证。CoMoFoD数据集的每组篡改图像包含经过不同变换因子进行后处理的图像，每组篡改图像的变换参数如表5所示。

Table 5 Transformation factors of each tampered images

算法在CoMoFoD数据集上的部分实验结果如图7所示，其中图7a分别是仅经过单处篡改、压缩处理、添加噪声和模糊处理的图像，图7b是真值图，图7c是本文算法的检测结果。当图像经过压缩和噪声处理后，图像的检测效果有所下降，检测区域的完整性有下降但仍然能够定位出伪造区域。

Figure 7 Detection results on CoMoFoD dataset图7 CoMoFoD数据集上的检测结果

本文算法与文献[8,11]算法在不同变换参数下的检测结果如表6、表7和图8所示。相比其他数据集，本文在CoMoFoD数据集上并没有达到最佳效果，但是相比文献[8,11]算法，本文算法的实验结果较为理想。

Table 6 F values of different noise parameters

Table 7 F values of different fuzzy parameters

Figure 8 F values for different compression parameters图8 不同压缩参数的F值

本文通过预处理融合图像颜色信息和纹理信息得到更均匀的特征点，并通过计算自适应阈值和基于全卷积网络的特征提取器获得图像深度特征。在后续匹配中，为检测到更完整的篡改区域，在进行初步块匹配之后，通过基于卷积运算的精确匹配得到完整实验结果。通过实验结果对比可知，本文算法时间复杂度较低，并且能够更准确地定位出篡改区域。但是，本文算法对于几何变换的图像检测效果不理想，后期将在此方面继续改进。

猜你喜欢 特征提取像素卷积 像素前线之“幻影”2000小哥白尼(军事科学)(2022年2期)2022-05-25基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02卷积神经网络的分析与设计电子制作(2019年13期)2020-01-14“像素”仙人掌红领巾·萌芽(2019年8期)2019-08-27基于Gazebo仿真环境的ORB特征提取与比对的研究电子制作(2019年15期)2019-08-27从滤波器理解卷积电子制作(2019年11期)2019-07-04基于Daubechies(dbN)的飞行器音频特征提取电子制作(2018年19期)2018-11-14基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20ÉVOLUTIONDIGAE Style de vie tactile中国与非洲(法文版)(2017年10期)2017-11-23Bagging RCSP脑电特征提取算法自动化学报(2017年11期)2017-04-04

推荐访问:篡改 粘贴 变换