基于小波变换及注意力机制的T,型图像去雾网络

杨燕，武旭栋，杜康

（兰州交通大学电子与信息工程学院，甘肃兰州 730070）

在雾霾等天气条件下，光线经过大气会受到大气中悬浮颗粒（如灰尘、泡沫、薄雾等）的吸收和散射效应的影响，使得在雾霾天气条件下拍摄的图像质量严重降低，产生对比度下降、图像模糊、颜色失真［1］等一系列问题，给后续更高级的计算机视觉任务造成困难.例如在卫星遥感监测、无人驾驶系统等对图像质量有着严格要求的图像处理系统中，输入因雾霾导致的降质图像会严重影响处理系统的效能.因此，对受雾霾影响的图像进行清晰化处理在图像处理系统中具有非常现实的研究意义.

由于有雾图像中雾气分布不均匀，雾浓度难以估计，导致对单幅雾图进行清晰化处理变得非常困难.经过多年的发展，研究人员提出了三类不同的去雾方法，即基于图像增强的方法、基于图像先验知识的方法及基于深度神经网络的方法［2］.在早期的图像去雾算法研究中，研究人员利用图像增强的方法有效改善了雾图的视觉感知效果，但是基于图像增强的方法在处理过程中并未考虑图像降质的本质原因，导致复原图像部分细节信息丢失.基于先验知识的方法主要是以大气散射模型［3］为基础，辅以不同的先验信息估计出透射率和大气光值，代入模型实现图像清晰化.例如，Tan［4］在清晰图像对比度高于有雾图像的假设基础上，通过对局部对比度进行最大化的方法来复原雾图；
He 等人［5］通过对大量图片的观察实验提出了暗通道先验，该方法可以简单有效地获取有雾图像透射率，从而对多数雾图进行有效的恢复.此类方法中还包括Zhu等人［6］提出的颜色衰减先验、Wang等人［7］提出的线性传输等，尽管这些基于先验知识的去雾算法在物理模型的支撑下取得了极大的进展，但是多数先验知识仍具有很大的局限性，在处理雾图时常会因为不满足先验知识而导致复原图像出现色彩失真、去雾不彻底的问题.

目前，图像去雾领域的研究主流逐渐向基于深度学习的方法靠近［8］.Cai 等人［9］在深度学习应用于图像去雾领域的初期阶段提出了一种基于卷积神经网络CNN（Convolutional Neural Network）的去雾网络（DehazeNet），该网络提出了利用深度学习获取有雾图像与透射率之间的关系从而得到雾图透射率的方法来代替传统算法中使用先验知识来获取有雾图像的透射率；
为了能够尽量减小复原过程中所产生的误差，Li 等人［10］提出一种一体化除雾网络AOD-Net（All-in-One Network for Dehazing），将大气散射模型中的未知透射率和大气光值统一简化为参数K，通过卷积神经网络来学习有雾图像和K之间的关系，从而达到图像去雾的目的；
Ren 等人［11］提出一种用于图像去雾的多尺度卷积神经网络，该网络利用粗尺度网络对透射率进行粗略估计，同时用另一个细尺度网络对粗略透射率进行优化.Zhang 等人［12］基于大气散射模型提出了密连金字塔去雾网络DCPDN（Densely Connected Pyramid Dehazing Network），它可以共同学习雾图透射率、大气光值来进行去雾，然而该网络在进行透射率估计的过程中未充分考虑各特征图之间的信息差异，导致网络处理性能受到影响；
Qin等人［13］提出了一种基于神经网络的特征融合注意力网络FFA-NET（Feature Fusion Attention Network），该网络通过多次使用通道、像素注意力机制来有效提取图像全局及局部信息，但该网络在学习过程中忽略了图像整体细节纹理信息的提取，对于真实天气下的雾图处理效果不佳.上述基于深度学习的去雾方法在一定程度上改善了雾图的质量，但网络结构往往没有充分考虑雾图的各项特征，容易出现过拟合现象，并且对真实雾图去雾不彻底容易出现颜色过饱和［14］等问题.

针对上述问题，本文提出一种能够有效提取细节纹理特征及全局内容特征的图像去雾网络.利用离散小波变换充当固定参数的卷积块来提取图像细节纹理特征，同时使用本文提出的特征注意力模块获得图像全局内容特征.随后，采用T 型结构将不同时期获取的图像特征进行融合，最终经过图像复原模块获得最终复原图像.本文所提网络能够全面获取图像特征，复原结果清晰自然.

本文在传统CNN 网络的基础上，设计了一个结合离散小波变换及注意力机制的T 型去雾网络结构，该网络不同于传统网络模型，可直接实现从有雾图像到清晰无雾图像的复原过程.本文网络主要包含三个部分：多级特征［15］提取模块、多级特征融合模块以及复原模块.接下来将对所提网络的主要构成部分、总体框架以及所使用的损失函数进行介绍.

1.1 小波变换

作为一种传统的图像处理手段，小波变换［16］通过将图像信号分解为由原始小波位移和缩放之后的一组小波来对图像进行变换，在图像处理领域有着非常广泛的应用.二维离散小波变换在图像处理中的分解及重构过程如图1 所示，图像首先通过低通滤波器以及高通滤波器，并沿每一行的方向进行下采样，从而获得原始图像在水平方向上的低频分量L和高频分量H，之后使变换所得数据再次通过低通和高通滤波器，并沿列方向进行下采样，最终获得4个分量，分别为｛LL，LH，HL，HH｝.与此相反，逆离散小波变换则是通过对获得的4 个分量分别在垂直和水平方向上使用相同滤波器进行上采样来重构原始图像.离散小波变换在图像处理中的应用过程如图1所示，正如之前提到的，图像首先被分解为来自原始图像的低频分量以及原始图像水平、垂直、对角线方向的高频信息.重构过程则利用相同滤波器进行上采样，获得原始图像.

图1 二维离散小波变换过程示意图Fig.1 Process of the 2D discrete wavelet transform

由于离散小波变换对图像进行处理的过程与神经网络中对图像进行卷积采样操作的过程类似［17］，因此神经网络中的小波变换完全可以视为固定参数的卷积层，且由于离散小波变换的可逆性，其在处理过程中不会造成信息丢失，所以在网络模型中采用离散小波变换可以更好地提取和保留图像的细节信息［18］.因此，本文将离散小波变换嵌入网络模型中来代替进行上、下采样的卷积层，并通过多次迭代使用以提取多尺度的边缘细节信息.

1.2 残差空间-像素注意力模块

全局特征主要专注于整幅图像的颜色和纹理等，可以提供良好的全局视觉效果，但是局部特征中所包含的局部颜色和局部纹理也会影响整体的视觉感知效果.为此，本文设计了一种新的注意力模块，包括全局特征提取分支以及局部特征提取分支，通过对两个分支的联结，将全局特征与局部细节特征充分融合，如图2 所示.具体地，全局特征提取分支由卷积神经网络注意模块CBAM(Convolutional Block Attention Module)及3 × 3 的卷积层组成，局部特征提取分支则由像素注意力模块及3 × 3 卷积层构成.

图2 残差空间-像素注意力模块Fig.2 The structure of RC-PA

1.2.1 CBAM块

图3 显示了CBAM 模块［19］的整体结构，这是一种适用于卷积神经网络的简单注意力模块，它通过对输入的中间特征图像分别沿着通道和空间两个独立维度进行推断得出初始注意力权重，之后再通过对初始中间特征图像进行残差连接自适应特征调整.为了能够更为完整地学习需要强调或抑制的信息来有效提升网络性能，CBAM 模块依次应用通道和空间注意力模块，以便每个分支都能够学习通道和空间轴上参与的内容和位置信息，提升网络对全局特征的把控能力.

图3 CBAM模块图Fig.3 The structure of CBAM

1.2.2 像素注意力模块

图4 显示了像素注意力模块的结构，该模块利用了雾度特征在图像不同像素区域分布不均匀的现象，直接将中间特征F输入具有两个卷积层及Relu和Sigmoid 激活函数的像素注意力模块之中来提升网络的表示能力，并通过对输入特征进行逐像素的调整来达到有选择性加强局部细节及抑制无用特征的目的.通过对像素注意力模块的使用，使得网络对高频及浓雾区域的关注度更高，增强了网络对有雾图像边缘区域及纹理细节的学习效果.其表达式如式（1）所示：

图4 像素注意力模块Fig.4 The structure of pixel attention

最后，为更好提升网络性能，将输入中间特征F与PA 进行残差连接来获得像素注意模块的最终输出特征F*，如式（2）所示：

1.2.3 网络整体结构

本文所提网络整体结构如图5 所示.首先将输入的三通道图像经过离散小波变换及卷积变换转换为12通道及16通道的图像数据，然后将其输入残差空间-像素注意力模块来获取图像细节及全局特征，之后多次迭代使用离散小波变换及其逆变换和残差空间-像素注意力模块来提取多尺度雾图特征.在此过程中，图像特征经过离散小波变换的运算，数据大小转换为上级特征的四分之一，通道数变为上级特征的4 倍，而离散小波逆变换则在图像重构过程中将图像数据大小和通道数进行恢复.

图5 网络整体结构Fig.5 Architecture of the network

为了能够在网络学习过程中更好地表达图像主要特征，本文在利用多级特征提取模块获得不同尺寸的雾图特征之后，通过所提出的T 型网络结构将各级对应尺寸的分解及重构特征进行融合，并使用上采样操作将不同尺寸的融合特征调整为相同大小，之后利用离散小波逆变换重构清晰图像.最后，将重构清晰图像与原始雾图进行残差连接来进行色彩恢复得到最终清晰复原图像.

1.3 损失函数

在本文网络训练过程中，选择使用将均方误差损失及感知损失进行组合得到的组合损失函数来训练本文网络.均方误差损失是单幅图像去雾中最为广泛使用的损失函数，具有提升有雾图像与原始图像之间结构相似性的优势，其表达式如式（3）所示：

式中：N、W、H分别表示图像维度、宽度、高度，Ji表示有雾图像表示原始图像.

感知损失则用于加强有效特征提取并保留原始颜色信息，利用感知损失可以计算雾图与原始图像之间的特征差异，基于VGG16［20］图像分类网络，其定义如式（4）所示：

式中：CjWjHj表示第j层特征图尺寸大小.

最后，将上述两项损失函数进行线性组合得到最终完整损失函数，其表达式如下：

式中：Lmse和Lper分别表示均方误差损失及感知损失函数，α用来调整两个损失函数之间的权重.

在本节中，首先将对实验过程中所使用的数据集及训练细节进行介绍，其次通过消融实验来证明T型网络结构中各模块的合理性，最后对网络在合成和真实世界数据集中进行定量和定性评价，证明本文算法的有效性.

2.1 实验设置

数据集：本文使用RESIDE数据集［21］进行网络模型训练和测试工作，在训练过程中，采用了RESIDE数据集中的两个由合成室外和室内雾图所组成的子集ITS 和SOTS 进行训练和测试.其中ITS 包含1 399 张室内深度数据集的清晰图像及由其衍生出的13 990 张合成雾图，SOTS 则由500 张室内和500张户外合成有雾图像和其对应的清晰图像组成.

训练设置：为了能够加速网络训练过程，本文采用适应性矩阵估计（Adam）优化算法［22］，并将学习动量参数和学习率变化比率分别设置为0.9 和0.999.此外，将输入的训练图像尺寸统一设置为680×480，初始学习率设置为0.0 001，batchsize 设置为8，在基于pytorch 框架下，在Ubuntu 环境下使用NVIDIA 1080Ti GPU对网络进行100次迭代训练.

2.2 消融实验

为进一步证实本文所提残差空间-像素注意力模块及利用离散小波变换代替上下采样操作方法的优越性，本文分别从以下两个方面进行消融实验来评估本文所提方法的优势.

首先，利用残差空间-像素注意力模块中不同组件进行消融实验来评估所提模块的影响，主要考虑以下组合：1）Conv+Relu 组合；
2）残差空间注意力模块（RCA）；
3）残差像素注意力模块（RPA）；
4）残差空间-像素注意力模块（RC-PA），即所提网络模块.为公平起见，在训练过程中各组合输入图像尺寸大小及训练次数等基础实验设置完全一致，结果如表1所示.

表1 消融实验中PSNR和SSIM 结果Tab.1 Comparison of PSNR and SSIM tested on ablation experiments

表1 展现了在SOTS 室内数据集中利用上述4 个不同组合模块进行实验后得到的对比结果，可以从实验结果中观察到本文所提出的RC-PA 模块相较于其他组合模块拥有更高的峰值信噪比PSNR(Peak Signal to Noise Ratio）和结构相似性SSIM（Structural Similarity）［23］，也从侧面证明通过对各组合的叠加可以有效提升网络去雾性能，获得更好的视觉感知效果.

其次，通过将离散小波变换替换为普通卷积层进行上下采样来获得在网络中使用离散小波变换与上下采样卷积层的对比结果，从而评定离散小波变换对网络整体性能所带来的具体影响.客观对比实验结果如表2所示.

在表2 中可以观察到使用离散小波代替上下采样卷积层的做法能够大幅度提升PSNR 及SSIM，证明了在网络模块中嵌入离散小波变换来代替进行上下采样的卷积层具有更高的实用性，能够有效提升网络整体表现能力.

表2 离散小波变换的影响Tab.2 Influence of the DWT

2.3 实验对比

为验证本文所提算法在具体应用中的有效性，将本文所提网络与DCP［5］、AOD-Net［10］、Dehaze-Net［9］、FFA-Net［13］和KTDN［24］等5 种现有算法分别在合成数据集及真实雾图数据集中进行测试，采用SSIM 和PSNR 将本文算法与现有去雾算法进行比较，通过对比试验来证明本文算法的优越性.

2.3.1 在合成数据集上实验

表3 展示了在ITS 室内合成数据集和SOTS 合成数据集中进行对比实验之后所获得的各算法平均SSIM 和PSNR.从表3 中可以看出，本文所提T-NET去雾算法相较于其他算法可以获得更高的SSIM 和PSNR，从客观指标中证明了由本文算法进行处理后获得的无雾图像更接近于原始清晰图像.

表3 在合成数据集上PSNR 和SSIM 结果Tab.3 Comparison of PSNR and SSIM tested on synthetic hazy images

图6 和图7 分别展示了在合成室内图像和合成户外图像上进行的主观对比实验结果，通过对实验结果的观察可以发现其余算法都存在部分缺陷.由图6（b）、图7（b）可知，尽管DCP 算法的去雾效果图更加清晰，但它在部分区域会产生一定的颜色失真.AOD-Net 和DehazeNet 算法在图像颜色细节的恢复中略有不足并且复原结果伴随着部分伪影.FFANet算法则无法对雾浓度较高的图像进行复原，复原结果常会有伪影产生，并且部分建筑区域的输出结果会有过度增强的问题.KTDN 算法在对雾图中的天空等高频信息进行处理时会产生偏色等问题，严重影响复原图像的主观视觉感知效果.与上述算法相比，本文所提出的T-Net 网络复原结果更加清晰，在高频区域复原颜色正常，更为接近自然图像.

图6 室外合成雾图的实验结果Fig.6 Experimental results of the outdoor synthetic hazy images

图7 室内合成雾图的实验结果Fig.7 Experimental results of the indoor synthetic hazy images

2.3.2 在真实数据集上实验

为了能够更进一步展现T-Net 网络的普遍适用性，本文在真实雾图数据集中选取部分图片对T-Net网络及现有算法分别在客观评价指标及主观视觉方面进行实验对比.具体对比结果分别如图8和表4所示.

图8 真实场景雾图的实验结果Fig.8 Experimental results of real hazy images

为获得更全面的对比实验，引入无参考图像质量评估方法［25］，选取饱和像素点占比（r）、可见边增加率（e）作为真实有雾图像复原的客观评价指标，其中可见边增加率越大，表明图像可视性越好，而饱和像素点占比取值越小越好.选取20 幅真实有雾图进行实验，并对各项指标取平均值，实验对比结果如表4所示.

表4 有雾真实图上r和e结果Tab.4 Comparison of r and e tested on real hazy images

从表4 中可以看出，在复原图像的饱和像素点占比方面，本文算法对比FFA-Net 算法及KTDN 算法略有不足，但相较于其余算法具有良好的效果，说明本文算法所复原的图像不易出现过饱和现象.其次，在可见边增加率方面，本文算法优于其他各算法，证明了本文算法在去雾程度方面要优于现存算法，复原图像更为清晰.综合分析各指标，可以得出本文算法在图像去雾方面具有一定的优越性的结论.

真实场景雾图的实验结果如图8 所示，基于先验条件的DCP算法在处理天空区域时常会错误估计透射率导致复原图像在天空区域出现严重的偏色现象，其次受DCP算法中大气光值选取方法的限制，大气光值的选取常会出现较大误差导致图像偏亮或偏暗，如图8（b）中第4幅图所示.AOD-Net算法虽然整体复原效果较为良好，但是对于部分区域去雾不彻底，且细节保留能力较差.如图8（d）中第5幅图片所示，DehazeNet 算法虽然在雾度去除方面较为良好，但是所恢复的图像整体色调偏暗.从图8（e）中可以看出，FFA-Net 对景深较大的区域无法做到有效去雾，如第2 幅和5 幅图片整体去雾程度较低，并且从第3 幅图片可以看出处理过后的天空区域产生了严重的偏色现象.由KTDN 算法在图8（f）中的表现可以看出：该算法虽然可以去除大部分区域的雾气，但是恢复的图像整体色调偏白，如第2幅和第5幅图片所示，同时对部分区域仍存在去雾不彻底的问题.相较于上述算法，从图8（g）中可以看出，本文算法在实际场景中的复原效果良好，在有效去除图像整体雾气的同时也很好地保留了图像的细节信息，具有良好的视觉感知效果.

本文提出了一种能够有效提取细节纹理特征及全局内容特征的图像去雾网络.首先利用离散小波变换在图像处理过程中的可逆性及其与上下采样卷积层的相似性，将离散小波变换视为固定参数的卷积层嵌入网络模型中代替进行上下采样的卷积层，以此方法来提取更多的图像边缘细节特征.此外，在网络结构中使用了一种兼顾全局特征及局部信息提取的特征注意力模块，提升了网络在视觉感知和细节纹理信息的学习能力.最后，创新性地提出了一种T型网络结构，通过T 型连接的方式将网络提取的多尺度特征进行融合，扩展了网络的表示能力.对比其他先进算法，在合成和真实世界数据集中的实验结果表明，本文算法具有更好的鲁棒性，并且在恢复图像细节和场景适用性方面具有更大优势.

猜你喜欢 复原卷积注意力 温陈华：唐宋甲胄复原第一人疯狂英语·新悦读(2022年8期)2022-09-20让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02一起来做颈椎操吧小天使·二年级语数英综合(2021年4期)2021-06-15毓庆宫惇本殿明间原状陈列的复原紫禁城(2020年8期)2020-09-09如何培养一年级学生的注意力甘肃教育(2020年22期)2020-04-13卷积神经网络的分析与设计电子制作(2019年13期)2020-01-14从滤波器理解卷积电子制作(2019年11期)2019-07-04基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20A Beautiful Way Of Looking At Things第二课堂(课外活动版)(2016年2期)2016-10-21

推荐访问:变换 注意力 小波