路面裂缝检测融合分割方法
时间：2023-06-21 08:45:04 来源：雅意学习网 本文已影响 人 
仝泽兴，雷 斌，2，蒋 林，2，王念先，2
(1.武汉科技大学 冶金装备及其控制教育部重点实验室，武汉 430081) (2.武汉科技大学 机器人与智能系统研究院，武汉 430081)
随着城市化进程的不断推进，我国的公路交通系统得到了飞速发展。截至2019年末，我国公路总里程达到519.81万千米[1]，稳居世界第一。但随着公路建设规模不断扩大，公路病害也逐渐产生，其中裂缝是最常见，最容易发生的一种路面病害[2]，如果不尽早采取措施处理，将会对公路交通体系造成严重的损害，因此需要定期对路面裂缝进行检测。
传统的裂缝检测主要以人工检测为主，但这种方法效率低下且依赖工人的经验，具有一定的局限性。现阶段，随着计算机视觉及模式识别领域的快速发展，国内外的一些专家学者们提出了多种以目标检测网络为主体的裂缝检测网络，如：李良福等[3]提出了一种基于深度学习的桥梁裂缝检测算法，通过滑动窗口算法切分图像解决了数据样本不足的问题，通过DBCC(深度批次全卷积网络)分类模型结合改进的滑动窗口算法对裂缝进行检测，但滑动窗口切分法得到的图像需人工判读才能找出包含裂缝的图像，因此这种数据扩增方法效率较低；
毛莺池等[4]改进了以ResNet-50为特征提取网络结合多任务增强RPN(区域选取)的FasterR-CNN[5]目标检测网络，并对大坝裂缝进行检测；
李想等[6]利用SSD(单点多尺度目标检测器)目标检测算法对混凝土结构裂缝进行高精度检测。这些以目标检测网络为主体的裂缝检测网络虽可以通过目标检测框输出裂缝在图片背景的相对位置与目标区域块，但裂缝分布路径不规整，形态延展非线性，具有特殊的拓扑结构，而这些裂缝检测网络无法捕获裂缝的分布路径、拓扑结构、形状延展和密度信息等。然而，这些信息往往非常重要，也可为更深入地提取像素级的可量化信息提供潜力，例如计算裂缝的长度、平均宽度、最大宽度、面积等。为此，另一些专家学者提出并改进了以图像处理技术与图像分割网络为主体的裂缝分割网络，例如：徐欢等[7]提出了基于OpenCV开源平台和改进Canny算子的路面裂缝分割算法来提取分割路面裂缝；
JI等[8]基于Deeplabv3+语义分割网络提出了一种分割沥青路面裂缝的方法，并通过FPT(正交骨架线法)算法对裂缝进行量化计算。这些以图像处理算法与图像分割网络为主体的裂缝分割网络虽然能获取裂缝的分布路径、拓扑结构、形状延展和密度等信息，但是在动态地对路面裂缝进行分割时缺乏裂缝在图像中的相对位置信息，而带有裂缝缺陷的路面往往少于正常路面，从而很难从诸多分割图像中筛选并定位含有裂缝的图像。为解决这些问题，笔者提出一种针对路面裂缝的检测分割网络，选用高精度的YOLO V5目标检测网络作为主框架，并为YOLO V5添加分割模块，以同时对路面裂缝进行检测和分割；
针对裂缝数据集不足的问题，提出了应用生成对抗网络对裂缝数据集进行扩增的方法。
1.1 数据集的采集
深度神经网络的训练需要大量标注完成的图像作为数据集来完成。丰富和高质量的数据集可以很大程度地提升模型精度和性能。但目前暂无开源且标注完成的路面裂缝数据集，而自行采集路面裂缝图像工作量较大且极易受到路面交通及车辆通行的影响，具有一定的危险性。因此文章的一部分数据集由无人机低空悬停拍摄采集，另一部分数据集由数据扩增网络提供。
1.2 数据集的扩增
GAN(生成对抗网络)[9]是近年来数据扩增领域最有效的手段之一,其在已拥有部分数据集的基础上，自动生成与已有数据集相似的数据对数据集进行扩增。因此，文章引入GAN网络对路面裂缝数据集进行扩增。GAN网络的工作框图如图1所示，GAN网络由生成器和判别器组成，其中，随机生成的噪声向量为G-Net(生成器)的输入，G-Net通过随机生成的噪声向量生成一张假图像，而D-Net(判别器)的输入为真实拍摄的图像，将G-Net生成的图像和真实图像输入到D-Net中进行判别，D-Net会根据两张图的相似程度给出置信度评分并反馈到G-Net中，若置信度较低，则G-Net会调整参数使得生成图像更加相似于真实图像，从而G-Net的生成能力得到提升，再将生成的假图像输入到D-Net中进行判别，使得D-Net的判别能力得到提升，在此过程中G-Net与D-Net相互博弈，直至D-Net判别不出来G-Net生成的图像是真是假。D-Net和G-Net两部分的损失为
图1 GAN网络的工作框图
LD-Net=log[T(x)]+log{1-D[G(z)]}
(1)
LG-Net=log{D[G(z)]}
(2)
式中：LD-Net为D-Net的损失函数；
T(x)为D-Net对真实图像的判别结果；
D[G(z)]为D-Net对生成图像G(z)的判别结果，判别结果的范围为[0,1]，结果越接近1则说明置信度越高。
D-Net对生成图像的判别结果D[G(z)]应当尽可能地为0，对真实图像的判别结果T(x)应当尽可能的为1，因此log[T(x)]与log{1-D[G(Z)]}应当尽可能地小，直至接近于零。对于G-Net，若D[G(z)]越接近1，则说明生成器生成的图像置信度越高，越能以假乱真地替代真实数据作为训练样本，这时生成器的能力也会越来越强，因此log{D[G(z)]}也应当越来越小。G-Net与D-Net的相互博弈会使两个网络的性能交替上升，与此同时，两个网络的损失值也会越来越小。GAN网络的总损失如式(3)所示(E为数学期望)，其中，minTmaxDV(D,G)为log[T(x)]的最小化与D[G(Z)]的最大化函数，其目的是在两个网络博弈的过程中使得D-Net的判别能力最大化和G-Net与原始数据集分布的最小化。
minTmaxDV(D,G)=Ex～Pdata(x)[logT(x)]+
Ez～Pz(z){log{1-D[G(z)]}}
(3)
2.1 YOLO V5目标检测网络
YOLO V5网络框架图如图2所示，YOLO V5目标检测网络主要由特征提取、特征融合、预测输出3大模块组成。YOLO V5的特征提取模块采用CSPDarknet53网络，CSPDarknet53是在Darknet的基础上借鉴了CSPNet的经验所产生的特征提取网络结构，其通过CSP(跨阶段局部网络)模块划分基础层的特征映射，然后通过跨阶段层次结构合并特征，在保持轻量化与准确性的同时降低了模型推理时的计算量。YOLO V5在特征提取网络的后端添加了SPP(空间金字塔池化)层，通过最大池化来增加主干特征的接收范围，同时分离特征提取网络提取到的不同尺度的特征。特征融合网络采用与YOLOV4相同的FPN(区域选取)与PAN(路径聚合网络)的方式将深层特征图包含的强语义信息与浅层特征图包含的强定位信息充分融合，提高检测的定位准度与语义信息强度。输出层采用GIOU(广义交并化)损失与非极大值抑制的方法来提高检测的准确度与精度。
图2 YOLO V5网络框架图
2.2 图像分割模块
为使YOLO V5网络能同时获取裂缝的相对位置信息与形态延展信息，需要在YOLO V5网络中嵌入图像分割模块。PSPnet是现阶段效果较好的图像分割网络之一，其核心模块为池化金字塔层。PSPnet网络的结构图如图3所示(图中GAP为平均池化层，Conv为卷积层)，PSPnet通过带有空洞卷积的特征提取网络Resnet101[10]对输入图像进行8倍下采样，即下采样至输入图像尺寸的1/8，来获取更大的感受野，然后通过池化核大小不同的池化金字塔层聚合不同区域的上下文信息，最后通过上采样还原输入图像的尺寸及细节信息以实现对图像像素级的分割。借鉴PSPnet中的思想，以池化金字塔层为核心来搭建图像分割模块，最后将搭建完成的分割模块嵌入YOLO V5网络中组成PSP-YOLO检测分割算法，以实现目标检测和图像分割同时进行。
图3 PSPnet网络的结构图
2.2.1 级联混合空洞卷积策略
由于YOLO V5的特征提取网络与特征融合网络提取到的1/8特征图未包含空洞卷积，感受野不足，而图像全局的语义信息往往需要较大的感受野才能获得，因此需要在池化金字塔层的前端添加空洞卷积层来扩大感受野。图像分割模块工作框图如图4所示，为避免多次堆叠空洞卷积造成的局部信息丢失问题，采用HDC(混合空洞卷积)[11]策略来避免空洞卷积所带来的信息缺失，即通过堆叠不同空洞率的混合空洞卷积来避免信息缺失，从而达到感受野覆盖全图的目的。空洞率的选择策略如式(4)所示。
图4 图像分割模块工作框图
Mi=max[Mi+1-2ri,Mi+1-2(Mi+1-ri),ri]
(4)
式中：Mi为第i层最大的空洞率；
ri为第i层的空洞率，若共有n层，则Mn=rn。
卷积核的大小为k×k，当M2 2.2.2 通道注意力机制 通过级联混合空洞卷积的特征图经过池化金字塔层得到了不同区域的上下文信息，融合与筛选这些特征可以去除冗余信息，使特征的针对性更强，进而提高图像分割的精度。采用通道注意力机制来融合与筛选这些特征，其主要思想是通过对特征图的处理得到其不同通道的权重占比，从而得到通道的权重矩阵，再将得到的权重矩阵与原特征图相乘得到加权后的特征图，增强了重要的特征，削弱不重要的特征。如图4(图中Add为相加操作;Mul为相乘操作;Contact为拼接操作;Sigmoid为激活函数)右侧工作框图所示，首先将池化金字塔层输出的特征图分为两个分支，附分支上采用全局平均池化对池化金字塔层输出的不同尺度的特征图进行压缩，从而得到通道数与原特征图相同，大小为1×1的特征图;紧接着通过两个全连接层学习通道注意力，第一个全连接层后采用Relu激活函数,第二个全连接层后使用Sigmoid函数将输出压缩至0～1之间,以获得通道的权重矩阵;然后将学习得到的通道权重矩阵通过矩阵乘法与原特征图相乘,得到加权后的特征图，再与主分支的特征图相加实现特征的融合与筛选;最后将融合与筛选过的特征图通过一个1×1的卷积降维，然后通过上采样还原图像真实尺寸并输出分割后的裂缝图像。 PSP-YOLO检测分割算法网络结构如图5所示，其在原YOLO V5的基础上嵌入了上文介绍的图像分割模块，即将分割模块嵌入至检测输出层的前端，通过先行的图像分割细化特征，减少冗余背景对检测精度的影响从而提升检测精度。 图5 PSP-YOLO检测分割算法网络结构 试验基于python编程语言与ubuntu20.04系统并在GPU版本下的pytorch深度学习环境下进行，其中显卡型号为NVIDIA GeForce RTX 3060，torch版本为pytorch1.9.0。在训练过程中采用动态学习率的方法，初始学习率为0.001，迭代次数为1 000。 数据集为500张路面裂缝图像，其中300张由无人机低空悬停拍摄完成(部分见图6)，另外200张由第二节中所提出的GAN网络生成，图7(a)为GAN网络初期生成的裂缝图像样本，图7(b)为GAN网络的G-Net与D-Net损失值最小时生成的裂缝图像样本，可以看出，当GAN网络损失值最小时生成的裂缝图像极其接近真实的裂缝图像，可以作为PSP-YOLO检测分割网络的训练样本。 图6 无人机拍摄的数据样本 图7 GAN网络在不同损失值时生成的数据样本 将数据集中的500张图像按照8…1…1的比例进行训练，即400张为训练集，50张为验证集，50张为测试集。 根据数据集的特点，选取平均检测精度(MAP)和交并比作为检测分割算法的基本评价指标，前者用于衡量算法检测模块的识别精度，后者是分割模块预测输出的目标区域块与手工标定的目标区域块的重叠率，用于评判分割模块的精度。 3.2.1 视觉对比分析 在该数据集下试验PSP-YOLO算法与原YOLO V5算法，并从测试集中抽取了两组试验结果进行对比分析，结果如图8所示(每张分图的左图为原YOLO V5算法的结果，右图为PSO-YOLO算法的结果)。在图8(a)中，原YOLO V5算法虽然可以检测出裂缝的上部，但对于裂缝的中段位置，其并没有输出目标检测框，出现了断层现象，而PSP-YOLO检测分割算法准确地在裂缝分布路径上的每个位置都分配了目标检测框且目标检测框的平均置信度约为0.96，大于原YOLO V5算法的置信度，且在检测到裂缝对象的同时对裂缝进行了图像分割，获取了裂缝的分布路径与延展形态等信息。在图8(b)中，原YOLO V5算法在处理背景较为复杂的裂缝时出现了误检现象，而PSP-YOLO检测分割算法没有出现误检。综上所述，在相同的试验条件下，PSP-YOLO检测分割算法相较于原YOLO V5算法的抗干扰能力更强，误检率和漏检率更低。 图8 两种算法的两组试验结果视觉对比 3.2.2 量化对比分析 为进一步验证PSP-YOLO检测分割算法的可靠性，采用量化对比的方法对原YOLO V5算法与PSP-YOLO算法进行分析。图9为两种算法的P-R曲线(召回率-精确率曲线)，曲线所围面积即为网络的平均检测精度，面积越大则说明该网络的精度越高。由图9可知，PSP-YOLO算法的检测精度高于原YOLO V5算法的检测精度，更加适用于路面裂缝检测的实际应用。 图9 两种网络的P-R曲线 此外，背景的复杂性不同也会影响到算法的检测精度，在试验阶段，对于高度复杂背景的裂缝图像，YOLO V5常常会出现误判现象。因此，将测试集中的图像根据背景复杂程度的不同分为3组进行试验，分别为轻度复杂背景、中度复杂背景、高度复杂背景。不同复杂度背景的裂缝图像如图10所示，可见轻度复杂背景中的裂缝拓扑形态较为简单，粗细均匀，背景颜色与纹理清晰且单一，没有图像噪声的影响； 图10 不同复杂度背景的裂缝图像 图11与图12分别为YOLO V5与PSP-YOLO算法在检测不同复杂度背景裂缝图像时的结果与平均精度。从图11可以看出，两种算法在处理轻度复杂背景的裂缝图像时都有较好的表现，而在处理中度与高度复杂背景时，YOLO V5算法出现了误判现象。从图12可以看出，在处理高度复杂背景中的裂缝图像时，PSP-YOLO算法的精度明显高于原YOLO V5算法的精度。因此，从试验结果可知，PSP-YOLO算法在保持高检测精度的基础上鲁棒性更强，能够很好地应对复杂背景对裂缝检测的干扰。 图11 两种算法检测不同复杂度背景裂缝的结果 图12 两种算法检测不同复杂度背景图像时的平均精度 3.2.3 分割模块的对比分析 在文章数据集下，PSP-YOLO算法与原PSPnet的分割结果如图13所示。 图13 PSP-YOLO算法与原PSPnet算法的分割结果 采用平均交并(网络预测的裂缝像素点个数与标定的真实裂缝像素点个数的比值的平均数)作为分割模块的评价指标。PSP-YOLO算法与原PSPnet的平均交并比分别为74.68%，73.14%，可见，PSP-YOLO算法的平均交并比高于原PSPnet算法的。这是由于PSP-YOLO算法采用的级联空洞卷积策略与通道注意力机制增强了分割模块的感受野与特征表达能力，所以PSP-YOLO算法能更高效、更高精度地对裂缝图像进行分割。 针对目前裂缝检测领域存在的问题与不足，对YOLO V5算法进行改进，添加了分割模块，并通过试验验证，说明了提出的PSP-YOLO算法能在检测裂缝目标的同时对其进行图像分割，更适合工程实际需要，且精度优于原YOLO V5与PSPnet算法的精度。提出的GAN网络扩增数据集的方法也能有效解决裂缝样本不足的问题。文章提出方法的局限性在于，PSP-YOLO算法分割模块精度容易受到光照、天气等因素的影响。2.3 PSP-YOLO检测分割算法
3.1 数据集的介绍
3.2 试验结果与分析
中度复杂背景中的裂缝较为细小，背景颜色与纹理较为复杂，容易产生引起网络误判的噪声因素；
高度复杂背景中裂缝的拓扑形态复杂，裂缝粗细不均且细小，背景颜色与纹理十分复杂且背景中的噪声繁多，很容易使网络产生误判。
