基于卷积神经网络的航天复合材料缺陷智能检测

董学金，邵红亮，李志学，罗钧

基于卷积神经网络的航天复合材料缺陷智能检测

董学金1，邵红亮1，李志学2，罗钧2

（1.上海卫星装备研究所，上海 200240；
2.重庆大学光电技术及系统教育部重点实验室，重庆 400030）

针对传统的缺陷图像识别处理方式存在着准确度与辨识度不足，且处理缺陷种类单一的问题，提出了一种基于Cascade R-CNN和Mask R-CNN的神经网络模型。首先，为了提高缺陷检测的可视化效果和检测准确度，在实例分割卷积网络Mask R-CNN的基础上，结合级联神经网络Cascade R-CNN结构，组合成了新的级联实例分割Cascade Mask R-CNN网络；
其次，对组合而成的级联卷积神经网络进行了训练，将训练好的模型对复合材料缺陷图像进行了检测。实验结果表明：检测的平均准确度达到了91.5%，平均置信度达到了97.3%，达到了检测精度的要求。该研究成果可运用于航天复合材料缺陷识别。

深度学习；
级联区域卷积神经网络；
复合材料；
缺陷检测；
实例分割

随着我国综合国力的增强，复合材料的制备手段和应用领域不断拓展。目前先进复合材料主要以碳纤维增强树脂基、金属基等为主，在航天领域被大量应用，例如用来制作火箭发动机壳、航天器外壳及其相关零件等基本材料。复合材料可以有效减轻航天器的重量，增强其抗压减震等性能，起到保护航天器的作用。先进复合材料使得航天飞行器的质量和水平得到了进一步提高，为航天事业的发展提供了坚实的保障［1］。先进复合材料在制备过程中由于制备环境和设备的影响，导致内部会产生夹杂、气孔等缺陷；
而复合材料内部复杂的结构导致其在运输过程中会产生损伤、分层等缺陷，一旦将内部含有缺陷的复合材料制备航天产品，其性能将会大打折扣，甚至在运行过程中会对操作人员的生命安全造成威胁，产生不可预估的灾难性后果［2］。先进复合材料在制备成航天器等设备前进行内部缺陷检测的重要性不言而喻，提高复合材料缺陷检测能力是目前航天制造业的热点问题。无损检测的方式主要以X射线、超声、红外、涡流、太赫兹等检测手段为主，通过无损检测可以采集到内部缺陷信息，主要表现形式为图像、声波、振动信号等［3］。而传统的缺陷识别需要利用这些信息进行后续人为的分析与检测，这种方式存在着较大的局限性，例如：检测效率低、误检漏检率较高、人力成本高、主观因素大、损害检测人员身体等。利用无损检测所获得的信息进行后续智能化处理以提高缺陷检测的速度和精度是目前航天领域需要解决的重点问题。

随着先进无损检测技术和图像处理算法的发展，大量的智能化处理手段在国内外涌现， MALDAGUE等［4］提出脉冲相位热成像算法，首先利用傅里叶变换将图像的时间和空间信息转化到频域中，得到相应的相位和幅值信息，之后根据缺陷和非缺陷部分的相位和幅值不同的原理来判断缺陷。HAJRYA等［5］在复合材料内部结构进行缺陷检测时结合了独立成分分析（Independent Component Analysis， ICA），通过分析从混合矩阵中获得的对称矩阵定义了损伤指数（Damage Index， DI）来表征。刘慧［6］对超声红外锁相热像无损检测技术进行了系统研究，基于Canny算子提出了缺陷特征的识别方法，通过建立检测系统进行实验实现了缺陷的形状识别和尺寸大小计算。张南南等［7］针对火箭发动机隔热层的缺陷，根据缺陷的组成、位置等建立了仿真模型并进行了仿真计算，提出了一种简单高效的建模方法。

近些年来，深度学习算法蓬勃发展，卷积神经网络已经逐渐成为模式识别、目标检测、图像处理等领域的主要研究方法［8］。刘涛［9］将BP神经网络应用至红外热波无损检测中，通过拟合函数关系来对缺陷进行定量识别，并通过实验证明了BP神经网络的有效性。严治［10］利用超声探伤仪器对缺陷试块进行探伤，获取相应缺陷的信息图像，并建立合适的卷积神经网络实现了缺陷智能检测。这些缺陷检测方法在缺陷检测的种类和检测精度上或多或少存在一定的问题，在此基础上，本文提出了一种新的复合材料缺陷检测方法，通过训练级联卷积神经网络，对图像进行有效的特征提取，在图像中对复合材料内部缺陷进行识别分类和定位，同时进行图像分割，获得了较高的平均置信度和平均准确度。

KRIZHEVSKY于2012年提到AlexNet［11］，AlexNet具有8层网络结构，在ImageNet数据集上实现了15.3%的错误率，错误率整体下降了接近一半。之后，越来越多的研究者在卷积神经网络的结构和深度上进行创新，相应地出现了VGG-16［12］、ResNet［13］等卷积神经网络结构，目前使用最广泛的是ResNet网络结构。ResNet的理论基础是深度卷积神经网络，但随着网络层数的增加，图像识别准确率达到饱和后迅速出现了退化现象，这导致识别准确率很难上升反而会下降，ResNet利用恒等映射，构建基本的残差模块，很好地解决了该问题，ResNet允许网络不断加深，最深的网络有1 000多层。

继图像识别后，卷积神经网络推出的另一大应用是目标检测。目标检测除了要识别目标的类别之外，还要在图像中定位出它的位置。基于滑动窗口的思想，目标检测首先在2014年Girshick的区域卷积神经网络（Region-based Convolutional Neural Network， R-CNN）出现［14］，R-CNN通过选择性搜索在图像上生成了约2 000个候选区域，对每个区域利用一个大型卷积神经网络进行特征提取，之后对每个区域进行图像分类，用边框回归确定目标矩形框的位置。R-CNN将PASCAL-VOC 数据集上目标检测的平均准确率大大提高了，但是没有实现端对端的训练检测方式。随后，Faster R-CNN［15］的出现使得目标检测的精度和速度得到了进一步提升，同时对之前产生的问题进行了较好的解决。在目标检测功能的基础上，出现了新的网络结构Mask R-CNN［16］。Mask R-CNN额外提供了图像实例分割的功能，是目前应用最为广泛的技术之一。

2.1　Mask R-CNN目标检测方法

Mask R-CNN是由He Kaiming团队提出的，其基于Faster R-CNN目标检测网络发展而来，最大的特点是多任务的集成实现，除了可以实现传统的目标检测功能之外，还可以对图像进行实例分割，对于目标检测的边界框，实例的分割效果可精确到目标物体的边缘区域，除此之外，相对传统的图像语义分割，实例分割会在图像上对同一类别的不同个体进行不同的灰度值标注，显示不同的颜色，提高可视化效果。

Mask R-CNN网络主要分为特征提取网络、区域预测网络和功能性网络。

区域预测网络（Region Proposal Network， RPN）利用获取的特征图来计算可以表示物体在图像中的位置的预测框。Mask R-CNN通过Anchor技术来实现区域预测功能，Anchor是指预先设定好的一个框选box。根据特征图中的每个像素点，都会以其坐标为中心，不同的宽高来预生成多个Anchor box，但是这些box并不是表示物体位置的最佳box，RPN网络根据回归输出来对这些Anchor box进行中心、宽和高的修正，修正步骤如下：

功能性网络的作用主要是对象分类、对象定位和对象分割。通过获取到的特征，对象分类采用全连接（Fully Connected，FC）层和Softmax层的固定搭配以获得类别信息；
对象框选则是进一步对表示对象在图像中所处位置的信息进行修正，修正过程与式（2）相同；
对象分割利用全卷积分割网络（Fully Connected Network， FCN）［18］，可以生成用于分割掩码的掩码层，进一步寻找到对象的边缘位置，将待测对象完整进行分割。Mask R-CNN的工作流程如图1所示。

2.2　Cascade R-CNN 目标检测方法

Cascade R-CNN［19］是由Cai团队提出的，基础网络是Faster R-CNN，主要解决了目标检测中的交并比（Intersection Over Union，IOU）阈值选取问题。对于目标检测，选取高的IOU阈值使得模型输出的代表物体位置的box更准确，有利于获取高质量的目标检测结果，而仅仅提高IOU阈值可能会引发训练过拟合问题，导致测试精度大幅度下降。Cascade的核心就是利用不断提高的阈值，在保证样本数不减少的情况下得到高质量的目标检测训练结果：它级联了多个功能性网络，各功能性网络根据各自的特征图来进行计算，同时将一个功能性网络输出的回归框输入到另一个功能性网络，不同的功能性网络根据连接顺序，不断提升IOU阈值，以达到提升目标检测精度的目的。IOU阈值通常选择为0.5，本文采取三阶级联网络，其中每个级联网络的IOU阈值逐步提升，故分别设置为0.6、0.7和0.8。

2.3　Cascade Mask R-CNN目标检测方法

Cascade Mask R-CNN是Mask R-CNN和Cascade R-CNN综合而成的，其结合了Mask R-CNN和Cascade R-CNN各自的优势：在进行了目标检测的同时进行了实例分割，检测效果更为突出；
利用级联结构提升了检测的精度。本文的Cascade Mask R-CNN的工作流程整体如图2所示。

3.1　实验数据预处理以及实验过程

航天复合材料内部缺陷图像数据集是在上海卫星装备研究所实地采集的，包含常见的高密度夹杂（high_inclusion）、低密度夹杂（low_inclusion）、裂纹（crack）和气孔（void）共4类缺陷，其中高密度夹杂是白色椭圆状，低密度夹杂是黑色不规则形状，裂纹是条纹状，气孔是深色圆形或椭圆形状，如图3所示。

续图3各类缺陷显示

Continued fig. 3Display of various defects

数据集一共有2 800多张图像，部分图像存在多种多个缺陷。为了确保实验能够顺利进行，对 2 800多张图像进行了实验数据预处理，主要步骤为：首先，对数据集进行扩充处理，采用的手段主要是直接对部分样本进行过采样，改变样本的亮度、灰度和角度等信息，而改变样本的亮度和灰度没有改变缺陷的本质特征，只是缺陷和背景的亮度、灰度同时改变了，这有利于增强模型对获取的不同对比度X射线缺陷的检测能力，除此之外还有向其中增加噪声、高斯模糊等操作；
其次，操作后最终形成的数据集有7 200张，之后对图像进行标准化处理，即将尺寸统一固定为800×1 333像素点，这样可以更好地适应网络模型，提高特征提取的效果；
再次，利用Labelme软件对复合材料缺陷图像进行缺陷标注，生成相应的json格式配置文件；
最后，将各图像的json配置文件汇总，将7 200张图像随机生成训练集和测试集，其中训练集6 400张图像，测试集800张图像，训练集和测试集中的图像分布情况相同。数据集具体分配情况见表1。

表1　数据集分配情况

为了突出级联神经网络的优势，实验在Mask R-CNN网络、Cascade R-CNN和Cascade Mask R-CNN网络上分别进行。为保证公平，在3种缺陷检测卷积神经网络上使用的特征提取网络均是预训练好的ResNet-50模型；
在复合材料缺陷数据集上训练均采用相同的参数，即：由于GPU性能有限，设置batch大小为1，训练集整体迭代次数epoch为100 000，学习率初始设置为0.002 5，学习率变化初始采用线性增加的策略，之后在第50 000和80 000个epoch降低学习率，网络参数的优化方式采用基于动量Nesterov momentum的随机梯度下降算法momentum设置为0.9［13］，权重衰减系数weight_decay设置为0.000 1［13］。实验在Linux（Ubuntu16.04）系统上进行，使用Pytorch框架，硬件平台为Intel（R） Core（TM） i7-6800K CPU@3.4 GHz，内存大小为16 GB，GPU为NVIDIA Geforce GTX1080Ti （11 GB显存）。

本文采用的模型在航天复合材料内部缺陷测试显示如图4所示。

续图4测试显示结果

Continued fig. 4Results of the test display

实验的结果为平均准确度mAP、平均置信度［20］和平均耗时，对应Mask R-CNN模型、Cascade R-CNN模型以及Cascade Mask R-CNN模型在复合材料内部缺陷测试集上的实验对比情况见表2。

表2　Mask R-CNN、Cascade R-CNN和Cascade Mask R-CNN实验结果

本文在Cascade Mask -RCNN网络上训练迭代过程中的检测精度如图5（a）所示，而各模型测试的准确度和置信度的分布情况如图5（b）所示。

3.2　结果分析

表2给出了Mask R-CNN、Cascade R-CNN和Cascade Mask R-CNN的对比结果。从表2中可知，在相同的训练参数条件下，Mask R-CNN由于整体结构相对简单，其检测一张复合材料缺陷图像的平均耗时最少，但检测准确度和置信度较低，Cascade R-CNN虽然缺陷检测整体精度都比Cascade Mask R-CNN更优秀，但它不包含缺陷的实例分割功能；
而无论是平均准确度还是平均置信度，Cascade Mask R-CNN与Mask R-CNN相比都较为领先，但它的检测平均耗时最大。由图4可知，通过实例分割后的缺陷检测可视化效果显著提升，而这对于在实际中利用其进行高效复合材料缺陷检测具有明显意义。

本文提出了一种基于深度学习的航天复合材料缺陷检测方法。经过测试，本文所使用的级联神经网络Cascade Mask R-CNN缺陷检测方法具有普遍性。检测结果显示：算法能够很好地适应复合材料内部的缺陷，在多种不同的缺陷检测中都取得了较好的效果，适用场景广泛，鲁棒性强。但是，目前的级联网络也有一定的局限性，并不能完全达到实时处理复合材料缺陷检测的要求。在未来的工作中，需进一步将研究重点放在损失最小的准确度、最大化压缩剪枝模型的问题上，以保证缺陷检测的模型能达到实时性的要求。

［1］ 窦凤云.浅谈复合材料在航空航天领域中的应用［J］.信息记录材料，2020，21（5）：18-19.

［2］ 陈积懋，张颖.复合材料无损检测的新进展［J］.航空工艺技术，1998，22（5）：17-19，27.

［3］ 刘松平，刘菲菲，李乐刚，等.航空复合材料无损检测与评估技术研究进展回顾［J］.航空制造技术，2019，62（14）：14-27.

［4］ MALDAGUE X， MARINETTI S. Pulse phase infrared thermography［J］. Journal of Applied Physics， 1996， 79（5）：
2694-2698.

［5］ HAIRVA R， MECHBAL N， VERGE M. Damage detection of composite structure using independent component analysis［C］// International Workshop on Structural Health Monitoring. 2011：
241-248.

［6］ 刘慧.超声红外锁相热像无损检测技术的研究［D］.哈尔滨：哈尔滨工业大学，2010.

［7］ 张南南，郭兴旺.固体火箭发动机绝热层脱粘的红外无损检测建模方法［J］.无损检测，2016，38（8）：1-5，11.

［8］ 黄灿.图像识别领域中卷积神经网络的应用［J］.信息记录材料，2018，19（5）：39-40.

［9］ 刘涛，李永峰，黄威.BP神经网络在红外热波无损检测定量识别中的应用［J］.红外与激光工程，2012，41（9）：2304-2310.

［10］ 严治.基于卷积神经网络的铸件内部缺陷超声检测方法研究［D］.沈阳：沈阳工业大学，2019.

［11］ KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）：
84-90.

［12］ SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. Computer Science， 2014.［2020-12-15］. https：//arxiv.org/pdf/1409.1556.pdf.

［13］ HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Washington D.C.， USA：
IEEE Press， 2016：
770-778.

［14］ GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.， USA：
IEEE Press，2014：
580-587.

［15］ REN S， HE K， GIRSHICK R， et al. Faster R-CNN：
towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）：
1137-1149.

［16］ HE K， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN［C］// Proceedings of the IEEE International Conference on Computer Vision. Washington D.C.， USA：
IEEE Press， 2017：
2961-2969.

［17］ LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.， USA：
IEEE Press，2017：
2117-2125.

［18］ LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.， USA：
IEEE Press， 2015：
3431-3440.

［19］ CAI Z， VASCONCELOS N. Cascade R-CNN：
delving into high quality object detection［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.， USA：
IEEE Press，2018：
6154-6162.

［20］ 孙梓超，谭喜成，洪泽华，等.基于深度卷积神经网络的遥感影像目标检测［J］.上海航天，2018，35（5）：18-24.

Intelligent Detection of Defects in Aerospace Composite Materials Based on Convolutional Neural Network

DONGXuejin1， SHAOHongliang1， LIZhixue2， LUOJun2

（1.Shanghai Satellite Equipment Research Institute， Shanghai 200240， China；

2.Key Laboratory of Optoelectronic Technology and Systems of Ministry of Education， Chongqing University， Chongqing 400030， China）

In view of the fact that traditional image recognition processing methods have the problems of insufficient accuracy， insufficient identification， and single type of defect processing， a neural network based on Cascade region-based convolutional neural network （R-CNN） and Mask R-CNN is proposed. First， a new Cascade Mask R-CNN is constructed based on the Mask R-CNN and Cascade R-CNN to improve the visualization and detection accuracy of defect detection. Then， the combined Cascade Mask R-CNN is trained， and the trained model is used to detect the defect images of a composite material. The test results show that the average accuracy of the detection reaches 91.5%， and the average confidence reaches 97.3%， which meet the requirements of the detection accuracy. The research results can be applied to the identification of defects in aerospace composite materials.

deep learning；

Cascade R-CNN；

composite material；

defect detection；

instance segmentation

2020‑12‑31；

2021‑01‑13

上海航天科技创新SAST基金（JG20180209）

董学金（1985—），男，硕士研究生，高级工程师，主要研究方向为检测技术和图像识别。

罗钧（1963—），男，教授，博士生导师，主要研究方向为图像识别、嵌入式机器视觉和深度学习。

TP 391

A

10.19328/j.cnki.2096⁃8655.2022.04.015

猜你喜欢 级联复合材料卷积 铀浓缩厂级联系统核安全分析核安全(2022年3期)2022-06-29浅谈现代建筑中新型复合材料的应用建材发展导向(2022年2期)2022-03-08基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02一种并行不对称空洞卷积模块①计算机系统应用(2021年9期)2021-10-11金属复合材料在机械制造中的应用研究建材发展导向(2021年14期)2021-08-23国产复合材料预浸料过程控制的认识与实践民用飞机设计与研究(2020年1期)2020-05-21先进复合材料制造及过程控制技术民用飞机设计与研究(2020年1期)2020-05-21从滤波器理解卷积电子制作(2019年11期)2019-07-04基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20整体级联式增压空气冷却器的进气模块汽车与新动力(2014年4期)2014-02-27

推荐访问:卷积 神经网络 复合材料