基于Yolov5的轨旁受电弓缺陷在线检测方法研究
时间：2023-05-30 22:10:07 来源：雅意学习网 本文已影响 人 
杨旭生，江现昌，敖斌，范英芝，邓春林
（南昌轨道交通集团有限公司运营分公司，江西 南昌 330038）
目前，车辆受电弓异常状态的检测方法仍然停留在人工检测阶段，该方式存在效率低下、无客观检测标准等诸多问题。针对目前轨道交通车辆日常检修作业的需求，本文设计了基于轨旁相机轨道交通车辆受电弓缺陷智能检测系统，利用轨旁高清成像与机器学习相结合实现的列车受电弓异常状态的自动化检测，可大幅降低人工作业量，保障车辆检修质量，进而实现轨道交通车辆检修的减员增效。
轨旁相机在接收到触发信号时，对列车受电弓区域进行图像采集，并将采集的图像传输到地面服务器中，通过服务器中已部署的缺陷智能识别算法检测受电弓区域是否存在异常。轨旁相机采集到的受电弓区域图像如图1所示。
受电弓缺陷智能识别算法可概括为2大步：（1）利用改进的Yolov5目标检测算法对受电弓精确定位；
（2）通过历史图像对比方法判定受电弓是否存在异常。具体流程图如图2。
2.1 受电弓定位
受电弓精确定位是实现受电弓缺陷检测的前提。通过基于Yolov5n的图像目标检测网络作为算法模型实现对受电弓目标定位，本文在引入该模型时，进行了部分改进，提高了定位精度，并在项目应用中达到了较好的结果。
（1）mosaic-9数据增强。为进一步提升定位精确性，本文Yolov5n中除了使用传统数据增强方式外，还用了Mosaic-4数据增强。采用Mosaic-9方式对原始训练数据进行增强，也就是对9张图像进行缩放、裁剪、排布，其增强流程如图3所示，Mosaic-9增强细节如图4所示。
（2）FReLU激活函数。为了更好地完成图像识别任务，解决自适应获取空间相关性难的问题，引入了FReLU（Funnel Active）激活函数。该激活函数通过增加微小计算成本，重新设置了一个空间条件，将ReLU和PReLU转化为二维视觉激活函数。
ReLU激活函数如下式。
PReLU激活函数如下式。
FReLU激活函数如下式。
其中，T(■)表示二维空间条件。空间条件用较为简单的形式实现像素级建模，并用正则卷积获得复杂的可视化布局。本文通过引入FReLU激活函数可进一步提升受电弓定位精度及定位鲁棒性。
（3）损失函数改进。Yolov5n原始模型中使用的损失函数为GIou，增加了对错误候选框的惩罚，检测效果较好，GIoU具体形式如下。
但是，GIoU依然会有定位框回归不稳定的情况，对于复杂近距离环境中的检测目标仍然难以应对，存在检测鲁棒性差及收敛速度慢等问题，为了应对该问题，本文引入了一个连续可导的损失函数PIoU，以此优化IoU的定位精度。该损失函数通过引入一个旋转参数，便让之前的训练标注框能够更加紧凑的定位目标。为了精确地获取OBB间的IoU，通过累积内部重叠像素进行统计的凡世计算IoU。PIoU函数通过IoU度量导出，其形式为像素级，方法比较简单且适用于水平和垂直方向定位边界框，其具体形式如下。
其中，M为所有正样本数据集，|M|为正样本数，真实目标b和b´目标框的b∩b´和b∪b´分别表示两者的交集区域和并集区域。
2.2 缺陷判定
通过前述受电弓定位过程，便可在原始图像中得到受电弓精确的ROI，进一步利用滑动窗口在受电弓ROI中进行滑动，同时，在同一相机同一受电弓的历史图像ROI中以相同的方式相同的窗口进行滑动，并在窗口滑动至相同位置时计算两窗口内的结构相似度，在窗口滑动过程中，只要存在某一结构相似度小于设定相似度阈值，即可判定该受电弓存在异常。
（1）滑动窗口（如图5）。本文采用的缺陷检测思路是通过采集图像与历史基准图像相似度对比，若相似度小于某一阈值则判定为异常。若在对比过程中直接使用原始ROI大小，当异常较大时可以准确地判定，但是，当异常部分只占原始ROI很小一部分时，整体ROI的相似度仍然会很大，从而会导致漏判。因此，本文在判定过程中引入滑动窗口的思想，通过遍历的方式对受电弓ROI是否异常进行精确判定。
在实际应用过程中，根据受电弓ROI的实际大小设置滑动窗口的大小，本文使用的窗口大小为128×128，从ROI的左上角开始，先向右滑动，再向下滑动，滑动步长均设置为3。
（2）结构相似度。给定两个图像x和y，其结构相似性可按照以下表达式求出。
其中μx是x的平均值，μy是y平均值，σx2是x的方差，σy2是y的方差，σxy是x和y的协方差。C1=(k1L)2,C2=(k2L)2是两个常数，用来维持稳定。L是像素值的动态范围。k1=0.01，k2=0.03。
结构相似性的范围在-1～1，当两张图一模一样时，SSIM=1。在判定当前图像受电弓ROI是否异常时，需要设定一个相似性阈值t,当结构相似性指数大于该阈值时，认为当前图像正常，反之，则判定为异常，并进行报警。该阈值设定时，可通过统计方式获得，即通过正常样本与异常样本分别与对应的历史基准图像计算相关性，可获得一个相关性指数分布，示意如图6。
最终，判定规则具体形式如下。
本文中实验所设计的硬件配置，GPU为NVIDIA GeForce GTX 750Ti，cuda 10.2，CPU为Intel i7-9000，主频3G，RAM16G。
3.1 受电弓定位验证
在受电弓定位过程中，训练阶段使用pytorch训练Yolov5n定位模型，并将模型转化为onnx格式，最终通过opencv454中DNN模块调用部署进行测试。本文在训练受电弓定位模型时共标注样本3000张，其中2600张作为训练集，400张作为验证集。网络输入层大小调整为512，batchsize设置为16，并采用coco预训练模型。在训练过程中，其模型损失值变化过程如图7所示，从图中可以看出，在经过大约800次epoch后，损失值基本不再降低，说明模型已趋于收敛。受电弓ROI定位效果示意图如图8。
在测试受电弓定位模型时，使用了108251张图像，定位准确率可达到99.98%，具体如表1。
表1 受电弓定位准确率统计表
3.2 缺陷识别验证
在定位到受电弓后，便截取处受电弓ROI图像，按照上述方式进行窗口滑动并计算结构相似度，最终判定是否存在异常。其中，相似度阈值t设定为0.83。
受电弓异常检出率统计结果如表2，受电弓异物检出率可达到97%以上，值得说明的是，受电弓异常检测实验中漏检样本全是极微小变形及异物，若要对该类异常准确判定，可在滑动窗口设计时引入金字塔思想，这是本文后续研究的方向。在受电弓缺陷检测时，从输入图像至判定结果输出视为一次计算，一次计算算法平均耗时为21.33ms。
表2 受电弓异常检测统计结果
本文对轨道列车受电弓缺陷智能检测技术进行了研究，提出了一种基于深度学习与图像对比的轨旁受电弓缺陷智能检测方法。实验结果表明，该方法对受电弓异常具有较高的检出率，并且误检和漏检相对较少，但是，对极小的异常仍然无法达到较好的检出效果，这仍是本文后续研究努力的方向。
猜你喜欢 电弓滑动阈值 用于弯管机的钢管自动上料装置钢管(2022年2期)2022-11-28土石坝坝体失稳破坏降水阈值的确定方法建材发展导向(2021年19期)2021-12-06基于小波变换阈值去噪算法的改进计算机仿真(2021年6期)2021-11-17采用红细胞沉降率和C-反应蛋白作为假体周围感染的阈值临床骨科杂志(2020年1期)2020-12-12基于地铁车辆受电弓故障的相关分析电子乐园·中旬刊(2020年8期)2020-09-10改进小波阈值对热泵电机振动信号的去噪研究智能计算机与应用(2020年4期)2020-08-31针对移动端设计的基于滑动响应方式的验证码研究电子制作(2019年10期)2019-06-17地铁车辆受电弓系统工作原理思考科技资讯(2018年13期)2018-10-26Big Little lies: No One Is Perfect意林(绘英语)(2018年1期)2018-04-28用于滑动部件的类金刚石碳覆膜特性及其应用汽车与新动力(2015年1期)2015-02-27
