基于YOLOv5的指针式仪表检测与读数识别算法研究
时间：2023-06-07 14:15:25 来源：雅意学习网 本文已影响 人 
王 康 陆生华 陈 潮 陈泽波 强 晟 陈 波
(1. 河海大学 水利水电学院， 南京 210098；
2. 绍兴市越城区城市发展建设集团有限公司， 浙江 绍兴 312000)
大坝廊道在运行和维护期间，为了监测廊道结构内部的裂缝和渗水情况，在廊道内部会安装各种监测仪表．由于部分仪表没有设置通信接口或者远程通信故障，无法远程获取数据，在大坝廊道巡检过程中，巡检机器人需要观测定位仪表位置，对仪表和监测仪器运行状态进行评估，进而读取仪表示数．因此，针对适用于巡检机器人的大坝廊道指针式仪表检测与读数识别研究，具有十分重要的工程意义．
基于机器视觉的指针式仪表识别已经积累了很多相关经验，国内外学者的研究大致可以分为基于传统图像处理技术和基于深度学习算法的仪表识别两大类．在传统图像处理方面：张文杰等[1]利用指针式仪表的视觉显著性区域构建仪表检测模型，并使用无向图排序算法抑制非指针图像的干扰，很好地提取到了仪表指针；
Han等[2]使用改进的自适应中值滤波处理仪表图像，利用刻度盘转角与刻度的线性关系提出一种改进的霍夫变换指针式仪表读数算法；
张志锋等[3]对比不同表盘图像建立读数识别参考系，利用帧差分法定位指针，进而采用角度法进行读数识别．在深度学习算法方面：Liu等[4]使用基于区域的卷积网络检测(R-CNN)目标仪表位置，通过特征对应算法和透视变换消除镜面反射和图像失真，最终使用霍夫变换检测指针的位置，得到读数；
Liu等[5]对仪表图像进行非局部去噪、深度去噪等超分辨率预处理，然后利用实例分割算法Mask-RCNN对指针进行分割和定位，最后采用角度法进行读取操作；
李金红等[6]在使用Faster R-CNN算法检测指针表盘区域的基础上，再采用此算法检测指针，在得到的指针区域上再根据霍夫变换进行指针提取，很好地避开了复杂仪表区域的干扰．但是大部分基于深度学习的仪表识别模型因其网络的复杂性导致推理速度受限，在嵌入式开发平台上的运用并不好．
基于机器视觉的仪表检测和读数识别研究虽然已经取得了较大的进步，但在大坝廊道巡检中仪表读数常常依赖人工，所以需在前人研究的基础上研发适用于巡检机器人的大坝廊道指针式仪表检测与读数识别算法．为了监测大坝廊道指针式仪表状态和读取仪表示数，提出一种基于YOLOv5的指针式仪表检测和读数识别算法，并将其应用到基于树莓派的巡检机器人上，通过训练好的YOLOv5模型进行仪表检测，对不同仪表分类并截取仪表图像，然后采用数字图像处理技术进行仪表读数识别，测试结果表明读数识别相对误差均小于2.1%．
本文设计了基于YOLOv5s的指针式仪表检测与读数识别系统，系统总设计方案如图1所示．首先通过实验室和网络搜集建立数据集，通过服务器训练YOLOv5s模型，然后将训练好的模型文件移植到树莓派上，通过摄像头进行实时指针式仪表检测，当检测到仪表图像后，截取仪表图像区域，直接调用仪表识别算法读取示数．树莓派和摄像头均可以部署在智能小车、无人机和滑动轨道等巡检机器人上．
图1 系统总体实际方案
由Redmon等[7]提出的YOLO算法把目标检测归纳为一个回归问题，回归到空间上分离的边界框和相关的类概率问题，该算法基于一个单独的端到端的网络，完成从原始图像的输入到物体位置和类别的输出．随着算法的深化和完善，YOLO系列算法经历了从V1到V5的发展，被广泛地应用到目标检测领域，且YOLOv5也于2021年4月更新到5.0版本[8]．
YOLOv5在2020年被Ultralytics公司推出，该算法具有精度高、文件内存占用小、速度快等优点，且能够部署在PyTorch环境中[9]．YOLOv5更容易部署在树莓派等的嵌入式开发板上，适应于无人车等的移动终端．YOLOv5包括s、m、l、x等4个模型，其中YOLOv5s体积最小，最新的5.0版本权重仅仅14 MB，本文仪表检测采用最新的YOLOv5s 5.0版本．
2.1 YOLOv5s网络模型
YOLOv5s网络结构包括Input、Backbone、Neck、Prediction这4个部分，网络结构如图2所示[10]．
图2 YOLOv5s网络结构
Input：采用随机缩放、随机裁剪、随机排布的Mosaic数据增强，可以很好地适应小目标检测，丰富了数据集，减小了训练GPU的算力要求；
自适应计算不同训练集中的最佳锚框值；
采用自适应图片缩放，减少了图片两端黑边的填充，减小了计算量，提升了目标检测速率．
Backbone：采用Focus结构和CSP结构．Focus结构采用切片操作，切片操作如图3所示，原始608×608×3的图像经过切片操作和一次32卷积核的卷积操作，变成304×304×32的特征图；
YOLOv5s中设计了两种CSP结构，Backbone主干网络使用CSP1_X结构，Neck使用CSP2_X结构．
图3 切片操作示意图(4×4×3到2×2×12)
Neck：采用FPN+PAN结构，如图4所示，FPN自顶向下传达强语义特征，FPN后面添加含有两个PAN结构的特征金字塔，自底向上传达强定位特征，从不同的主干层对不同的检测层进行特征聚合，加强网络特征的融合能力[11]．
图4 FPN+PAN结构
Prediction：采用GIOU_Loss作为边界框的损失函数，评价预测值与真实值的误差，解决了边界没有重合的问题；
采用非极大值抑制(NMS)，舍弃得分较低的预测框[12]．
2.2 数据集介绍
实验自制了一个指针式仪表数据集，从实验室采集和网络搜集的1 000张指针式仪表图片(900张训练集和100张测试集)，部分数据集如图5所示．根据指针式仪表刻度线圆弧所对应角度大小分为两类，大于180°为Circular instrument，其他为Arc instrument，用labelImg工具对图片中指针式仪表进行了标注，如图6所示．
图5 仪表数据集
图6 数据集标注示意图
2.3 YOLOv5s训练参数设置
网络训练参数设置见表1，总迭代次数为300次．
表1 训练参数设置
2.4 评价指标
实验的评价指标为精确率P(Precious)、召回率R(Recall)、平均精度均值(mA@0.5)以及调和均值(mAP@P0.5:0.95)．
1)精确率和召回率
精确率是检测为仪表的样本中为真仪表的占比，见公式(1)；
召回率是在全部仪表样本中被检测出来的占比，见公式(2)．二者的值越大，表示该模型的仪表识别效果越好．
(1)
(2)
式中：TP表示目标为仪表，检测为仪表；
FP表示目标不是仪表，检测不是仪表；
FN表示目标是仪表，检测不是仪表．
精确率和召回率随迭代次数变化如图7所示，从图中看出，YOLOv5s模型在训练200轮左右准确率和召回率趋于稳定，精确率和召回率在训练300次左右均稳定保持在95%以上．
图7 精确率和召回率
2)平均精度均值以及调和均值
精度均值为以精确率和召回率所围成的曲线面积值，平均精度均值即为学习的所有类别精度均值的平均值[13]．从图8中看出，YOLOv5s在训练200轮左右mAP趋向稳定，其中平均精度均值稳定在1.0附近，模型训练结果比较理想．
图8 精度均值
2.5 测试结果分析
为了测试模型的效果，进行多个、多类仪表图片的目标检测测试，测试效果如图9～10所示，图中数字为置信度．从图9所知，简单仪表目标检测效果很好，从图10可知，左图检测出5个Circular instrument，小目标检测效果良好，右图检测出4个Arc instrument，被部分遮挡的Arc instrument也被检测出来．本次训练的模型检测精度高，为仪表读数识别奠定了基础，适用范围广．
图9 简单仪表检测效果图
图10 多目标检测效果图
指针式仪表目标检测任务完成后，进行读数识别，主要包括表盘区域提取、刻度线提取及指针回转中心确定、零刻度线确定及读数识别．
3.1 表盘区域提取
指针式仪表经过YOLOv5检测仪表种类和位置，根据检测结果裁剪仪表区域，目标检测完成后已经剔除部分背景，为了更加准确地读取仪表示数，进行表盘区域提取工作，本文采用霍夫圆环变换提取表盘区域[14]．首先对仪表图片进行均值滤波和灰度转换工作，再经过霍夫圆环变换筛选圆心位置和圆半径，得到仪表圆区域，最后在仪表裁剪图像上提取仪表圆区域得到表盘ROI区域，表盘区域提取过程如图11所示．
图11 表盘区域提取过程
3.2 刻度线提取及指针回转中心的确定
在实际工作条件下，霍夫圆环变换找到圆心位置往往与指针回转中心存在较大偏差，本文利用刻度线轮廓连通区域特点提取其轮廓，通过刻度线拟合，求其交点的方法确定指针回转中心．表盘区域图像经过高斯滤波、灰度化、自适应阈值分割后得到二值图像；
然后通过刻度线连通域区域面积、长宽比和位置特征筛选刻度线轮廓；
再使用最小二乘法用于拟合刻度线的轮廓区域，最后求拟合直线两两交点，其均值即为指针回转中心．流程如图12所示．
图12 指针回转中心的确定
3.3 指针提取
仪表表盘二值图像在去除刻度线区域以后，表盘文字、阴影、仪表图案等仍不能直接提取指针轮廓．本文采用霍夫直线检测提取仪表指针，然后通过骨架细化和最小二乘法线性拟合得到指针直线，指针提取流程如图13所示．霍夫直线变换利用点与线的对偶性，运用两个坐标空间之间的变换，将在笛卡尔坐标系的所有直线映射到霍夫空间上一个点上形成峰值，从而转换为峰值统计问题．
产品价格也是影响顾客满意的一个重要因素。顾客在进行产品选择的时候，首先关注的就是产品的外观和质量，其次就是关注产品的价格。只有顾客认为产品的质量符合这个价格，性价比比较高时才会选择购买。因此，企业要对其产品制定合理的价格，既能实现产品的商业价值，又在顾客的承受范围之内，从而促进顾客购买该产品，实现顾客满意，提高企业的经济效益。
图13 指针提取流程
3.4 零刻度线的确定及读数
指针式仪表零刻度线确定方法有人工选择法、最大最小刻度线确定法[15]，人工选择法浪费人力、最大最小刻度线确定法无法满足圆形满刻度线仪表，本文提出一种基于零刻度线标记的仪表示数读取算法，本方法适应于读取固定和少量易于标记的仪表．在摄像头拍照前，用绿色小圆标记指针式仪表零刻度线，如图11(a)所示．仪表读数计算有角度法、距离法，本文采用角度法，读取结果如图14所示．
图14 仪表读数识别图
以图像左下角为原点，建立如图15所示的坐标系．
图15 指针旋转角度示意图
则：
(3)
(4)
式中：(x0，y0)为零刻度线端点坐标；
(x1，y1)为指针回转中心坐标；
(x2，y2)为指针端点坐标；
θ1为零刻度线端点与指针回转中心连线与x轴正方向夹角(°)；
θ2为指针端点与指针回转中心连线与x轴正方向夹角(°)；
atan2为math库的一个函数，其公式为：
(5)
仪表示数计算公式为：
(6)
式中：D为仪表读数；
θ为指针相对于零刻度线的回转角度；
R为仪表量程对应的最大回转角度；
l为仪表量程．当θ1×θ2≥0时，θ=|θ1-θ2|；
当θ1×θ2<0时，θ=|θ1+θ2|．
3.5 读数识别误差测试
为了测试算法的准确性，本文采集了20张不同示数的仪表图像，进行仪表读数识别实验，其中YOLOv5模型检测结果均为Circular instrument，仪表读数识别结果见表2．本文的算法对清晰的指针式仪表图像具有较高的识别能力，其读数识别相对误差均小于2.1%，平均相对误差为1.2%，具有较强的识别能力和准确性．
表2 指针式仪表读数识别结果
针对当前大坝廊道巡检以及指针式仪表识别特点，设计一套适用于巡检机器人的基于YOLOv5的大坝廊道指针式仪表检测与读数识别算法，采用基于机器视觉的指针式仪表自动识别及读数方法，大大地减轻了人工负担，避免了巡检人员的主观错误，更加准确和高效．主要成果如下：
1)提出一种基于YOLOv5的指针式仪表自动识别和数据采集方法．通过自制仪表数据集，训练YOLOv5s网络模型，该模型能够自动识别仪表类型，定位图像中仪表位置，经测试该模型精确度高．
2)通过目标检测算法识别出仪表后，完成一种基于图像处理技术的指针式仪表读数识别算法，主要包括表盘区域提取、刻度线提取及指针回转中心的确定、指针提取、零刻度线的确定和读数，测试结果表明读数识别相对误差均小于2.1%．
猜你喜欢 读数指针刻度 垂悬指针检测与防御方法*软件学报(2020年6期)2020-09-23——一个解释欧姆表刻度不均匀的好方法">欧姆表的刻度真的不均匀吗?——一个解释欧姆表刻度不均匀的好方法教学考试(高考物理)(2018年6期)2018-12-06读数中国公路(2017年19期)2018-01-23读数中国公路(2017年15期)2017-10-16为什么表的指针都按照顺时针方向转动广东第二课堂·小学(2017年9期)2017-09-28读数中国公路(2017年9期)2017-07-25读数中国公路(2017年7期)2017-07-24谁大谁小学苑创造·B版(2017年1期)2017-02-21谁大谁小学苑创造·B版(2017年1期)2017-02-21测量三字歌小天使·二年级语数英综合(2016年9期)2016-05-14
