基于机器视觉和深度学习的稻纵卷叶螟性诱智能监测系统
时间：2022-12-06 09:45:03 来源：雅意学习网 本文已影响 人 
张哲宇, 孙果镓, 杨保军, 刘淑华, 吕 军, 姚 青, 唐 健
(1. 浙江理工大学信息学院, 杭州 310018; 2. 中国水稻研究所水稻生物学国家重点实验室, 杭州 310006)
我国是一个农业害虫重发频发的国家。对田间害虫种群进行实时准确监测和精准有效防控，可大大减少经济损失(刘冬等, 2014; 刘万才等, 2020)。目前，我国田间害虫种群监测方法主要包括田间调查、昆虫雷达(Westbrook, 2008; 江幸福等, 2019)、高空测报灯、虫情测报灯(姜玉英等, 2020)以及性诱和食诱剂(和伟等, 2019; 杨留鹏等, 2020; 曾娟等, 2021)等。其中，性诱剂具有很强的灵敏性和专一性，环境友好，不仅作为农业害虫监测的重要手段，也是生物防治主要方法之一(罗金燕等, 2016)。目前，常见性诱监测设备与方法可分为2类：一类是简易型性诱捕器+人工鉴定计数法；
另一类是防逃逸装置+光电计数法。这两类诱捕器存在两个问题：(1)简易型性诱捕器价格便宜，但需定期到田间查看诱虫量，费时费工，非实时，数据需人工上报，历史数据难以追溯；
(2)利用光电计数器计数害虫准确率偏低，因为人工合成的性诱剂无法保证高度专一性，一种害虫不同地区性信息素成分比例可能存在差异(江南纪和王琛柱, 2019)，利用一种性诱剂在不同地区常引诱到多种相似种昆虫(沈嘉彬等, 2019)，或误入诱捕器的非目标昆虫而导致光电计数器对目标害虫计数不准确(苏小平等, 2018; 周爱萍, 2020)。
随着机器视觉、图像处理和深度学习等技术和方法在多个领域的成功应用，有些学者研究机器视觉技术+粘虫板进行害虫的性诱智能监测，并将深度学习方法应用到性诱害虫图像检测中，取得了较好的检测效果。Ding和Taylor(2016)建立了深度学习模型自动检测粘虫板图像上的害虫苹果蠹蛾Cydiapomonella，取得了较好的检测效果，但仍存在一些粘连害虫漏检和相似目标误检的问题。Chulu等(2019)提出了一种利用深度学习方法识别性诱害虫草地贪夜蛾的思路，但未给出图像采集装置和田间测试结果。Kim等(2018)利用深度学习中的卷积神经网络对性诱粘虫板上的害虫进行自动识别，结果能监测到大部分害虫，但检测框的位置不准确，测试图像较少。Sun等(2018)在实验室搭建了入侵害虫红脂大小蠹Dendroctonusvalens的性诱装置，并提出改进的RetinaNet模型识别6种小蠹虫，但因引诱到其他相似种小蠹虫而导致部分目标害虫误检，且该装置在实际野外环境下，会遇到由于背景复杂和空间狭小等原因造成目标粘连导致的漏检问题。目前，上述设备和方法未能在田间获得推广应用，主要存在如下问题：(1)粘虫板长时间暴露在田间，容易粘连到很多非目标昆虫和杂质，导致图像背景复杂；
(2)当虫量大的时候，粘虫板上的害虫容易出现粘连现象；
(3)因人工合成的性诱剂专一性问题，可能同时诱捕到目标害虫和同类相似昆虫，加上粘胶使它们姿态不一和鳞片脱落，造成视觉差异性小，难以获得满意的识别率。
本研究针对上述问题，以稻纵卷叶螟Cnaphalocrocismedinalis成虫为性诱对象，建立稻纵卷叶螟性诱智能监测系统。该系统主要包括基于机器视觉的智能性诱捕器、基于深度学习的稻纵卷叶螟检测模型、系统后端服务器和可视化的Web前端，实现田间稻纵卷叶螟性诱成虫监测数据的实时性、准确性和数据可追溯。
1.1 图像采集与数据集
1.1.1稻纵卷叶螟性诱智能监测系统：系统技术路线如图1。基于机器视觉的智能性诱捕器定时拍摄稻纵卷叶螟图像，通过4G运营商网络将图像上传至云服务器，服务器收到图像后，调用稻纵卷叶螟检测模型，将检测结果保存至数据库，同时发送至Web前端，便于测报人员查看历史图像及模型检测结果，实现数据可追溯。
图1 稻纵卷叶螟性诱智能监测系统技术路线图
为了便于系统的管理，降低耦合度，采用前后端分离的架构模式进行系统设计。系统后台由采用MTV的架构模式和开源Web应用程序框架Django实现；
数据库采用目前使用最广泛的关系型数据库MySQL建立；
Web前端设计采用Vue框架，利用JavaScript进行前端数据交互、处理，利用HTML、CSS进行页面渲染。Web前端通过基于HTTP协议的Axios网络请求向后台申请网页端数据(包括登陆接口、识别历史接口等)，系统后台收到请求后，进行请求解析、用户鉴权等后台业务处理操作，并生成响应数据返回Web前端，Web前端对响应数据二次解析后，渲染至浏览器界面，实现稻纵卷叶螟性诱监测结果的界面展示。
1.1.2基于机器视觉的智能性诱捕器设计：基于机器视觉的智能性诱捕器主要包括定焦工业相机(MV-CE100-30GC)、LED面光源、粘虫板、太阳能板和搭载图像4G传输模块的安卓平板(图2)。
图2 基于机器视觉的智能性诱捕器设计图
诱虫区域设计为狭窄入口，上方设置遮雨罩遮挡雨水，下方放置诱虫板和性诱剂，四周挡板和遮雨罩可减少害虫进入诱虫区逃逸。相机拍摄粘虫板图像，平板将图像上传至云服务器。测报人员根据上传的图像查看粘虫板上害虫粘连情况，决定是否更换粘虫板。
1.1.3图像数据集：智能性诱捕器安装于浙江省富阳区试验稻田(30.08°N，119.94°E)，诱芯为稻纵卷叶螟性诱剂(宁波纽康生物技术有限公司)。
2020-2021年共采集含有性诱害虫图像712幅,图像尺寸为3 840×2 748像素。
将稻纵卷叶螟性诱成虫图像以8∶2比例分为训练集和测试集。利用LabelImg标注工具对训练集图像进行害虫标定，将标注区域的分类信息和坐标信息保存在对应的XML文件中。由于性诱剂的专一性问题和粘胶作用，粘虫板上除了引诱到的目标害虫稻纵卷叶螟外，还可能包含甲壳虫、蚊虫等一些非鳞翅目昆虫，它们与稻纵卷叶螟差异很大，使得粘虫板背景变得复杂；
同时还可能引诱到斜纹夜蛾Spodopteralitura和劳氏粘虫Leucanialoreyi等未知名鳞翅目害虫，这些害虫与稻纵卷叶螟之间容易造成相互误检，本研究将这些鳞翅目害虫称为干扰害虫。图像数据集信息如表1所示。
表1 性诱害虫数据信息
1.1.4图像数据增强：为提高稻纵卷叶螟检测模型的鲁棒性和泛化能力，利用OpenCV算法对图像数据进行增强，包括图像水平镜像翻转、图像顺时针90°旋转、图像均值化处理和图像添加高斯噪声4种方法(Lee, 1980)(图3)。训练样本量增加4倍。
图3 图像增强方法
1.2 稻纵卷叶螟自动检测模型
1.2.1双层架构目标检测模型：稻纵卷叶螟自动检测模型采用双层网络结构。第一层为改进的YOLOv3稻纵卷叶螟检测模型，将性诱害虫图像输入网络后，得到稻纵卷叶螟和干扰害虫区域回归框的具体坐标和分类置信度集合；
为了减少目标害虫与干扰害虫之间相互误判，添加第二层细粒度图像分类网络DBTNet-101，对第一层检测框内的害虫图像进行二次识别，提高稻纵卷叶螟检测与识别的精度。双层网络框架如图4。
图4 稻纵卷叶螟的双层网络检测模框架图
1.2.2改进的YOLOv3性诱害虫检测模型：典型的单阶段目标检测模型包括YOLO系列(Redmonetal., 2016; Redmon and Farhadi, 2017; Farhadi and Redmon, 2018)、SSD(Liu Wetal., 2016)等。YOLOv3检测模型由特征提取网络Darknet-53和上采样特征融合模块组成。检测时，通过Darknet-53中的卷积层进行锚点确定、锚点框内的目标分类和位置信息确定；
通过上采样特征融合模块输出3个尺度下的预测结果，可以改善小目标在单一尺度下特征丢失的问题，同时对较大目标有更好的检测效果(Farhadi and Redmon, 2018)。
由于性诱害虫图像背景复杂，直接将YOLOv3模型用于检测稻纵卷叶螟，存在目标害虫与干扰害虫之间的相互误检和粘连目标预测框丢失的问题。针对这两个问题，本研究添加DropBlock正则化方法(Ghiasietal., 2018)来降低网络过拟合程度，增强算法鲁棒性，降低非目标误检问题；
采用DIoU-NMS(Zhengetal., 2020)非极大值抑制代替传统的NMS，可以有效减少粘连目标预测框丢失情况。改进后的YOLOv3检测模型网络框架如图5。
图5 改进的YOLOv3检测模型网络框架
常见的正则化方法包括dropout正则化(Wageretal., 2013; Jindaletal., 2016)、L1、L2正则化(Park and Hastie, 2007; Cortesetal.,2009)和DropBlock正则化等方法。为降低过拟合程度，增强目标检测算法鲁棒性，本研究使用DropBlock正则化方法。DropBlock方法在卷积操作前，随机选取输入层中目标所在区域内的像素点，根据预设block的大小，在选取点周围设置drop区块，将区块内所有像素值置零，如图6，其中绿色区域为目标区域，红色点为随机点，黑色区域为drop区块。上述算法操作后将图像送入网络，增加网络训练难度，减少网络对某局部特征的依赖，从而避免过拟合现象。
图6 DropBlock示意图
由于目标检测结果包括所有高于置信度阈值的检测框，存在较多的冗余框，需要采取非极大值抑制方法(NMS)去除冗余框。传统的非极大值抑制方法利用两个检测框的交并比(IoU)作为量化单位，对交并比大于阈值的两检测框进行置信度对比并保留置信度更高的检测框，去除置信度较低的检测框。传统的非极大值抑制方法在筛选两个重叠程度较高的目标检测框情况中，易发生检测框定位不准确的问题，从而导致目标害虫的漏检。本研究采用包含距离信息的DIoU-NMS非极大值抑制作为去除冗余框的手段。
DIoU-NMS中的DIoU值计算如公式(1)。
(1)
式中，ρ代表欧氏距离，a和b分别表示两个检测框中心点，c表示包含两框的最小矩形框的对角线欧氏距离长度(图7)。
图7 DIoU参数示意图
利用DioU-NMS替换NMS，能有效抑制不合格的检测框，同时最大程度保留正确的检测结果。图8给出两种非极大值抑制方法对粘连害虫的检测结果，由此可见 DioU-NMS 可以有效地将两个粘连的稻纵卷叶螟检测出来。
图8 NMS和DioU-NMS输出结果图
1.2.3深度双线性变换网络DBTNet-101：粘虫板图像中除了目标害虫稻纵卷叶螟成虫，常混有其他鳞翅目干扰害虫，这些害虫可能在体型或颜色上与目标害虫存在一定的相似性(图9)，导致在第一层YOLOv3模型检测结果中稻纵卷叶螟与干扰害虫存在误检。在图像识别任务中，相似物种分类任务通常被归为细粒度分类。为了降低目标害虫和干扰害虫之间相互误检，提高目标害虫的检测率，在第一层网络结构后级联了第二层的深度双线性变换分类网络DBTNet-101(Zhengetal., 2019)。
图9 稻纵卷叶螟(A)与鳞翅目干扰害虫(B-F)图像
DBTNet-101是在分类网络ResNet-101(Heetal., 2016)基础上，添加深度双线性转换模块，对基于目标各个部位的语义信息分组后进行双线性计算操作，在不改变卷积特征维度的情况下，得到图像丰富的细节特征表达。DBTNet-101由1个卷积层、33个卷积区块、1个全连接层组成，其网络架构如图10。
图10 DBTNet-101网络架构
其中，“1×SG 1×1,2n+5”表示添加语义分组约束的1×1的卷积层，其输出深度为2n+5；
“1×GB,G=8”表示在卷积神经网络中进行双线性计算操作，具体计算见公式(2)。
(2)
式中，x为输入特征矩阵，A为经过SG优化的分组映射矩阵，G为分组数，Ij对应第j组时为一个单位矩阵，其他为0。DBT卷积区块输入特征经过语义分组后，按组进行双线性池化，即对特征向量进行外积操作，最后整合各组特征得到最终的结果。
1.3 评价方法
为了客观地评价本研究提出的稻纵卷叶螟双层网络检测模型的检测效果，使用精确率(precision)、召回率(recall)、F1作为评价指标。其中，精确率表示模型识别害虫中被正确识别为目标害虫的比例，召回率表示识别为目标害虫中被正确识别的害虫比例，F1为二者的综合评价，其计算公式如公式(3), (4)和(5)。
(3)
(4)
(5)
式中，TP(k)表示第k类害虫被正确识别的害虫数量，FP(k)表示干扰害虫被误判为第k类害虫的数量，FN(k)表示第k类害虫被识别为非k类害虫的数量。
2.1 模型检测结果
用同一个训练集训练YOLOv3、改进的YOLOv3和本研究提出的双层网络检测模型，在同一个测试集上测试，结果见表2。
表2 不同模型对稻纵卷叶螟检测的结果
由表2可知，改进的YOLOv3对稻纵卷叶螟的识别精确率和召回率分别提高2.9%和1.8%，F1分值提高2.3%，双层网络检测模型对稻纵卷叶螟识别的精确率和召回率分别为97.6%和98.6%，可以满足稻纵卷叶螟性诱成虫智能监测的需求。
图11展示了两幅稻纵卷叶螟检测结果图。图中存在较多的目标害虫稻纵卷叶螟和部分鳞翅目干扰害虫，检测模型将所有的目标害虫稻纵卷叶螟正确检测出来，无误检和漏检。
图11 稻纵卷叶螟检测结果图
2.2 系统Web前端界面
稻纵卷叶螟性诱智能监测系统Web前端主要包括用户登录、性诱图像智能识别、设备管理、用户管理、识别历史等功能。系统可定期自动采集稻纵卷叶螟图像、准确检测与计数稻纵卷叶螟，用户可通过Web前端查看稻纵卷叶螟检测结果图，实现了监测数据可追溯。图12展示了Web前端稻纵卷叶螟自动检测结果图列表。
图12 稻纵卷叶螟性诱智能监测系统Web前端界面
实时准确地获得农业田间害虫种群种类与数量是害虫精准测报的前提。目前，我国害虫性诱测报方法仍旧需要测报员定期下田查看性诱粘虫板上的害虫数量，存在工作量大、效率低、数据难以追溯等问题。如何利用智能测报设备和方法减轻测报人员工作量，提高工作效率成为目前害虫性诱测报亟需解决的问题。
近几年机器视觉和深度学习技术在农业害虫识别领域取得较多进展(Liu ZYetal., 2016; Liuetal., 2019; Yaoetal., 2020)。传统的机器视觉方法先利用阈值分割(Bhargavi and Jyothi, 2014)方法去除背景，在图像中确定害虫区域，然后使用机器学习(Jordan and Mitchell, 2015)方法，通过预先设定好的参数提取害虫图像特征(Lowe, 2004)，最后训练识别模型进行害虫的分类识别。然而，使用传统的机器视觉识别方法进行分类识别需要大量的前期工作来确定目标图像的分类特征，特别是在复杂背景且存在大量干扰目标情况下，人工筛选特征参数耗时费力。另外，使用单类特征往往识别效果不佳，而选取多特征融合时又会损失图像的空间结构信息，训练出来的模型鲁棒性弱、泛化能力差。由于性诱粘虫板图像上存在背景复杂，混有干扰目标害虫，传统的机器视觉识别方法无法获得满意的目标害虫检测效果。目前，已有学者利用深度学习方法识别性诱害虫，解决部分行业痛点(Ding and Taylor, 2016; Kim and Yoe, 2018; Sunetal., 2018; Chuluetal., 2019)。但上述方法仍旧无法有效解决粘连害虫漏检、目标害虫与干扰害虫相互误检的问题。
针对上述问题，本研究建立了两层网络检测模型，在模型中加入DropBlock正则化方法，降低神经网络过拟合程度，减少误检；
在模型中加入DIoU-NMS非极大值抑制，减少漏检；
利用第二层DBTNet-101分类网络对第一层检测结果进行校准，降低目标害虫的误检。结果表明，粘虫板图像上的稻纵卷叶螟检测精确率和召回率分别达到97.6%和98.6%，可以满足稻纵卷叶螟智能性诱测报的需求。本研究建立的稻纵卷叶螟性诱智能监测系统实现了稻纵卷叶螟性诱成虫监测的实时性和智能化，减轻了测报人员的工作量，监测数据精确且可追溯。该系统可应用于其他鳞翅目害虫的智能性诱测报，只需要建立多类目标害虫的检测模型就可实现。
