基于OpenMV图像识别的垃圾分类小车系统设计与实现
时间：2022-12-03 22:25:02 来源：雅意学习网 本文已影响 人 
王梁 韦春明 陈俊洁
（1.梧州学院电子与信息工程学院，广西 梧州 543000；
2.广西机器视觉与智能控制重点实验室，广西 梧州 543000）
在垃圾总量日益增多的背景下，如何能更好地减少垃圾造成的污染，提高固体废物的利用率是亟待解决的问题。发展环保能源、对垃圾进行分类是经常被提及的垃圾处理方法［1］。而在所有垃圾处理方法中，垃圾分类是能有效解决“垃圾围城”以及提高资源利用率、实现可持续发展的方法之一。
目前，我国垃圾分类常用的方法有2 种，一是把垃圾分为可回收垃圾、不可回收垃圾以及有害垃圾3 类，并用不同颜色的垃圾桶对垃圾进行分类；
二是由人工对混杂垃圾进行分拣。但这2 种方法的分拣效率低，且需要大量的人工，且采用第一种方法分类后的垃圾依然比较混杂。
为了提高资源的利用率，减少人工分拣的工作量，本研究以STM32 单片机为基础，利用OpenMV对目标物体进行实时识别，设计出一款基于OpenMV 的垃圾分类小车系统，从而实现对垃圾的识别分类。
1.1 小车整体设计方案
本研究设计的小车系统是由STM32主控模块、2个霍尔编码器电机、MPU605传感器、降压模块、电机驱动模块、电池电压检测、蓝牙模块、OLED显示屏以及12 V锂电池等元件组成（见图1 和图2）。该小车系统主要通过串口与小车进行通信，将小车识别到的垃圾的坐标信息通过串口通信上传到电脑上。
图1 系统框架图
图2 小车模型图
1.2 小车主控芯片
该小车系统以STM32F103C8T 芯片为模块控制核心，STM32103FC8T 的工作频率可达72 MHz，具有ARM32 位内核架构，方便系统存储各种程序和数据［2-3］。通过制作单片机的最小系统（见图3）来实现控制［4］，该模块对其他模块传输过来的数据进行整合，并对其进行处理，从而对其他模块进行调控与控制，执行其他模块发出的指令，从而实现小车的功能。
图3 系统单片机最小系统
1.3 小车姿态检测
对二轮平衡小车进行姿态检测是小车实现平衡的重要条件。采用MPU6050 六轴姿态传感器来采集小车的姿态信息［5-6］，数字运动处理器（DMP）用于获取传感器信息，ADC会将采集到的姿态模拟信息转化为数字量，最后读取相应的寄存器。运用PID算法计算出相应的PWM波，并通过负反馈来驱动电机转动，从而实现小车平衡［7］。
1.4 小车电机驱动
本研究选择TB6612FNG 芯片来驱动电机［8］，该芯片拥有2 个通道的电路，且集成度高、驱动能力强［9］，可同时控制2个电机对小车进行调试和转换，从而实现小车的直行或转弯功能。通过降压模块电路来提供电机驱动所要的12 V 电压，使用LM2596 降压芯片和主控板降压芯片把5 V 电压降为直流3.3 V电压，供给芯片使用。
1.5 小车摄像头设计
小车系统是通过OpenMV4 H 7 plus的OV5640的摄像头模组（见图4）和WiFi扩展板（见图5）来对垃圾进行识别。摄像头模组处理器为STM32H743Ⅱ，其主频率为480 MHz，通过python 语言编写程序来实现图像识别和目标跟踪。本研究通过对OpenMV 摄像头采集到的数据集进行在线训练，从而实现对垃圾图像的识别［10］。
图4 OpenMV摄像头模组
图5 WiFi扩展板
2.1 图像处理
OpenMV 模块的图像识别使用的是SSD 框架，采用基于前馈神经网络的one-stage 物体检测算法［11-12］。在图像识别系统中，将垃圾分为可回收、不可回收、有害3 大类。对分类后的每种垃圾实物拍取50～100 张图片，并从网上寻找一些素材，从而构成3 大垃圾分类数据集（见表1），并对采集到的图像进行训练，从而生成神经网络模型。
表1 神经网络训练数据集图片组合类别
2.2 目标特征跟踪
用OpenMV对目标物体进行跟踪［13-15］，OpenMV基于神经网络框架的目标跟踪框架图见图6。利用卷积神经网络来搭建跟踪框架，对图像中的物体目标进行实时预测与追踪，OpenMV 摄像头可获取每帧图像的特征，对图像的颜色、纹理、形状大小等特征点进行神经网络训练，将训练好的数据模型和原图进行对照，对垃圾进行分类，并通过串口将坐标数据传输到单片机，单片机在接收到坐标数据后，会驱使小车走到目标物体所在的位置。
图6 目标跟踪框架图
垃圾识别系统的精度可用3 个指标进行评价，即垃圾识别系统训练集精确率（TR）、垃圾识别系统测试集精确率（TA）、选取的相对误差数目（N）。垃圾图像识别系统的相对误差和平均相对误差的计算方式见式（1）、式（2）。
式中：RS为垃圾图像识别系统的相对误差；
SRE为系统的平均相对误差。
用式（1）和式（2）中的RS和SER来评估图像识别模型训练结果的准确率。其中，SER越低，系统的准确率就越高。基于神经网络的小车垃圾识别系统训练效果见图7。3 类垃圾的识别准确率分别为0.96、0.97、0.95。
图7 模型训练效果数据
测试集效果数据如图8 所示。其中，随机抽取训练集中20%的图片组成测试集进行测试。3 类垃圾的识别准确率均较高，误判率较低。
图8 测试集效果数据
从中抽取9 样物品对训练好的模型进行测试，部分类别平均精度见表2，神经网络模型损失函数曲线见图9。在移动过程中，摄像头会出现一定误差，且训练集选取的图片背景较为混杂，会导致训练出来的神经网络跟实际识别出的平均精确度存在一定的误差。
图9 神经网络模型损失函数
由表2 可知，可回收垃圾的RS为-2%～10%、SER在-6.25%左右；
不可回收垃圾的RS为-0.1%～14%、SER在7.2%左右；
有害垃圾的RS为0.6%～5%、SER在3.1%左右；
整个系统的SER在5.5%左右。
表2 部分类别平均精度
本研究以分类好的单一垃圾为研究对象，以OpenMV 为图像识别模块、SSD 为神经网络框架，设计出一款基于OpenMV 图像识别的垃圾分类小车系统，从而解决垃圾分类准确率低的问题，可有效提高分类后垃圾的资源利用率。
本研究通过设计一个以STM32 为主控芯片的可接收坐标的自动循迹二轮小车，当OpenMV识别到垃圾后，会将垃圾的坐标传递给小车，并通过STM32 驱使小车到达垃圾所在的位置。用以SSD 框架为主的神经网络模型对500 张不同种类的垃圾图像进行训练，可将其分为有害垃圾、可回收垃圾以及不可回收垃圾。并采用200 张垃圾图像进行检测，试验结果表明，训练好的垃圾图像识别系统的平均精度为89%～98%，SER在10%以内。
该系统在有害垃圾类别中虽然存在一定的误差，但其神经网络模型还有很大的提升空间，且该设计可提高垃圾二次分类后的资源利用率，具有一定的实用性。
猜你喜欢 图像识别小车神经网络 支持向量机的舰船图像识别与分类技术舰船科学技术(2022年11期)2022-07-15基于神经网络的船舶电力系统故障诊断方法舰船科学技术(2022年11期)2022-07-15基于人工智能LSTM循环神经网络的学习成绩预测中国教育信息化·高教职教(2022年4期)2022-05-13基于计算机视觉的图像识别技术研究国际商业技术(2022年4期)2022-04-21MIV-PSO-BP神经网络用户热负荷预测煤气与热力(2022年2期)2022-03-09积木小车幼儿教育·父母孩子版(2019年5期)2019-10-18人工智能背景下图像识别技术浅析数码世界(2019年6期)2019-09-09刘老师想开小车文苑(2018年22期)2018-11-19三次样条和二次删除相辅助的WASD神经网络与日本人口预测软件(2017年6期)2017-09-23去修理厂新少年(2017年1期)2017-03-15
