ROI加速的无人机自主精准降落系统
时间：2023-06-24 12:10:04 来源：雅意学习网 本文已影响 人 
王宏飞，石永康
（新疆大学 机械工程学院，新疆 乌鲁木齐 830017）
近年来，无人机行业快速发展，在快递投送、农业植保、电力巡检等行业应用越来越广泛，这对无人机的自主降落提出了更高的要求。无人机的自主降落主要有两种方法：视觉导航[1]和卫星导航[2]。卫星导航容易受环境影响，精度较低，视觉导航只需要机载相机就能工作，且结合目标识别算法可以实现厘米级的定位。
无人机视觉自主降落常用的标识检测方法有基于图像分割的标识检测、基于分类器的标识检测、基于深度学习的标识检测[3-4]等。陈至坤等基于颜色值过滤掉与特定降落标识的形状特征不符的轮廓，利用二维像素点与三维点之间的关系计算降落标识的具体方位[5]。张咪等利用边缘检测和轮廓提取对设计的多层嵌套二维码降落标识进行检测与识别，通过优化相机像素坐标向量与空间坐标向量之间的最小二乘误差值，能够在不同高度获取无人机精确的位姿信息并完成自主降落[6]。张伟等利用图像分割的标识检测方法对“H”型降落标识进行识别，利用图像像素坐标系到世界坐标系的映射关系解算出无人机当前的位置[7]。A.Khazetdino等基于原有的Aruco marker设计了一种新型的降落标志码——E-Aruco[8]，平均降落精度达到2.03 cm。J.Wubben等提出一种基于多个Aruco marker组合起来的复合标识的着陆方案[9]，可以在不同的高度范围识别到其中一个或多个Aruco marker，且在增加额外较小时间的同时，平均着陆误差为11 cm。饶颖露等提出一种适用于无人机板载端的轻量高效的Onboard-YOLO算法，实现在机载处理器上的实时图形处理，有效提升了检测速度[10]。Yu等将机载相机捕获的彩色图像输入到基于CNN的目标检测算法[11]，输出降落标识的位置信息，检测速度达21帧。
综上所述，无人机自主降落的研究热点在于降落标识的识别速度与精度。传统图像处理算法需要对摄像机图像中的每个像素进行梯度计算，降落标识只占了图像的一部分，缩小处理的图像范围可以减少不必要的运算，加快处理速度。将深度学习的识别算法与阈值分割的识别算法结合起来，深度学习识别算法分割出需要处理的图像范围，锁定感兴趣区域，然后利用基于阈值分割的识别算法在ROI区域进行Aruco marker[8]提取。基于此，本文设计一种ROI加速的无人机自主精准降落系统。
无人机降落标识是用于辅助无人机视觉定位的基础，其设计需要满足以下要求：
1）特征鲜明，可以在复杂环境中快速被摄像头捕获识别；
2）能够在不同高度提供定位信息。
常用的降落标识可以分为T形、H形、圆形、矩形和组合标识等五类。本文的无人机自主降落标识如图1所示。标识整体是一个H形，蓝色特征使该标识易于识别。“H”里面嵌套有Aruco marker，Aruco是增强现实中常用的一种基准标识，该标识由一种外部边框和内部编码构成，其中外部用于标识的定位，内部编码用于ID识别。
图1 两层嵌套的阶层降落标识
系统硬件部分主要包括板载计算机、飞行控制器、机载摄像机，软件包括Ubuntu 18.04、ROS[12]机器人操作系统。基于ROS的分布式架构，将自主降落功能的实现分为相机采集、标识识别与位姿估计、控制三个子模块。相机采集的实时图像数据由嵌入式处理器负责处理。标识识别与位姿估计模块订阅来自相机的话题，发布无人机与降落标识的相对位置，主要包括旋转矩阵和平移矩阵。控制模块订阅来自识别模块的检测结果（相对位姿），发布速度控制量。自主降落系统整体框架如图2所示。
图2 自主降落系统整体框架
2.1 降落标识检测与识别
降落标识的检测与识别是自主降落过程的关键环节，快速准确地识别出特定的降落标识对于后续无人机位置参数的解算和自主降落的实时性有着重要影响。识别算法流程如图3所示。
图3 基于ROI加速的降落标识识别算法流程
无人机的自主降落需要同时兼顾识别的速度和精度，深度学习检测算法有两大分支：以R-CNN系列为代表的基于候选区域的目标检测方法和以YOLO系列为代表的基于回归的目标检测方法。基于候选区域的目标检测精度高，但是速度较慢；
基于回归的目标检测大大提升了检测速度，同时在精度方面也有很好的效果。考虑到需要在嵌入式平台上实现实时目标检测，本节使用压缩后的YOLO网络（YOLOv3-tiny和YOLOv4-tiny）在嵌入式计算机上进行测试。测试结果显示，在相机输出分辨率为640×480时，YOLOv4-tiny平均帧率为24 f∕s，YOLOv3-tiny平均帧率为27 f∕s，YOLOv4-tiny的置信度要好于YOLOv3-tiny，24 f∕s完全能满足实时检测的要求。本文采用YOLOv4-tiny进行目标检测任务。
2.2 ROI区域选定方法
YOLOv4-tiny算法在Jetson NX上的检测帧率能达到24 f∕s，完全能满足无人机自主降落场景实时性的要求，但是由于数据集是人工标注，所以会存在一定的标定误差，目标检测的精度会受人工标定准确度的影响。ROI区域选定的思路是结合YOLO与Aruco算法的优势，采用YOLOv4-tiny算法来识别外层的“H”标识进行粗定位，此算法返回的结果框作为Aruco算法的ROI区域。Aruco算法在ROI区域识别marker并进行精定位。ROI区域加速策略如图4所示。图中，ROI区域设置之前，Aruco算法需要遍历的图像范围为Ⅰ；
设置ROI区域后，需要遍历的图像范围为Ⅱ。
图4 ROI加速策略
2.3 Aruco位姿估计
在解算无人机相对于降落标识的位姿之前，先定义相关坐标系，相关坐标系的定义如图5所示。
图5 自主降落相关坐标系
其中，涉及到5个坐标系[13]，分别为：
1）世界坐标系Owxwywzw：以无人机起飞点为原点，x轴指向yaw=0°的方向，y轴指向yaw=90°的方向，z轴垂直于xwyw平面向上；
2）机载相机坐标系Ocxcyczc：以相机的光心为原点Oc，从相机往前看，物体在相机右方为xc轴正向，物体在相机下方为yc轴正向，以摄像的光轴为zc轴，指向相机前方为正；
3）机体坐标系Obxbybzb：以无人机的质心为原点，机头前方为xb轴，机头右方为yb轴，zb轴垂直于Obxbyb平面且指向机体上方；
4）图像平面坐标系：以光轴与图像的交点为原点O，以平行于数字图像的行向方向与列向方向为x轴和y轴；
5）图像像素坐标系Opuv：以数字图像的左上顶点为原点Op，以数字图像的行向方向和列向方向为u轴和v轴。
世界坐标系中的三维空间一点P(xw,yw,zw)可以在图像像素坐标系中找到对应的一个像素点P1(u1,v1)，转换关系如下：
将式（1）中R和t展开，得到：
将式（2）拆开写成等式的形式，如下：
式中一共有R11，R12，R13，R21，R22，R23，R31，R32，R33，t1，t2，t3等12个未知数，旋转矩阵具有正交矩阵的特点，已知R11，R12，R21就可以解算出剩下的Rxx，所以实际未知数的个数为6个。每一组(u,v)与(xw,yw,zw)的映射关系可以建立2个方程，因此，三组点就可以解算出全部的未知数。每个标识可以提供4个角点的坐标信息，利用降落标识4个角点坐标二维与三维的映射关系可以求出无人机与降落标识的位置关系。
2.4 位置PID控制器
第2.3节计算得到了无人机与降落标识的相对位置，包括水平方向x，y坐标，竖直方向z高度。使用位置差值设计位置PID控制器，位置PID控制器将位置偏差值转换成速度控制量，PID控制器由与偏差有关的比例、积分、微分三部分的加权和组成。比例环节的输出信号正比于输入偏差值，能够快速降低偏差值，但是存在静差；
积分环节利用静差的变化趋势并负作用于输出信号，超前调节以加快响应速度，减少震荡时间，提升了系统的动态性能。位置PID控制器的公式为：
式中：kP表示比例增益常数；
TI表示积分时间常数；
TD表示微分时间常数；
err(t)为相对位姿偏差值；
u(t)为经位置PID控制调节后的各自通道上的速度控制输出量。降落标识位置的发布频率为20 Hz，采样时间很短，所以在实际计算三轴的速度时，用一阶差分代替一阶微分，用累加代替积分，得到新的三轴位置PID控制器的公式为：
式中：kI=kP/TI，kD=kP·TD。将离散的位置数据输入到PID控制器计算公式中，得到对应通道的速度控制量u x(t),u y(t),u z(t)。为了防止程序计算错误输出较大的速度控制量，干扰飞行过程的平稳性，对u(t)进行限幅处理，再将速度控制量传给飞控。u(t)公式为：
用于试验验证的降落标识尺寸为0.2 m×0.2 m。按顺序启动自主降落的相关节点，切换飞行模式为offboard，无人机自主起飞到设定的高度，位置PID控制器根据识别节点返回的降落标识位置输出三轴速度控制量，飞控接收速度信息并控制无人朝降落标识飞行。实验过程如图6所示。
图6 无人机降落过程
实验过程中，使用rosbag工具包记录实验数据，然后使用Matlab处理实验数据，得到无人机降落过程中的三轴坐标值，如图7所示。
图7 相机系下降落标识三轴坐标
实验过程中，无人机与降落标识的水平距离随着高度值下降逐渐减小，x，y的值趋于0时，表明无人机到达降落标识的正上方。此时，判断z轴的坐标值是否小于设定的阈值高度，如果小于阈值高度，电机上锁，无人机完成降落。
降落过程中无人机的三轴速度如图8所示。位置PID控制器将机体系下无人机与降落标识的相对位置误差转换为速度控制量，位姿估计节点发布的是相机系下的无人机与降落标识的相对位置。对比三轴速度与机体系下的三轴坐标，两者之间的关系与控制器的输入输出关系相符，且速度不存在太大的超调。PID控制器的参数如表1所示。
图8 无人机三轴速度
表1 PID控制器参数
随机采集了20次无人机的降落结果，得到x，y的坐标偏移值（无人机轴心与降落标识中心的x，y轴偏移值），如图9所示。图中，20次的水平偏移量中有2次x轴的偏移量超过了10 cm，剩下的18次偏移量均在10 cm以内。由此说明，本文设计的自主降落算法是可行和准确的。
图9 自主降落实验水平偏离误差散点图
本文设计的两层嵌套降落标识，标识特征明显，很容易被识别到。将深度学习引入到无人机自主降落，用来提取感兴趣区域，结合传统的基于图像分割的目标识别算法，提升了降落标识的识别速度与精度。设计位姿PID控制器，将位置偏差转换成速度控制量，同时设定输出速度的阈值，防止程序计算错误，输出较大的速度控制量而导致植保无人机飞行过程的不稳定。
在进行多次的真机测试后，无人机降落成功率为95%（轴向误差小于10 cm），符合自主降落的精度要求。
猜你喜欢位姿坐标系控制器解密坐标系中的平移变换中学生数理化·七年级数学人教版(2018年4期)2018-06-28坐标系背后的故事数学大世界(2018年1期)2018-04-12基于重心坐标系的平面几何证明的探讨中等数学(2017年2期)2017-06-01基于共面直线迭代加权最小二乘的相机位姿估计光学精密工程(2016年5期)2016-11-07基于CAD模型的单目六自由度位姿测量光学精密工程(2016年4期)2016-11-07小型四旋翼飞行器位姿建模及其仿真湖北工业大学学报(2016年5期)2016-02-27模糊PID控制器设计及MATLAB仿真筑路机械与施工机械化(2014年4期)2014-03-01基于几何特征的快速位姿识别算法研究组合机床与自动化加工技术(2014年12期)2014-03-01MOXA RTU控制器ioPAC 5542系列自动化博览(2014年9期)2014-02-28倍福 CX8091嵌入式控制器自动化博览(2014年4期)2014-02-28
