无人机群体视角下的轨迹预测

房建武，李旭阳，杜 凯，薛建儒

(1.长安大学运输工程学院，西安 710061；
2.长安大学电子与控制工程学院，西安 710061；
3.西安交通大学人工智能学院，西安 710061)

利用无人机对地面目标进行观测是当前无人系统技术研究领域的重要任务。目标的轨迹预测可以为目标的运动趋势以及潜在碰撞风险提供线索，在军事、农业、交通等领域应用广泛。相较于车辆等地面设备，无人机在条件允许的情况下可以采集更大视野的复杂环境场景数据。由于无人机体积小、机动性高，增强了执行任务的能力。同时，由于无人机视角相对稳定、视野内目标尺度变化小，可高精度提取动静目标轨迹数据，进而对目标的未来轨迹做出预测。现有基于无人机视角的轨迹预测方法大多依赖单一无人机的固定视角，所观测场景存在幅宽局限性，轨迹数据缺乏长时连续性。同时建筑物和大尺度障碍物的视野干扰因素制约着大范围、精准的地面目标轨迹预测技术的发展。

近年来，基于无人机集群技术对目标进行联合监测的研究取得了一定的进展，研究问题主要集中于多无人机对观测目标的跟踪上。在目标轨迹跟踪方面，一般根据目标历史数据，估计下一个时刻的目标位置，进而调整无人机集群策略。一些方法通过快速更新历史数据、逐步预测的形式，提高了跟踪的精确度和实时性。在长期观测和追踪时，考虑动态避障所带来的短时间目标丢失问题，跟踪器应具有自检测能力，能够通过检测器重新检测到再次出现的目标，并继续完成任务。此外，人工势场法为多无人机下的目标跟踪提供了搜索范围限制，能及时调整无人机姿态和飞行策略，从而实现长时间精准跟踪。例如，在人工势场法的基础上，基于模糊控制决策对动态目标进行预测跟踪，通过设计无人机速度跟踪控制器，依据目标轨迹实现无人机集群的速度控制，完成持续目标跟踪。此外，各类通信设施的发展，提升了无人机的灵活性及环境适用性，从而为多无人机的集群策略提供了更多的可能性。地面目标和多架无人机可以通过配备超宽带(Ultra Wide Band，UWB)模块，测量无人机间的相对距离，并将各无人机的定位信息发送至服务器，服务器依据跟踪目标的历史数据对其未来轨迹做出估计，并将目标下一时刻的定位信息返回至各无人机，使得无人机群可以形成固定队列，如正多边形，并将目标对象置于多边形的正中心。考虑到现实环境中存在大尺度障碍物或者大型建筑，在采用超宽带模块等通信技术的基础上，文献[5]将无人机对目标监测到的测量数据分为视距测量和非视距测量，通过测量来估计目标位置，并对目标未来短时轨迹做出预测，进而提升跟踪性能，此强化学习方法可使多无人机在不同环境下学习到最佳的集群策略。

上述研究成果促进了无人机集群的发展，但没有对环境的复杂性做出更深的探讨，尤其是在对于目标对象的稳定轨迹预测以及未来长时间的位置估计上研究不足。为了更好地探讨群体视角下的轨迹预测问题，本文通过多架无人机的不同观测视角确定目标位置，并对目标未来轨迹做出长时预测。受无人机集群技术发展的启发，本文将讨论无人机集群技术在轨迹预测领域面临的挑战和解决思路。

单无人机视角下的运动目标观测，一般存在以下几点问题：

1)受场景中障碍物影响严重。在无人机采集目标轨迹数据集时，一般将拍摄的图像按帧抽取，并以一定的间隔提取参与者的坐标信息。为了保证轨迹的连贯性，要求能够持续地观测参与者的活动，使得单一视角在执行上述任务时需要选取足够空旷的场景；
而在有障碍物覆盖的空域内，如树木遮蔽，监测性能受影响严重。由此，在类似场景下采集数据时，单一视角存在两个局限性：

a)受到地面建筑物和其他障碍物的影响，在城市等建筑高密度区域使用受限，对观测行人这类目标，很容易受到遮挡干扰；

b)为保证数据质量，往往需要降低无人机高度，这会减小拍摄范围，不能长远地追踪某个目标。如图1(a)所示，对于行人对象，右侧无人机在单独拍摄时，会受到树木遮挡严重影响；
而对于无人机集群而言，左侧的无人机可以很好地补充左侧视野的盲区，如图1(b)所示。

(a) 存在障碍物遮挡示意图

(b) 交叉视角观测目标示意图图1 障碍物存在遮挡及交叉视角观测目标示意图Fig.1 Schematic diagram of obstacle presence with occlusion in the views of UAVs, and the observation by UAVs with cross views

2)对目标位置的确定受视角倾斜及地面起伏影响较大。在无人机观测视角与水平线夹角(定义为观测夹角)较大时(垂直地面观测具有最大的观测夹角)，由于图像尺寸和纵深畸变，对于视野边缘的目标位置识别能力差；
同时，同类目标中的不同个体，由于视角限制只能观测到目标局部，如行人头部，不利于区分不同个体。当观测夹角较小时(与地面平行具有最小的观测夹角)，受环境变化和无人机动作调整等因素影响，会降低拍摄的目标清晰度，或导致目标尺寸在短时间内急剧变化，从而影响对目标的观测。而当不同无人机处于不同观测夹角时，如图2所示，可以分别从多个侧面对目标进行观测，通过它们视野的交叉可以更精准地确定目标位置。

图2 无人机的不同观测夹角示意图及观测画面案例，其中右侧图来自于文献[10]Fig.2 Schematic diagram and typical observed examples of different observation perspectives, with image on the right adapted from reference NO.10

3)对目标丢失情况的处理效果差。在对目标进行轨迹预测时，需要控制无人机处于较好位置，以获取清晰图像。然而，由于环境复杂多变，在无人机规避障碍物时，有可能丢失目标，且当目标有意识地摆脱无人机时，目标丢失的概率急剧增大。在此情形下，采用无人机集群可以扩大整体的观测范围，在目标被遮挡时执行不同的策略以降低风险。

相较于单无人机视角下的轨迹预测，在无人机群体视角下进行轨迹预测时，除了对移动目标的轨迹预测外，还需要关注无人机集群的协同控制，以保持整个无人机集群的稳定，规避碰撞等安全问题。近十年内，协同导航技术得到了快速发展，得益于多无人机定位精度的提高和多无人机编队稳定性的提升，无人机集群的应用范围得到了极大扩展。无人机群在执行观测任务时，各无人机处于不同的视角，能够获取的目标特征也有所不同。因此，图3所示为无人机群体视角下轨迹预测所面临的问题和挑战，其中交叉定位基本原理中坐标系的说明见2.1节。以下将问题进一步细分为五点进行阐述：1)交叉视角下目标定位问题；
2)多视角下目标再关联问题；
3)无人机集群自身的轨迹预测问题；
4)面向轨迹预测的集群感知问题；
5)目标轨迹预测问题。

2.1 交叉视角下目标定位问题

传统的单无人机一般结合角度测量和测距来获取目标的位置信息，而多无人机在观测时则形成了一个基于集群的协同观测系统，具有多传输和多集合的特点。将各无人机作为不同的收发单元，由于收发单元的空间几何结构，目标坐标的确定可以融合更多信息。如图3所示，由无人机航拍图像中的坐标到具体目标的坐标之间，往往要经过若干个坐标系的转换和辅助，例如，利用全球定位系统(Glo-bal Positioning System，GPS)进行目标定位时，由纬度()、经度()和距离地面高度()表征目标空间位置;同时，过渡到无人机机载相机坐标系(,,)，轴为视轴线方向，形成右手坐标系法则;再过渡到图像坐标系(,,)，其中图像坐标系原点为拍摄图像左上方，、分别与、平行。在无人机群执行观测任务时，由于其空间分布比较广泛，各个无人机对目标的观测距离和视角皆不相同，获取的图像在尺寸和清晰度上也有区分。而由于集群协作的复杂性和目标轨迹预测的实时性要求，为无人机集群执行相应任务带来了挑战。

图3 多无人机面临的挑战问题Fig.3 Challenges faced by multi-UAVs

目前，关于无人机群协同观测的研究并不多。从整体的地面目标定位系统出发，通过机载的光电测量系统可以实现基础的定位功能，而进一步的目标定位则取决于传感器的分辨率以及数据链的延迟和坐标系变换等其他因素，在此基础上，构建多无人机侦察平台对目标进行定位。该方法以及一些传统方法依赖于光电测量系统获取光测距信息，提高了无人机集群的整体成本。而随着深度学习等技术的发展，可以通过基于深度学习的检测网络对无人机航拍的图像进行数据提取，获取图像坐标系下的目标位置信息，之后再进行坐标系转换，从而能够在不依赖光电测量系统的基础上对目标进行定位。上述方法在进行目标坐标系转换时，没有进一步探讨对环境的约束。从环境的复杂程度出发，在城市等多约束条件下，可以基于分布式无人机集群策略，结合多个优化目标的不同重要性，能够获得同时满足目标优化和重要性等级要求的最佳无人机群路径，从而更好地获取目标位置信息。此外，从检测和定位算法出发，将多机联合最大似然估计算法应用于分布式无人机集群协同检测，可以降低定位的误差。

无人机群在完成对目标的定位之后，需要一定的评估方法对定位精准度进行评价。使用不同的设备组合进行目标定位时，评估方法存在差异。无人机观测对象的不同和场景的变化也会产生不同的评估指标要求。因此，需要明确技术指标要求，规范测试方法,使得无人机群在执行不同的观测任务时，对目标的定位具有更好的适用性。

2.2 多视角下目标再关联问题

当目标处于无人机群共同视野内时，可以通过交叉视角定位来锁定目标；
而当各无人机的视野没有重叠时，判断目标从一个视野转到另一个视野内，就需要应用目标检测和目标再关联技术进行同一目标的重识别。随着计算机视觉技术的不断发展，行人和车辆再关联问题在领域内取得了优异的成果。然而，当无人机集群在野外场景下执行任务时，受到视角改变、光照等因素的影响，目标前后的差异可能要大于不同目标间的差异。在轨迹预测领域，目标再关联技术主要应用于目标丢失后的再次定位以及不同相机内的模型迁移。

2.3 无人机集群自身的轨迹预测问题

无人机集群主要通过通信的方式获取彼此的实时位置，在规避障碍物或穿越复杂地形时，集群的队形会发生变化，而在环境恶劣时，会导致通信能力下降。为了保证集群内相对稳定，避免部分无人机脱节，在无人机群对目标进行轨迹预测时，需要对其他无人机进行轨迹预测，综合之后做出路径规划。这时无人机集群的目标观测任务需要根据不同情形，在时间以及任务上进行自主分配。而在对其他无人机观测时，势必需要调整观测视角，以免造成视角有限。此时需要根据无人机的主从关系进行观测视角层的协同，确保观测全面。

2.4 面向轨迹预测的集群感知问题

无人机群在执行观测任务时，往往处于未知的复杂环境，并且由于目标活动的不确定性，观测任务是高度动态的，即任务本身由对目标和环境的感知需求而驱动。随着集群技术的发展，无人机集群的应用场景得到了扩展，一些信号和光源缺失的恶劣环境对集群的感知提出了新的挑战。视觉和激光雷达是常用的感知技术。基于视觉和激光雷达的环境感知、自主导航等技术存在着比较显著的机理差异，传感器的不同是产生差异的直接原因。早先的一些工作考虑了任务需求和传感器的要求，对面向感知的多Agent(Perception Oriented Cooperation Agent，POCA)的概念和模型做出了阐述，主要包括多无人机感知规划和调度Agent，但仍然缺乏能够实现以上功能的可靠机制。近年来的一些工作主要聚焦于环境重建、降维等方法，以感知充分的场景信息。无人机在执行任务时，由于机载传感器的限制，获取的环境信息以图像为主，但高维的图像数据不能直接作为环境状态的直接表示，此时，可以提取高维数据中的关键特征，实现数据降维，从而从原始的感知信号(图像等)中学习到环境的状态空间表示，通过结合自编码结构，适应更加复杂的环境。同样地，基于降维的方法，可以通过双目摄像头实时重建环境外部的3D点云信息，进而将3D信息映射到2D平面，提取平面mask，能够更好地引导无人机群在特殊情况下(如目标丢失、无人机故障等)进行自主着陆。此外，当面临其他的一些特殊情况，如目标丢失、无人机受到阻挡等时，无人机群通过感知决策机制能够识别周围实时的障碍物空间，进而设计出避让路径。

上述方法采用的感知机制都基于传感器获取不同的场景数据，通过对数据做变换处理，以指导集群下一步的移动路径。然而，不同的环境对各类传感器的需求也有所不同，不同传感器所获取的数据也要做不同的处理。考虑到轨迹预测任务的实时性要求，如何设计无人机集群的感知机制既是重点也是难点。

2.5 目标轨迹预测问题

近年来，关于目标轨迹预测的研究主要集中在行人和车辆目标上。受客观环境的影响，行人、车辆以及其他交通参与者间的交互关系建模是轨迹预测所面临的重点问题之一。随着深度学习的发展，各类深度神经网络方法在轨迹预测领域取得了长足发展。长短期记忆(Long Short Term Memory，LSTM)网络、生成对抗网络(Generative Adversarial Networks，GAN)和图卷积网络(Graph Convolution Network，GCN)成为轨迹预测建模的主要模型。

2.5.1 行人轨迹预测

针对行人轨迹预测的研究，主要关注于网络设计和方法模型两方面。在网络模型的设计上，轨迹预测模型一般将行人历史轨迹、场景语义信息或两者结合作为模型的输入。在方法模型上，针对行人轨迹的时序性特征，循环神经网络(Recurrent Neural Networ-ks，RNN)以及其变体LSTM、门控循环递归单元(Gated Recurrent Unit，GRU)在序列学习上具有强大的适应能力。早先在学习行人的社会行为时，基于人群场景中的行人轨迹预测，一般采用数据驱动的社会交互建模方法，如采用交互关系优化的LSTM网络(State Refinement LSTM， SR-LSTM),在考虑临近(一定半径范围内)行人的影响时，引入了一个社会感知信息的选择机制,以筛选更加有用的信息。而关于轨迹预测的合理性，在采用LSTM模型时，可以考虑交互关系、区域交叉和场景语义三个因素对轨迹的影响，并采用多个池化机制以引入相应的特征信息。此外，行人的潜在目的地对其运动路径选择产生影响，按照路线类别(Routine Class，RC)对行人轨迹进行分类，基于轨迹聚合得到的RC和LSTM模型，能够分两个阶段先后预测目标区域和相对应的轨迹。

先前的大部分轨迹预测研究集中于预测一条输出轨迹，由于轨迹预测的不确定性，多模态轨迹预测开始受到广泛关注。在此情形下，一些研究采用GAN以展示所有可能的未来轨迹，克服了以往方法只预测一条轨迹的不足。将序列预测和GAN进行结合，通过循环的序列到序列(Sequence to Sequence)模型观察目标过去的轨迹，通过对抗性训练生成多样化的未来轨迹。但由于GAN不易收敛，当生成器和判别器不平衡时，其梯度会消失，且容易受到模型崩溃的影响。考虑到传统GAN的上述局限性，J.Amirian 等实现了一个Info-GAN架构，基于学习数据输入的解耦表示，并引入新的编码变量作为输入，通过真实和合成数据集验证，证明了Info-GAN在保持预测分布的基础上，可以生成更多样的样本,而随着图注意力网络(Graph Attention Network，GAT)研究的发展，发现其能够更好地模拟行人间的复杂交互。因此，将GAN与GAT进行结合，通过STI-GAN捕捉行人轨迹的不确定性，生成多模态样本，并通过GAT对行人交互进行建模，进而考虑时空上的交互信息，显著提升了轨迹预测的准确度。

由于行人交互关系的复杂性，除了从时间上探索行人的运动规律外，还需要考虑空间上的影响关系。为了更好地模拟行人在时间和空间两个维度上的复杂交互，很多研究尝试将时空图应用于行人轨迹预测领域。在考虑视觉注意力和轨迹多模态的基础上，通过LSTM节点可以将人与环境交互的时空图转换为特征编码，并通过全局节点来整合场景信息，从而获取丰富的混合特征。先前的大多数研究往往采用聚合的方法对行人交互进行建模，在社会时空图卷积神经网络(Social Spatio-Temporal Graph Convolutional Neural Network，Social-STGCNN)中，则通过图的方法代替聚合方法，在模型架构中采用一个核函数将行人间的社交互动嵌入到邻接矩阵中，继承了行人轨迹间可以预期的行为。同时，该模型仅采用20%的训练数据，便可以超过现有大部分工作的平均位移误差指标。

从轨迹预测选用的模型来讲，现有的大部分工作是基于LSTM模型的，但由于其迭代的训练方式，在对模型训练时不够高效。近年来逐渐兴起的Transformer模型由于其并行的训练方式，在轨迹预测研究中表现出良好的性能。STAR是一个时空图Transformer框架，其仅通过注意力机制对行人交互进行建模，并通过在时间Transformer和空间Transformer之间交错以捕获行人间复杂的时空交互，STAR在5个常用的行人轨迹预测数据集中实现了最先进的性能。

2.5.2 车辆轨迹预测

与RNN应用于行人轨迹预测所衍生的问题相似，在车辆轨迹预测问题上，许多研究采用LSTM解决RNN导致的梯度消失和梯度爆炸问题。但现有的LSTM模型在密集交通中进行长期轨迹预测时，不能描述不同车辆间的空间相互作用以及相应轨迹间的时间关系。因此，戴盛哲等提出了基于时空关系的改进LSTM模型(Spatial-Temporal-LSTM， ST-LSTM)。如图4所示，一方面将空间交互嵌入到LSTM模型中，另一方面引入两个连续的LSTM层处理梯度消失。考虑到一些特殊情况，如交通拥挤时，处于拥堵中的车辆在相对较短的距离内，可能存在很多其他车辆，但只有一小部分会对其未来轨迹造成较大影响，因此将具有共享权重的LSTM对车辆动力学进行编码，同时用简单的卷积神经网络(Convolutional Neural Networks，CNN)便可以提取交互特征。对于车辆运动轨迹的预测研究，大部分工作聚焦于对交互关系进行建模，而在车辆轨迹预测中嵌入驾驶意图或行驶动机，并通过LSTM开发预测网络，可以实现轨迹预测中的行驶区域上下文推理，并通过轨迹解码器输出非线性的轨迹。

图4 车辆轨迹预测中的交互关系建模示意图Fig.4 Schematic diagram of interaction relation modeling in vehicle trajectory prediction

对于车辆未来轨迹的多模态性质，近年来也引起了一定的关注。由于车辆更易受到场景约束，在不同的道路场景下，网络设计的关注点也有所不同。在交叉路口等混合场景下，场景中的参与者交互十分复杂，对目标车辆的轨迹预测需要充分考虑与其他参与者的交互关系。而在高速公路、环岛等结构化场景下，则以车辆间的交互为主，此时应该更多地关注车辆间的超车、换道等行为。

在对行人及车辆的轨迹预测分析的基础上，无人机集群视角下的行人及车辆的轨迹预测问题涉及目标轨迹的跨视角联动、运动区域的多视野配准及融合以及目的地等多视野内上下文信息的综合利用，这些问题都会催生新的理论以及研究方法。

依据观测目标的差异，群体视角下的轨迹预测大致可以分为两类：1)以区域为导向的巡航拍摄视角下的轨迹预测(无人机位置稳定)；
2)以目标为导向的追踪拍摄视角下的轨迹预测(无人机位置机动)。

3.1 以区域为导向的巡航拍摄视角下的轨迹预测

鉴于无人机集群的视野优势，其可以获取地面目标交互较为丰富的区域数据，从而研究更加复杂的轨迹预测问题。在进行巡航观测时，无人机群有如下特点：1)无人机集群速度相对较慢，相机抖动幅度小，目标尺寸变化较小；
2)无人机集群可按照一定队形进行编队飞行，集群内的轨迹预测要求较低。

以行人轨迹预测为例，无人机在航拍行人轨迹数据时，一般是统计行人在不同时间点的、坐标，以视频帧ID的间隔表示相距的时间步长，用不同的ID进行编号。为了减少位置标注的误差，要求图像足够清晰。对于未受遮挡的行人，可通过交叉定位以获得更准确的目标位置。而当目标行人在部分无人机视野中被遮挡时，可通过目标再关联技术，将未受遮挡时无人机视野中的目标轨迹与先前的轨迹进行结合，以获取完整的行人轨迹数据。

在此情形下，研究的侧重点可以围绕目标再关联问题和交叉定位问题展开。首先，依据场景特点做宏观上的无人机集群路径规划。其次，设置合适的高度以获取清晰图像。当行人消失后，对目标的丢失程度进行判断，部分受遮挡时，通过交叉定位继续锁定该行人；
若行人丢失，则考虑目标再关联技术。无人机集群在进行观测时，将各无人机拍摄的图像按帧抽取并进行画面拼接，可得到集群下的大范围参与者轨迹图像。如图5所示，在各无人机视野紧密贴合的理想情况下，通过图像拼接技术，集群能够获得更大的观测视野。但实际中，各无人机的观测视野会有或多或少的重叠，且视野重叠部分的形状也会随时发生改变。图6所示为简化了的无人机拍摄图像重叠部分示意图，通过将重叠部分作为锚点，可以校正并匹配各无人机视野中目标的相对位置，同时交叉视野中的目标位置会更加精准。当行人消失在重合区域时，其他无人机可以继续观测；
当行人消失在非重叠区域时，该无人机需要通过再关联算法保存其特征，通过目标自检测算法进行目标再现时的捕捉和识别。

图5 无人机群采集的图像Fig.5 Images collected by UAV group

图6 图像视野重叠示意图Fig.6 Schematic diagram of vision view overlap of UAVs

3.2 以目标为导向的追踪拍摄视角下的轨迹预测

以目标为导向的无人机观测是时下无人机领域的重点研究方向之一。具体而言，首先提取目标特征，确定要观测的目标之后，对目标未来轨迹做出预测。其中，保持对目标的跟踪是持续进行目标轨迹预测的前提。目前的跟踪算法虽然在精度上有了较大的提升，但目标丢失和遮挡仍是重要的挑战因素。无人机集群的设置主要用于解决此类干扰因素。

3.2.1 主、次无人机的设置

在对目标进行轨迹预测时，需要持续、稳定地观测。为了降低目标丢失的风险，需要尽可能地扩大集群观测范围。在为无人机集群设计策略时，可将其中一架无人机作为主无人机，其余无人机作为僚机。如图7所示，在观测目标时，主无人机应尽可能从上空接近目标，而僚机则以一定的队形排列在主无人机周围，从侧面观测目标。

图7 无人机集群中主、次无人机示意图Fig.7 Schematic diagram of the primary and secondary UAV in UAV Group

3.2.2 集群内的轨迹预测

以目标观测为导向时，无人机集群会存在协同移动问题，此时，如果无人机集群内的通信手段因为复杂环境影响发生中断或者失效时，则需要为无人机布设对周围其他无人机的轨迹预测方法。无人机集群内的轨迹预测，主要是为了保证无人机集群内相对稳定。而无人机集群在进行各自视野内的轨迹预测时，需要充分考虑无人机集群内的协同定位问题。当前利用卫星导航系统(GPS)获知无人机的精准位置是重要的手段之一。通过将来自GPS的无人机位置导航解决方案组合在一起，再基于欧洲地球静止导航重叠服务和色容差进行定位融合，能够显著提升定位的准确度,但卫星导航系统也会导致成本过高。除此以外，可以通过基于数学模型的导航定位算法设计对无人机进行定位。而由于无人机群具有共同的行为和动力学，也可以对无人机集群之间的交互行为动力学方程进行分析。在此基础上，通过映射表建立无人机集群之间的交互关系，并结合神经网络关系推理模型，可以对无人机群未来轨迹进行预测。或者，采用误差区间传播方法计算飞行轨迹的置信区间，在飞行期间使用传入的 GPS 测量值进行更新，以完善其位置估计。

在完成无人机集群的定位问题后，需要依据各无人机的相对位置，对集群的未来路径进行规划。目前仍然比较缺乏无人机群相对位置的算法，尤其是分布式相对位置估计。因此，文献[36]设计了一种基于分布式超宽带的相对定位框架，验证了影响相对定位估计与实际位置误差的因素，对未来探讨无人机协同飞行优化位置具有重要的实用价值。此外，为了更加便捷地研究无人机群的集群策略，可以将集群间的运动分为吸引力和排斥力，与主、次无人机设置原则相同，将集群中的一架视为领导者，其余无人机视为成员。同时，在增设引力和斥力的基础上，也可将无人机群的前置形心作为另一个引力源，以打破无人机的受力平衡，使无人机朝目标的方向移动，在无人机群飞行过程中，前置形心可以依据障碍物的大小进行调整，能够较好地适用于障碍物环境。无人机群中，领导者与成员的关系并非固定。当目标短时间内速度和方向大幅改变时，以视野和距离为基准，更换主无人机，原先的无人机变为次无人机。如图8所示，目标汽车的速度在短时间内大幅改变，主无人机由a号无人机变为b号无人机。

图8 主无人机变更示意图Fig.8 Schematic diagram for the change of dominant right of UAV group

通常，在理想空旷场景下，无人机集群只需根据目标在方向、速度上的改变，对自身做出同样策略的调整。然而，实际情况中环境的复杂多变使得无人机群应具备更智能的集群策略。集群策略的目标为：在最短时间内，依据环境的实时变化改变策略，实现动态的集群稳定，以稳定持续地进行目标观测。在现实情形下，环境对无人机的影响是多方面的。雨雪雾等天气会削弱目标的能见度，同时影响无人机的正常姿态，造成相机抖动、机身失控等问题，天气等带来的影响主要可通过无人机自身对极端天气的适应性能提升来克服。此外，极端天气下，场景中的障碍物和遮挡更为常见，目标不可见会对后续的观测任务造成影响。无人机集群相对于单一无人机设备能更好地处理目标被遮挡的情况，但根据不同环境需要设计不同的集群策略。

3.2.3 依据目标遮挡程度调节无人机集群策略

场景中障碍物的遮挡会使目标外观不完整，也可能给目标区域带来背景干扰。如何应对由于障碍物遮挡导致的目标丢失，是现有目标跟踪的主要挑战之一。

1)当目标未受遮挡时，无人机群的首要任务为追踪。为了获取较好的观测视野，需要依据目标运动状态规划无人机的运动路径。Dubins曲线是常用的路径规划方法，可以对不同的地面移动目标进行仿真验证。而在观测单个目标的基础上，考虑到协调多架无人机进行观测的问题，可以通过协作算法来预测目标的轨迹。实际中的观测目标以行人和车辆居多，对于行人的观测，如果可以获取高精度的图像，便可以将面部特征作为显著的区分点。Quadrotor 无人机可以拍摄高清的人脸影像，将其发送至Wi-Fi连接的计算机，通过Viola Jones算法检测人脸，使得无人机可以继续识别目标的人脸特征。对于移动中的车辆，可以提炼出紧致表观特征。例如，对于移动中的车辆，将汽车分割得到目标的质心作为追踪的输入，并通过卡尔曼滤波估计目标的动态状态。在完成对目标的跟踪后，即无人机群可以持续、稳定地观测目标时，就可以获取目标坐标和实时的场景图。在搭建轨迹预测模型时，将目标历史轨迹和场景语义信息作为输入，通过时空关系、语义信息及交互关系等对目标的未来轨迹做出预测。因此，目标未受遮挡时，具体的方案设计可以分为以下几个步骤：

a)集群内通过协作算法以规避碰撞。次无人机根据主无人机的历史轨迹数据，对主无人机的未来轨迹做出预测，进而修正自身的运动状态。

b)提取高保真及区分性强的目标特征，保证无人机集群对目标的跟踪稳定性。通过设计速度跟踪器保证集群与目标间相对位置稳定，减少因相机抖动对于观测质量造成的影响。

c)通过目标的观测影像，获取准确历史轨迹，进而通过时空关系、语义信息及交互关系等建模，约束轨迹预测中的不确定性。将预测的目标位置及时发送至主无人机，主无人机根据预测结果调整自身运动状态。

2)当目标部分遮挡，即部分无人机视野中仍能正常观测时。丢失目标的无人机调整飞行策略，其余无人机继续观测，并将预测的轨迹共享给丢失目标的无人机。先前大部分工作中，无人机通过基于视觉的障碍物识别来感知环境。一些研究尝试直接使用场景深度图，通过边缘信息对原有的匹配方法进行改进，能够提升对于室内多障碍物环境下的适应性，但没有考虑障碍物检测失败对无人机路径规划的影响。同样基于立体视觉，可以引入多传感设备，用于弥补单一传感检测失败的情况，进而更完整地获取环境特征。从环境因素考虑，室内的光照等条件较为简单，而室外的复杂环境会对影像质量产生较大影响，上述获取场景立体深度的方法在更复杂的室外环境下受到限制。基于此类应用场景，衍生了一种机载摄像机视觉目标跟踪算法，在无人机与目标相对位置发生动态变化时，生成伪滤波器，进而提高无人机视觉追踪的稳定性。同时，针对障碍环境下多无人机协同追踪问题，可以通过无人机制导律控制无人机规避障碍物，并设计相位控制以保持对目标追踪的合适角度。而各无人机在规避障碍物时也存在碰撞的风险，尤其是集群内的无人机数目较多或者飞行区域比较狭小的情况下。因此，针对无人机间的协同避障问题，可以考虑将避障制导过程转化为序列问题，由马尔可夫博弈理论建立数学模型，基于神经网络实现无人机自主避障。综上，目标部分受遮挡时的方案设计如下：

a)通过设计无人机制导律，控制受障碍物阻挡的无人机绕开障碍物；

b)正常观测的无人机获取观测对象的特征信息，并发送至受阻挡无人机，受阻挡无人机在绕开障碍物后通过目标再关联技术重新追踪目标，并结合其他无人机观测视野中的目标位置，校验目标识别结果；

c)受阻挡无人机在规避障碍物时，自身的高度、速度等会发生变化，由于目标观测需要良好的角度，因此可设计相位控制，在目标再识别成功后，调节无人机的观测角度；

d)当观测目标不再受遮挡时，依据无遮挡情形下的策略继续对目标做轨迹预测。

3)当目标完全被遮挡，即所有无人机均丢失目标时。集群从原先的追踪任务，转变为搜索-再识别任务，此时需要对区域搜索问题进行研究。现有的方法以提升搜索的速度和精度为主。执行任务时，可将最后丢失目标的无人机作为主无人机，调整其余僚机的高度和相对位置。综上，目标完全被遮挡时的方案设计如下：

a)将最后失去目标视野的无人机作为主无人机，依据目标最近时刻的速度和方向前进，其余无人机调整飞行策略，以主无人机为中心散开；

b)将对目标的搜索问题转化为代价函数的优化问题，设计算法，辅助调整次无人机运动状态；

c)当某无人机视野中出现特征匹配度较高的对象时，控制该无人机靠近目标以获取更好的观测质量，若目标匹配程度高于一定阈值，则视为目标再识别成功，此时，将该无人机转变为主无人机，其余无人机以主无人机为中心，调整自身运动状态；

d)当观测目标不再受遮挡时，依据最初策略继续对目标做轨迹预测。

通过本文的讨论，针对无人机自身的性能和特点，考虑其集群下的轨迹预测问题的各个环节，结合可能存在的干扰因素，设计了相关解决思路。基于此，对未来相关的研究做出以下展望：

1)大规模无人机集群感知数据平台开发。现有研究中，无人机对地观测的数据平台已经广泛存在，但是公开、可用的多无人机集群数据集非常稀缺。近年来，关于多智能体感知的相关研究开始采用Airsim模拟器衍生无人机集群数据集，即通过飞行控制器和PX4进行软件和硬件的开发，抓取摄像头所拍摄的图像信息。其中，Airsim-MAP数据集是近年规模最大的多无人机虚拟数据集。通过模拟仿真若干架无人机，操纵无人机群进行拍摄，并将各无人机拍摄的画面同步显示出来。如图9所示，数据集中包含5～6架无人机获取的RGB图像、点云图、相机姿态以及语义分割标签。该数据集可以进一步研究多Agent感知的解决方案。

图9 Airsim-MAP 数据集示意图Fig.9 Schematic diagram of Airsim-MAP dataset

2)无人机具有灵活性高、易于操纵的特点，鉴于其机身体积小，不能承载过于复杂的算法，藉由服务器等设备作为信息处理的桥梁是时下常用的手段之一，但信息的交换具有延时性。因此，从无人机本身性能考虑，未来的研究可以从硬软件着手，硬件上搭载更丰富的传感器以提升无人机的适用性，软件上对算法做轻量化处理。

3)从单一无人机到无人机集群，需要额外考虑集群内的通信和策略问题。依据观测目标所处环境的不同，无人机和无人机之间、无人机集群和目标之间以及无人机集群和地面系统之间需要进行有机协调。此外，考虑到轨迹预测的实时性和安全性，要求未来的集群发展在网络通信技术上实现突破。

4)除了提升无人机自身的性能之外，可以考虑与其他设备进行联合，以处理因无人机稳定性不足而难以适应的环境。一般选取地面设备和无人机进行联合，以车载设备为例，藉由车载的传感器和雷达等，能够获取详尽的周边信息，弥补无人机在数据细节上的不足，进而获取更为丰富的环境信息和目标特征。

5)在无人机执行观测任务时，复杂的环境仍会对无人机造成干扰。未来的无人机研究需要发展感知技术，使得无人机能够自主地对目标周边环境进行建模，加强对三维护环境特征的提取，从而更好地实现轨迹预测。

6)无人机群体视角下的轨迹预测在实际设计时，是一个复杂的系统，包含但不限于协同技术、通信技术、目标再识别技术和轨迹预测技术等。将各项技术的最新成果结合应用，是群体视角下轨迹预测发展所要面临的挑战。因此，未来应以任务为中心，重视各项技术的协调发展。

随着无人机技术的发展，无人机在多个领域已经进行了成功应用。无人机集群技术应用在地面目标轨迹预测领域，可以以更大视野、更长时间获取场景内的轨迹和交互信息。本文主要论述了无人机群体视角下的轨迹预测在具体实现上存在的挑战以及相应的解决方案设计思路，并根据当下的研究进展，展望了未来无人机集群技术与轨迹预测结合的发展趋势。本文希望以上述讨论和展望，为未来无人机集群下的轨迹预测问题提供帮助。

猜你喜欢 轨迹行人集群 齐口裂腹鱼集群行为对流态的响应农业工程学报(2022年11期)2022-08-22毒舌出没，行人避让意林(2021年5期)2021-04-18浅谈求轨迹方程中的增解与漏解福建中学数学(2021年1期)2021-02-28无从知晓小资CHIC！ELEGANCE(2021年44期)2021-01-11路不为寻找者而设扬子江(2019年1期)2019-03-08我是行人小天使·一年级语数英综合(2017年6期)2017-06-07捕捉物体运动轨迹课堂内外(小学版)(2017年3期)2017-04-15勤快又呆萌的集群机器人知识就是力量(2017年2期)2017-01-21

推荐访问:无人机 视角 轨迹