基于高分辨率网络的大熊猫姿态估计方法

漆愚 苏菡 侯蓉 刘鹏 陈鹏* 臧航行 张志和

（1四川师范大学计算机科学学院，成都 610101）（2成都大熊猫繁育研究基地，四川省濒危野生动物保护生物学重点实验室，成都 610086）（3四川省大熊猫科学研究院，成都 610081）

人类活动对自然生态环境造成的严重破坏，直接导致大量物种的灭绝。迁地保护是生物多样性保护的重要部分，是就地保护重要的补充。掌握迁地保护动物的行为信息能够更好地评估圈养动物的身心健康以及动物福利(李凯年，2012；
周晓等，2013；
陈绪玲等，2016)。大熊猫(Ailuropoda melanoleuca)为野生动物保护的旗舰物种之一(Zhanget al.,2007)，也是世界上迁地保护最成功的物种之一，其生存状况受到国内外研究者的高度关注。目前，圈养大熊猫面临生活环境单一、活动空间狭小、长期面对大量的旅游者等问题。这在某种程度上可能导致大熊猫的行为多样性降低，刻板行为增加，进而影响大熊猫的正常行为和生产性能表现(周杰珑等，2012；
杨勇等，2019)。在关于动物健康和福利的研究中，行为定量分析起着至关重要的作用，通过对动物持续监测所获得的行为数据进行行为测定和量度分析，能较为准确地反映动物行为随着生理健康变化而发生的动态规律，是动物行为学研究走向科学化和严谨化的重要一步，更是行为学数学建模的重要基础(Liuet al.,2006;Rushenet al.,2011;Koolhaas and Van Reenen,2016)。大熊猫的行为与其身体状态和健康密切相关，不同的行为会传递不同的健康信息。行为是由不同姿态组合而成的，而姿态估计是行为分析的一个组成部分(Liet al.,2019)，获取姿态是了解行为的基础(陈永康等，2019)。

目前在大熊猫健康监测相关研究中，主要采用行为学观察(Liuet al.,2006)和抽血化验等生物学方法对大熊猫健康状况进行监测(李才武等，2012)。其中行为学观察可借助于现代高速摄像机对大熊猫的行为进行实时记录，但人工手动分析耗时耗力，且对于视频的记录观察存在一定主观性；
抽血化验方法虽然对大熊猫健康状态评估的可靠性较高，但该方法不仅对工作人员有严格要求，而且容易引起大熊猫的应激反应，对大熊猫的身心健康带来负面影响，不宜经常性开展(陈艳等，2019)。因此，迫切需要新的技术对大熊猫的行为进行快速智能识别，为辅助评估其健康状态提供技术支持。

近年来，随着计算机技术的发展，越来越多的研究将先进的计算机视觉技术、图像处理和模式识别技术应用于野生动物保护。He等(2019)基于小熊猫面部图像提出了小熊猫个体识别框架以促进自动识别。Wang等(2019)提出了一种深度学习方法用于研究大熊猫面部在性别分类上的可区分性。Schofield等(2019)提出了一种用于对野生黑猩猩(Pan troglodytes)进行面部检测、跟踪和识别的全自动深度学习框架。Feng等(2021)提出使用时空网络将骨架特征与轮廓特征结合，自动识别猫科动物的动作，从而对野生猫科动物的保护起到辅助作用。这些研究充分证明了计算机技术在动物保护领域的可行性。

姿态估计作为计算机视觉技术的热门领域，目前已取得了不错的进展，尤其是基于人体的姿态估计(Toshev and Szegedy,2014;Linet al.,2014;Fanget al.,2017)。姿态估计主要预测被检测物体的身体关键点联系，是姿态识别和行为分析的前提(张飞宇等，2021)。传统的人体姿态估计方法侧重于通过探索目标图像中关节之间的几何关系来实现关节的检测(Tianet al.,2012;Pishchulinet al.,2013)，但其受限于人工特征的选取以及树模型的建立，不适用于实际应用。近年来，基于深度神经网络模型的方法取得了进展(Pishchulinet al.,2016;Newellet al.,2016;Caoet al.,2017;Yanget al.,2017;Sunet al.,2019)。目前，基于深度神经网络模型的姿态估计方法大多采用“编码—解码”的网络形式构建高—低—高分辨率子网串行结构，通过每一个子网阶段先对图像进行降采样以得到低分辨率图像，随后再通过上采样提升图像分辨率，在高—低—高分辨率子网的连接过程中进行特征融合。例如堆叠的沙漏网络模型(Newellet al.,2016)、级联金字塔网络(Chenet al.,2018)等。然而这些串行网络结构在最后高分辨率特征提取阶段都需要通过在低分辨率的特征图上进行上采样得到高分辨率特征图，而目前上采样大多采用双线性插值、最近邻插值等方法，在这个过程中难免会损失很多细节信息。Sun等(2019)提出的HRNet与上述采用串行网络结构方法(Newellet al.,2016;Hu and Ramanan,2016;Chenet al.,2018)有很大的不同，它更专注于用学习可靠的高分辨率表示，其网络在整个过程中保持高分辨率，一定程度上解决了中、低分辨率人体关键点检测准确率低的问题。

与人体姿态估计相比，动物姿态估计的研究相对较少。由于标记数据的缺乏，Cao等(2019)提出了一种跨域适应方法，将动物姿态知识从标记的动物类别转换到未标记的动物类别，使用适度的动物姿态数据集将学习到的知识应用于多种动物物种。Mu等(2020)从CAD动物模型生成的合成图像和真实图像来应对缺乏标记数据的限制，利用空间和时间一致性来引导用未标记的真实图像合成数据进行训练模型。Li和Lee(2021)设计了一个多尺度域适应模块，提出了一种从合成的动物数据中学习的方法。Li等(2019)基于计算机视觉的牛姿态自动估计技术并在构建的奶牛图像数据集上建立了3种深度级联卷积神经网络模型，用以执行牛的姿态估计。Zhou等(2021)提出了一种基于图形模型的结构化上下文增强网络，对鼠类进行姿态估计，用于分析鼠类行为。AP-10K是第一个用于一般动物姿态估计的大规模基准(Yuet al.,2021)。上述关于动物姿态估计的研究，要么着重于采用域适应的方式解决数据匮乏的问题，要么着重于研究农场中动物肢体可变形性较弱的动物姿态估计或者受限环境下的动物姿态估计。相比而言，针对大熊猫姿态估计的研究面临着大熊猫自身肢体可变形性较强所导致的自遮挡问题以及非受限环境下的各种挑战，而上述研究并不能完全满足大熊猫姿态估计的要求，因此需要进一步结合大熊猫的特点对其姿态估计进行针对性研究。

姿态估计作为动作识别和行为分析的前置任务，是实现动物体况信息的无接触判别和异常信息预警的关键步骤(张飞宇等，2021)。准确的动物姿态估计是理解动物行为的关键。若能采用计算机技术将大熊猫日常生活视频数据进行深度处理，转换成大熊猫的姿态数据，后期通过监督学习的方法将大熊猫行为姿态进行快速分类，就可实现大熊猫行为的自动化识别。大熊猫和人体的肢体运动都具有较强的可变形性，使用姿态估计可以更高效地完成大熊猫姿态识别和行为分析，可以实现在无人监控的情况下，及时发现大熊猫的身体状态变化，了解其行为信息，例如移动速度、站卧时长、活动量等，从而更好地保护大熊猫并提高大熊猫的圈养福利。本文针对大熊猫姿态估计的研究建立了大熊猫2D姿态数据库。同时借鉴人体姿态估计(Sunet al.,2019;Tang and Wu,2019;Yueet al.,2021)，将大熊猫数据的特点和大熊猫姿态估计要求相结合，构建了深度神经网络模型，用于实现大熊猫的姿态估计算法，可为大熊猫保护提供基础数据，辅助评估大熊猫的健康状态，提升圈养大熊猫的福利水平。

1.1 数据集处理

本文所采集的大熊猫姿态估计数据集，源于在成都大熊猫繁育研究基地拍摄的不同年龄段的大熊猫日常生活视频。手动选择包含完整肢体的大熊猫个体，同时具有各种光照、视点、姿态和轻微遮挡的短视频作为原始视频数据(图1a～c)，为可用数据样例；
舍弃遮挡了大熊猫肢体1/3以上的视频数据(图1d～f)，为不可用数据样例。本文共收集了70只大熊猫的生活视频122段。将每段视频数据剪辑成约8 s的短视频，并以30 fps的帧率对每个短视频进行分帧并每隔10帧抽取1帧作为实验数据，总共得到大熊猫图像6 315帧。

图1 大熊猫视频分帧图像.a～c：可用数据样例；
d～f：不可用数据样例Fig.1 Diagram of video framed image of giant panda.a-c:available data samples;d-f:unavailable data samples

为了降低数据相关性，本文将同一个视频下的分帧图像统一放在训练集或测试集中。具体地，对来自122段视频共6 315帧大熊猫姿态估计数据集进行划分，其中将来自102段视频的5 152帧图像用于训练，将来自另20段视频的1 163帧图像用于测试，保证两者没有交叉。

本文对大熊猫的18个关键点进行定义：耳朵(2)，鼻子(1)，手臂(6)，腿(6)，躯干(3)，并以左上角和右下角的坐标形式对大熊猫进行目标框标注 (图2)。

图2 大熊猫姿态关键点标记.1：右耳；
2：左耳；
3：鼻子；
4：脖子；
5：腰背部；
6：臀部；
7：右肩；
8：右肘；
9：右前爪；
10：左肩；
11：左肘；
12：左前爪；
13：右臀；
14：右膝；
15：右后爪；
16：左臀；
17：左膝；
18：左后爪；
19：大熊猫目标框Fig.2 Diagram of the joint points of the giant panda.1:right ear;2:left ear;3:nose;4:neck;5:back;6:hip;7:right shoulder;8:right elbow;9:right front paw;10:left shoulder;11:left elbow;12:left front paw;13:right hip;14:right knee;15:right hind paw;16:left hip;17:left knee;18:left hind paw;19:the giant panda target box

本研究为图像中大熊猫姿态估计，首先根据数据标注，对大熊猫个体进行目标框裁剪，其目的是为了减少背景的影响，让模型更专注于目标姿态的学习；
其次，为实现大熊猫姿态的精准估计，本研究在大熊猫关键点位置上生成理想高斯映射，这些映射比关节位置上的单点训练更有效，它们被用来训练模型生成每个关节位置对应的高斯热力图。其对应的二维高斯函数公式为：

其中I表示对应关键点是否可见，可见为1，不可见为0。xlabel和ylabel分别为真值关键点的位置信息。x和y是图像上每一个像素的位置。σ为标准差，用于控制函数的径向范围。σ值越大，远处像素点对中心像素点的影响越大，热图上的光圈半径就越大，反之光圈半径越小，这个σ值也使图像中关节之间有足够的分离。本文采用σ=3生成对应的高斯热力图标签。

1.2 模型建立

本文提出的大熊猫姿态估计框架主要分为两个线性阶段(图3)。第一阶段，以HRNet模型为主干并嵌入ASPP模块(Chenet al.,2017)，用以学习大熊猫身体关键点通用的共享表示；
第二阶段，根据大熊猫关键点之间的相关性，构造多分支结构，每一个分支学习针对每组相关关键点的高级特征表示。

图3 大熊猫姿态估计总体架构图.第一阶段为共享特征表示，第二阶段为多分支结构学习特定的高级特征表示Fig.3 The proposed giant panda pose estimation framework.The first stage is shared feature representation,the second stage is multi-branched structures for learning specific high-level feature representations

大熊猫姿态估计体系结构的处理流程如图3所示。网络首先使用卷积层(Conv)和批归一化(BN)生成特征映射，其目的是学习一个基本特征作为待处理关键点信息的初始基本空间。具体来说，输入图像被输入到两个3×3 Conv层(每个Conv层后跟一个BN层和一个ReLU层)及一个ResNet-Bottleneck层，用于产生嵌入特征空间；
紧接着，将生成的256张特征图送入HRNet网络并且仅在高分辨率主干网络上输出得到加强后的特征表示，其输出通道为32。然后将特征表示输入到ASPP模块，通过不同空洞率的多个并行空洞卷积层，使模型在扩大感受野的同时获取多尺度的上下文信息；
最后网络使用一组分支结构来学习相关部件的特定表示，输出得到本组各部分的预测热图。

1.2.1 大熊猫关键点的共享表示阶段

采用HRNet作为大熊猫关键点共享特征提取阶段的主干网络，通过将高分辨率子网作为第一阶段，并逐步并行加入低分辨率子网从而形成更多的阶段，同时通过重复跨并行卷积执行多尺度融合，使每个由高到低的分辨率表示反复地接收来自其他并行表示的信息，从而产生丰富的高分辨率表示，避免了现有大多数串联结构方案在最后高分辨率特征提取中所造成的细节信息丢失。图4展示了HRNet网络模型的结构，从输入到输出共分为3个阶段，由并行连接的子网构成，每一个子网由上而下，每一级的分辨率都是上一级的一半，同时通道数增加2倍。由于3个阶段相互连接融合使得网络在保持高分辨率的同时增强了多尺度的信息融合。

由于大熊猫不同身体部位的比例差异较大，需要特征图能够捕捉多尺度信息。同时，为解决网络在特征提取阶段为增大感受野而减小特征图尺寸时存在信息丢失的问题，在HRNet模型末尾加入了ASPP模块，使模型能够在不降低分辨率的情况下，增大特征感受野，融合多尺度信息(图5)。该模块对传入的特征表示进行类似空间金字塔形式的常规卷积，从而捕获多尺度上的下文信息。具体为ASPP模块将输入特征并行输入到多个不同空洞率的空洞卷积层；
此外，针对图像级特征，采用全局平均池化(Global average pooling,GAP)对输入特征进行处理并通过1×1 Conv层将通道数设为32维，然后将特征进行双线性上采样到指定空间维度，最后将所有输出特征进行融合，从而获得多个尺度的上下文信息。

图4 HRNet网络结构Fig.4 HRNet network structure(Sun et al.,2019)

图5 ASPP模块示意图Fig.5 Diagram of ASPP module(Chen et al.,2017)

1.2.2 大熊猫关键点的多分支结构表示阶段

由于大熊猫并不是所有关节之间的关联性一致，对于不相关或相关性较弱的关节，共享特征会降低模型性能，并导致一种负迁移现象(Olivaset al.,2019)。本文将大熊猫姿态估计设为同质多任务学习问题，每个部位的定位作为一个不同的任务，在相关任务之间共享表示，得到更紧凑且更具有泛化能力的模型(Caruana,1997;Ruder,2017;Tang and Wu,2019;Yueet al.,2021)。本文根据大熊猫的肢体关节以及颜色信息，将大熊猫关节点分为5组 (图6)。

图6 大熊猫关节点分组.通过虚线框将大熊猫关节点分为5组，同一组的关节点颜色相同Fig.6 Diagram of the grouping of giant panda joints.The giant panda joint points are divided into 5 groups by the dotted frame,and the joint points of the same group have the same color

具体为将第一阶段输出得到的特征表示输入到本文预先设定的5个分支中分别用于学习大熊猫相关关键点的特定表示。对于每个分支，我们首先应用一个1×1 Conv层进行维度变换，即从32到M(例如M=16)。再紧接N个Residual blocks层(例如N=1)，最后再进行1×1 Conv层回归本组各部分的热图。其中，M和N为两个超参数，分别控制特定层的宽度和深度(Heet al.,2016)，在本文中M=32，N=1。

本文将均方误差(Mean squared error,MSE)作为预测热力图与真实热力图之间的损失函数公式：

其中K表示大熊猫关键点总数；
Pk(x,y)表示第k个关键点的预测热力图；
Gk(x,y)表示第k个关键点的真实热力图；
Ik表示第k个关键点是否可见，0为不可见，1为可见。

1.2.3 模型参数

根据卷积神经网络模型的特点，为了保证输入数据的共性，我们将原尺寸图像在高度或宽度上扩展到固定纵横比，高度∶宽度=1∶1，然后将图像裁剪到固定尺寸，最终将大熊猫姿态估计模型输入尺寸调整为256×256。同时，为了增强模型的鲁棒性，我们在训练集中使用了数据增强，包括随机旋转(-30°,+30°)、随机缩放(-40%,+40%)和随机水平翻转。

本文所用的模型中，采用按需调整计算学习率，首先将初始学习率设为1e-4，分别在第15、30、55个epoch对学习率进行衰减，学习率变化因子为0.1。同时采用Adam优化器算法执行梯度优化。网络的输入尺寸固定为256×256×3，即输入图像的长、宽、通道分别是256、256和3。将批次大小设为32，并训练60个epoch。同时基于本数据集，本研究在其他模型(Newellet al.,2016;Xiaoet al.,2018;Sunet al.,2019)上进行实验，其中Newell等(2016)将初始学习率设为3e-4，并分别在第40、55个epoch对学习率进行衰减，其余参数均与上述一致。所有实验均使用Pytorch1.2.0在64位Ubuntu 16.04计算机上运行，CPU为Intel E5-2698 2.20 GHz，GPU为NVIDIA Tesla V100。

1.3 结果评价标准

在测试集进行测试时，本文采用正确关键点百分比(Percentage of correct key points,PCK)作为评估度量，计算检测关键点与其对应真实值间的归一化距离落在一定范围内的检测百分比。具体采用PCK@0.05作为评价标准公式：

其中i表示关节点的编号，di表示第i个关键点的预测值和真实值(Ground truth)的欧式距离。d为1个个体的尺度因子。

2.1 基于高分辨率网络的大熊猫姿态估计模型

本文首先设计了大熊猫姿态估计的对比实验，用于评价本研究方法对大熊猫姿态估计的检测性能，结果见表1。

表1 大熊猫姿态估计不同模型结果比较Table 1 Comparison results of pose estimation of giant panda

从结果可以看出，所有实验模型对大熊猫耳朵、鼻子的关键点检测精度均达到了90%以上，而对于躯干和腿部的关键点检测精度为68%～79%。与经典网络模型8-Stack-HG、Simple Baseline、HRNet32比较，本文所用模型在大熊猫耳朵、鼻子、躯干以及腿部的检测结果均处于最优(表1)，证明了本文所用模型的有效性。对比模型预测的大熊猫姿态估计(见图7)。

图7 大熊猫姿态估计预测示例图.前三列为对比模型预测的大熊猫姿态估计，第四列为本文所用模型的预测结果，最后一列为姿态估计真实值Fig.7 Example image of giant panda pose estimation prediction.The first three columns are the giant panda pose estimates predicted by the comparison model,the fourth column is the prediction result of the model proposed in this paper,and the last column is the true value of the pose estimation

从图7第2行可以看出，相较于8-Stack-HG和Simple Baseline模型，面对目标前景与背景颜色信息相近，存在背景干扰时，本文所用模型能够准确地预测出前景目标的关键点位置；
图7第4行，当大熊猫存在一定的自遮挡时，相较于HRNet32，本文所用模型也能够精准地预测出大熊猫关键点位置。证明本文大熊猫姿态估计方法有效且所用模型在复杂环境下具有一定的鲁棒性。

2.2 大熊猫姿态估计模型的消融实验

本文第二组实验为大熊猫姿态估计模型的消融实验，用于验证本文所用模型中各个模块对大熊猫姿态估计结果的影响(表2)。

表2 大熊猫姿态估计消融实验结果Table 2 Results of ablation experiment for giant panda pose estimation

本文以HRNet32为基准模型，通过添加多分支结构(Multi-Branches)使模型的检测精度由80.31%提升至80.75%(表2)，证明并不是所有大熊猫关节点都相互依赖、相互关联，通过对大熊猫的关键点进行分组，能够有效地提高关键点检测的精确度(图3)。紧接着，通过嵌入ASPP模块(图5)使模型捕获更多的多尺度信息，从而将模型的检测精度由80.75%提升至81.51%(表2)。最终本文所用模型在PCK@0.05指标下达到了81.51%，检测精度比基础网络模型HRNet32高了1.20%。

本文所用模型在测试集上的输出结果，在拍摄角度良好、大熊猫遮挡较小的环境下，能够精确地预测大熊猫的姿态关键点(图8a)。但对于自遮挡严重、拍摄角度较差或周遭环境较暗的图像，模型的预测性能相对较差，特别是针对大熊猫四肢和躯干的关键点预测(图8b)。

图8 本研究模型的大熊猫姿态估计.a：拍摄角度良好，遮挡较小时的模型预测结果；
b：周遭环境较暗，自遮挡严重时的模型预测结果Fig.8 The giant panda pose estimation of this study model.a:The prediction result of the model with good shooting Angle and small occlusion;b:The prediction result of the model with dark surrounding environment and serious self-occlusion

动物的姿态估计对动物的行为检测、运动分析以及医疗救护都很重要，虽然目前有许多基于深度学习的动物研究，但关于动物的姿态估计很少被提及。本研究聚焦于大熊猫姿态估计，一旦检测到给定视频段中每一帧大熊猫的骨架关键点，就可以获得大熊猫实例的骨架序列，对后续准确和快速理解大熊猫行为打下坚实基础。此外，通过姿态估计还可以实现动物的活动监测、跟踪保护和身份识别(Liuet al.,2019)。

动物的姿态估计是进行动物姿态识别、行为分析的前提(张飞宇等，2021)，本文利用深度学习的方法，构建了基于高分辨率网络的大熊猫姿态估计模型。针对大熊猫不同部位的尺度差异性，本文以HRNet为基础网络引入ASPP模块增强网络捕获多尺度信息的能力，其次将大熊猫姿态估计设为同质多任务学习问题，引入多分支结构来学习特定于每个大熊猫部位组的表征，并在与成都大熊猫繁育研究基地共建的大熊猫姿态估计数据集上取得了较好的结果(即精确率在PCK@0.05指标下达到了81.51%)。由于大熊猫的视频数据源于非受限条件下的视频拍摄，因此存在一定的遮挡和光线影响，相较于大熊猫的四肢和躯干部位，大熊猫的头部有较好的检测结果(表1，本研究方法在大熊猫耳朵、鼻子的检测精度均在98.00%以上，而躯干和四肢的检测精度分别为75.84%和79.84%)。这是由于在大熊猫的日常活动中，其头部很少存在遮挡，可见性相对较高，模型能够很好地捕捉到关键点。然而对于大熊猫的四肢，更容易受到周遭环境的遮挡影响，而躯干部分除环境遮挡以外，还会受到自身遮挡的影响，致使模型无法很好地学习被遮挡关键点的关系。同时由于自遮挡的存在，当大熊猫四肢处于侧面平行状态时，模型容易误标左右肢体位置，导致其预测结果相对较低。

因此本文仍存在以下局限性：(1)大熊猫姿态数据源于各种视频数据，得到的视频帧的拍摄角度差异较大，大熊猫的尺度也不一样，在数据标注和处理上具有挑战性，也更为重要。(2)数据库规模小。大熊猫的姿态变化多样且受到自遮挡、光线变化等影响，姿态估计的有效性仍需在更大规模数据集上进一步评估。(3)目前本文关于大熊猫姿态估计的研究仅局限于单只大熊猫个体。后续我们将进一步开展对多只大熊猫个体的姿态估计研究，这对于研究者准确理解大熊猫繁殖行为和育幼行为都将有重要意义。

猜你喜欢 高分辨率关键点大熊猫 基于GEE云平台与Sentinel数据的高分辨率水稻种植范围提取——以湖南省为例作物学报(2022年9期)2022-07-18高分辨率CT+人工智能在新型冠状病毒肺炎诊断与疗效评估中的应用研究中国典型病例大全(2022年12期)2022-05-13论建筑工程管理关键点建材发展导向(2022年3期)2022-04-19水利水电工程施工质量控制的关键点建材发展导向(2022年2期)2022-03-08探讨高分辨率CT在肺部小结节诊断中的应用价值健康体检与管理(2021年10期)2021-01-03寻找大熊猫幼儿教育·父母孩子版(2020年8期)2020-03-04遗憾的大熊猫家教世界·创新阅读(2019年5期)2019-06-14大熊猫也消暑学苑创造·A版(2018年7期)2018-08-07最有名的大熊猫儿童时代·快乐苗苗(2017年6期)2018-03-09利用定义法破解关键点广东教育·高中(2017年10期)2017-11-07

推荐访问:大熊猫 高分辨率 姿态