基于改进密集轨迹算法的人体行为识别
时间：2023-06-14 20:15:25 来源：雅意学习网 本文已影响 人 
王 琼，王 旭，刘云麟，任伟建，3*
(1. 东北石油大学电气信息工程学院，黑龙江 大庆 163318；
2. 哈尔滨电气国际工程有限责任公司，黑龙江 哈尔滨 150000；
3. 黑龙江省网络化与智能控制重点实验室，黑龙江 大庆 163318)
长期以来，基于视频的人体行为识别一直是计算机视觉中视频分析领域的热点话题[1]，在诸多领域中具有重大的研究意义以及应用价值。图像分类是按照图像中的目标进行软分类，基于视频的行为识别和图像分类原理上较为相似，但相比于图像分类，视频多了一个时序维度，而这个问题恰恰是目前计算机领域的研究难点[2]。
目前的行为识别算法中，基于密集轨迹算法的技术是研究热点之一[3]。许多学者以该算法的理念进行改进获得更好的识别效果。朱伟[4]等人通过人体姿态估计模块检测人体并定位，再对人体进行密集点采样，以部位关键点轨迹取代原算法的全图密集关键点轨迹；
程海栗[5]等提出了采用运动显著性图来确定人体区域的方法，取得了较好的效果；
王健弘[6]等提出通过融合运动、视觉显著性图等信息构建的综合显著性图来描述人体区域的方法；
李岚[7]等提出了一种新的特征加权的融合方法，将基于稠密轨迹(Dense Trajectory)的特征与时空兴趣点特征(STIP)加权融合，并通过支持向量机(SVM)分类学习实现行为识别。以上研究学者都采取了相应方法获取人体运动区域，避免了背景光流所带来的影响，但是学者们忽略了特征点长时间跟踪形成轨迹存在着轨迹漂移现象，以及在分类过程中分类器对数据集的兼容性问题。
通过对传统密集轨迹算法以及各位学者对其改进方式的分析，发现使用轨迹技术对人体行为识别存在两个关键点：有效轨迹的获取和分类器的可靠性。针对这两个问题，采用选择性搜索策略[8]来获取目标人体区域，根据显著性信息对区域中有效轨迹进行提纯，然后使用改进蜂群算法优化后的支持向量机对人体行为进行识别。
2.1 有效区域的获取
应用选择性搜索方法获取视频图像人体运动区域，这种生成候选区域的方法具有运算效率快和覆盖范围全面等优势，在视频图像各领域均得到了广泛应用[8]。该算法利用分割算法得到原始区域，再计算相邻区域内颜色相似度、纹理相似度、大小和吻合相似度后进行迭代，从而获得若干个可能的目标区域。将该方法获取视频图像人体运动区域的具体步骤如下：
首先提取视频的起始帧，使用图像分割算法将图片分割成多个候选区域R={r1，r2，…rn}，并对这些候选区中相邻区域按上述给出的公式计算颜色、纹理、大小和形状交叠四个相似度获得最终相似度的准则进行合并找出相似度最高的两个新集进行合并rt=ri∪rj；
然后将与ri和rj相关数据从S集合种移除，计算合并后的新集合rt和与它相邻所有区域的相似性S(rt，r*)，继续遵循相似度准则进行合并直至S集合为空，重复以上步骤即可得到包含人体目标位置的多个候选区域r；
最后得到的候选框均为矩形，因此可以通过候选区的中心点r(xi，xj)获取候选区的位置，通过获取各候选区的[w，，hi]宽度和高度得知候选区的覆盖范围，当ri∩rj不为空集时，则令ri∪rj，直至ri∩rj为空，则所求得的rt就是所需的人体目标区域，在获得的候选区域内进行密集采样即可获得有效区域密集特征点。
2.2 有效轨迹提纯
2.2.1 密集轨迹
密集轨迹算法是一种基于多特征融合的人体行为识别算法，对视频原始帧进行特征提取后使用分类器进行分类。该算法主要使用的是轨迹特征，但所有轨迹都是依据光流计算得到的[9]。
(1)
设采集到的某个特征点为Pt=(xt，yt)，则通过式(2)式计算该特征点在下一帧的位置：
Pt+1=(xt+1，yt+1)=(xt，yt)+(M*ωt)|xt，yt
(2)
式(2)中ωt=(ut，vt)为由视频t帧It和下一帧It+1计算得到的密集光流场，u和v分别代表了光流的水平分量和垂直分量。M代表尺寸为3*3的中值滤波器，该式是利用计算邻域内的光流中值来获得特征点的运动方向。采集到的某个特征点在连续的L帧图像上的位置即构成了一段轨迹(Pt，Pt+1，…Pt+L)，对位移矢量进行正则化操作就可以得到轨迹特征描述子。其正则化公式如式(3)所示
(3)
2.2.2 基于运动显著性信息的有效轨迹提纯
由于特征点长时间跟踪会导致轨迹漂移问题。引入运动显著性信息来衡量特征点变化程度，设定阈值滤除掉大于阈值的特征点，减小该问题对后续计算特征描述子的不良影响。这里获取的是动态运动显著性信息，采用特征点光流特征与周边区域的平均光流差异来衡量运动显著性，获得更优的显著性信息，来达到更好的有效轨迹提纯效果。
周边区域采用的是Achanta R[10]在2010年提出的对称周边区域定义，设特征点坐标为(x，y)，则对称周边区域可表示成
A(x，y)={(x′，y′)||x-x′|≤Δx，|y-y′|≤Δy}
(4)
其中偏移量Δx和Δy定义为
(5)
式中w和h分别代表该视频帧的宽度和高度。根据不同特征点的位置不同，其对称区域的大小范围会发生变化。根据周边区域定义，采用x2距离作为衡量标准来表示特征点与周边区域光流直方图的差异。
运动显著性定义为
St(Pt，i)=Dχ2(H(A4(i))，H(A(i)))
(6)
式(6)中S(Pt，i)为表示第t帧图像特征点i的显著性强度，A4(i)表示特征点i的四邻域，H表示直方图信息，hj表示直方图中所对应的第j个bin值。
使用这种方法获取显著性强度的好处是不会增加过多的额外计算量，避免给算法带来过大的负担。则特征点相邻两帧的运动显著性差异表示如下
T1={Pt，i|Pt，i∈T，|St+1(Pt+1，i)-St(Pt，i)|≤η}
(7)
式(7)中Ti={Pt，i}代表为提纯的轨迹，其中Pt，i为表示第t帧图像特征点i的坐标位置(x，y)，对变化过于剧烈的点，即相邻两帧间特征点的显著性强度差值大于阈值η，定义为发生轨迹漂移的特征点，则提纯轨迹位移矢量特征描述因子表示为式(8)，最后对轨迹位移特征进行正则化处理
ΔT1={ΔPt，i=Pt+1，i-Pt，i|Pt，i∈T1}
(8)
正则化公式如式(18)所示
(9)
沿着轨迹构成的空间-时空体计算方向梯度直方图[11](HOG)、光流直方图[12](HOF)和运动边界直方图[3](MBH)，将这些特征描述子进行特征编码后送入非线性RBF核支持向量机[13](SVM)进行分类，从而达到人体行为识别的目的。
获得提纯后的轨迹后，要选择一个优良的分类器。支持向量机在针对解决非线性、小样本数据有着明显的优势，但其在处理不同类型数据时，仍需要设置相关重要的参数。对此提出采用改进型人工蜂群算法对支持向量机进行参数优化，针对各种类型的数据均能自动获得最优性能参数来提升算法在各个数据集的兼容性以及获得更高的准确率。
3.1 改进的人工蜂群算法(IABC)
人工蜂群(ABC)算法[14]是模仿蜜蜂采蜜所提出的一种智能优化算法，它是由蜜源、雇佣蜂和非雇佣蜂三部分组成。算法首先对有关参数进行初始化，其中包括确定种群数SN、最大迭代次数MCN、控制参数limit和确定搜索空间范围在搜索空间中随机生成初始解Xi=(Xi，1，Xi，2…Xi，D)，代表着种群中第i个蜜源的位置，D为问题的维度初始化种群位置可由式(10)生成
(10)
在雇佣蜂时期，雇佣蜂会根据记忆中的蜜源位置进行邻居搜索，寻找花蜜量更好的蜜源位置，寻找更优蜜源位置的工作由式(11)完成
Vi，j=Xi，j+ri，j·(Xi，j-Xk，j)
(11)
式(11)中，Vi，j表示第i个个体在第j维产生的新值；
Xi，j和Xk，j分别代表第i个个体和第k个个体的第j维蜜源，其中k∈[1，SN]，且k≠i；
ri，j是[-1，1]之间的随机实数。解的适应值，可以通过式(11)转化成最小化问题来求解。
(12)
式(12)中，fiti代表第i个个体Xi的适应度，f(Xi)为Xi对于优化问题的函数值。
在跟随蜂时期，跟随蜂会根据这些信息使用轮盘赌的方式进行一种随机的选择。其个体被选中概率计算公式如式(13)所示
(13)
当食物源被跟随蜂选中后，再利用式(13)产生邻居蜜源，再计算其适应度值，若新解的适应度值比之前蜜源的适应度值高，则跟随蜂将记住新解；
反之将保留旧解。
针对传统ABC算法存在接近最优解时可能陷入局部最优和后期收敛速度较慢等问题，提出一种改进的人工蜂群算法(IABC)。首先考虑到初始种群的质量对整体寻优结果的影响，引入分段Logistic混沌映射来初始化种群，然后考虑随着算法不断迭代到达后期时，可能会出现接近最优的解，提出一种新的搜索策略：让雇佣蜂和侦察蜂依据具体搜索过程中获得的信息进行有针对性的搜索，而不是按照一个策略进行随机搜索。
分段Logistic混沌映射算子如式(14)所示
(14)
式(14)中，μ为控制参数，当μ的值为4时，则处于完全的混沌状态，可由不同的初值迭代出不同的序列。
更新搜索公式如式(15)所示
(15)
其中ri，j∈[-1，1]，是一个随机数，保证了算法最优位置附近寻优时仍具备一定的随机性；
Gi，j全局最优解位置，将式(11)中随机选择的邻居改为选择当前发现的最优蜜源。由式(15)可以看出，随着算法进行到中后期，在引入全局最优位置的引导下，缩小了算法的寻优范围，进一步提高算法在中后期的开采能力。
3.2 支持向量机的参数优化
采用的非线性支持向量机的分类函数[11]如式(16)所示
(16)
其中k(xi，x)为核函数，α和b为拉格朗日参数。采用径向基核函数为SVM分类函数，如式(17)所示
(17)
式(17)中σ是RBF是函数宽度。
采用改进后的人工蜂群算法对参数σ和C进行优化，来获得更优的识别效果。采用误分率的倒数作为IABC算法的适应度函数如式(18)所示
(18)
式中，Vacc为支持向量机的的识别准确率。
对SVM进行参数优化的具体步骤为：
1)对数据集进行预处理操作，将数据集分为训练集A和测试集B；
2)初始化IABC算法各个参数，确定种群的搜索范围，并在搜索范围内利用分段Logistic混沌映射获取初始种群xi(i=1，2，…，SN)，每个解是一个二维向量(C，σ)；
3)对非线性支持向量机进行初始化，核函数选择RBF径向基核函数，使用支持向量机对训练集A进行机器学习得到训练模型，对上一步的学习结果模型使用测试集B进行验证，输出训练集中每个视频预测的行为种类结果，每预测正确一个视频，计数器加1，最后获得整个测试集分类正确视频的个数，最终与整个测试集视频数相除，即可得到支持向量机的识别准确率即Vacc，获得个体的适应度值；
4)在雇佣蜂阶段：根据算法的迭代次数获得合适的新解，并获得新解的适应度值，判断新解的适应度值是否大于原解的适应度值，若大于原解，则更新已有蜜源；
5)在跟随蜂阶段：通过贪婪算法选择蜜源后，同样在其附近寻找新蜜源，经比较两者的适宜度后，保留更优蜜源并更新蜜源；
6)如果某只跟随蜂连续lim it次未能找到更好的蜜源，则进入侦察蜂阶段，当前跟随蜂变为侦察蜂，产生一个新的蜜源代替淘汰的蜜源；
7)判断是否符合终止条件，若符合终止条件，此时蜜源(参数)即为找到的优化的[C，σ]参数值；
8)根据最优蜜源获得的最优参数建立RBF核SVM分类模型，进行人体行为识别最终的识别过程。
为了验证经过改进人工蜂群算法对支持向量机优化后的性能，使用KTH[15]数据集验证提出识别方法的可行性，实验使用libsvm中的开源 程序进行改进，相关参数设置为：
初始种群SN数目为60，雇佣蜂数量为30；
因为需要优化参数C和σ，所以维数D为2，将参数C和σ的随机组合编译为蜜源位置Xi，j；
种群的搜索范围为[0.1，500]，最大搜索次数lim it设置为30，最大迭代次数MCN设置为90，循环终止条件定义为算法迭代5次得到的适应度值不变即结束循环，经过算法输出的最优参数的C和σ分别是247.29和1.36，改进蜂群算法与传统人工蜂群算法优化支持向量机参数的迭代收敛曲线如图1所示。
图1 改进人工蜂群优化参数收敛曲线
由图1观察得知，改进人工蜂群算法在优化支持向量机参数上能够更快地收敛到最优解，并且获得的适应度值更优。这是因为改进的蜂群搜索策略在算法中后期，蜜蜂搜索新值时将已经搜索到的最优解的位置代替随机生成解的位置，增强了算法寻优收敛速度和开采能力。
为验证优化后分类器的性能，使用混淆矩阵作为验证算法的性能评价指标。混淆矩阵的每一列代表了预测类型，其总数表示预测为该类别的数据数目；
每一行代表了数据的真实归属类别，其总数表示该类别的数据实例的数目，两个算法在KTH数据集上的混淆矩阵分别如表1和表2所示。
表1 ABC算法在KTH数据集上的混淆矩阵
表1中主对角线上数值代表该行为动作在整个数据集上的识别正确率，例如“拳击”动作的准确率为0.98，横向观察第一行，在“鼓掌”动作下的数值为0.02，表示“拳击”动作在判别时有0.02的误差率将本属于“拳击”类别的视频分类到了“鼓掌”动作上，通过表1可以非常清晰的看到原算法识别各个行为动作的误差率。
表2 IABC算法在KTH数据集上的混淆矩阵
通过比较表1和表2两个混淆矩阵可以发现，IABC算法在识别性能上优于原算法。IABC算法对拳击和挥手两个动作均识别正确，鼓掌行为的识别率有0.97，其误差率有0.03落在了挥手上；
而走路、慢跑、跑步三个行为相似度较大，有一定的混淆性，但相比于原算法，每个行为的识别率均有所提升，表3给出两种方法在KTH数据集上的整体识别率。
表3 两种方法在KTH数据集上的总体识别率
通过表3可以看出，在每个动作分类更为准确的前提下，改进后的 IABC算法比传统ABC算法的整体识别率提升了1.4%，说明了该算法的有效性。
采用相比KTH数据集更接近真实环境的UCF101[17]以及HMDB51[18]两个公开数据集对改进算法进行验证，实验采用Opencv、Ffmpeg和LibSVM软件进行编译。
4.1 相关参数设置
选择性搜索主要参数设置：初始分割区域为R=1000，各个相似度的比例权重均为1，最大候选区域覆盖像素为2000，轨迹提纯所需阈值η采用实验验证的方式选取，以0.1为增量进行实验。
图2 不同参数η对两种数据集识别结果的影响
通过图2可以看出，当参数η=0.6时，两个数据集分别取得85.9%和62.2%的识别效果，当η=0.62时，算法在两个数据集均获得最好效果，识别率分别为86.2%和62.4%，因此选取参数η=0.62作为实验最优参数。随机抽取UCF101共450段视频、HMDB51共360段视频作为模拟数据集，训练集和测试集的比例约为2：1，保证每个行为种类都被抽取，优化的各个参数设定跟第2节保持一致，算法输出两个模拟数据集的最优参数如表4所示。
表4 IABC在两个模拟数据集上的SVM分类最优参数
4.2 实验结果与对比
改进算法可视化以UCF101数据集中“转呼啦圈”为例，对该视频帧进行选择性搜索，获得人体主体区域，即有效区域，效果如图3所示。
图3 “转呼啦圈”有效区域获取
从图3的有效区域获取来看，改进算法采用选择性搜索算法的多个候选区域将人体主体完全覆盖在内，而改进算法与原算法在两个行为上提取轨迹效果对比如图4所示(左为ABC，右为IABC)。
图4 “跳伞”轨迹效果实验对比
观察图4，发现视频在经过选择性搜索确定主体区域后，特征轨迹更加集中于人体，起到了有效的减少背景冗余信息，提高算法的计算效率的作用。
为了验证提出算法的效率，列出几种行为动作采样的经过提纯后的轨迹数目与原算法进行比较，比较结果如表5所示。
表5 改进后算法与原算法轨迹数目比较
从表5可以看出，“弹吉他”动作使用两种算法获得轨迹数量比为83.8%，通过分析发现因为“弹吉他”这个动作主要集中在人体运动部位，因此效果不明显。
为了进一步验证算法的性能，使用改进后算法与多种经典算法在应用于UCF101和HMDB51两个数据集上整体行为识别准确率进行比较，具体如表6所示。
表6 多种算法在行为识别数据集上的准确率
由表6可以看出，与改进后算法进行比较的既涵盖STIP+BOV、DT+BOV等方式的传统机器学习方法，又包括例如C3D、motion-C3D-LSTM等的深度学习方法，与这两大种类的算法进行准确率对比，发现改进后算法无论在UCF101数据集上或是HMDB51数据集上准确率均有一定的提升，证明了算法的有效性。
通过对密集轨迹算法进行分析，针对其存在的缺陷进行改进，并对改进后算法的性能进行验证与分析。首先使用选择性搜索确定人体运动区域，消除背景光流对识别效果的干扰；
其次计算特征点相邻帧的运动显著性，滤除大于阈值的轨迹，以减小轨迹漂移现象产生的不良影响；
最后采用改进的人工蜂群算法对支持向量机进行参数优化，以提升分类器的准确率和算法对于不同数据集的兼容性。通过实验将改进后算法与其它经典人体行为识别方法在UCF101和HMDB51两个数据集进行对比，证明了提出算法的有效性。
