基于多目标视频图像边缘特征的核相关滤波跟踪算法
1、算法原理
多目标捕获视频图像中全部视场内均包括捕获目标,捕获过程中应去除已稳定跟踪的目标,且视频图像内目标的运动存在规律性,视频图像中的随机噪声无规律,根据目标的运动轨迹可判断目标是否为真正的待跟踪目标[6-8]。将目标运动轨迹的3帧图像时间(40ms)作为线性段,利用线性判断捕获目标的方
法可表示为：
式中,Z 0、V 0分别为目标初始运动位置、目标初始运动速度,Z、t分别为目标运动位置、运动时间。通过(1)式可确定3帧图像内目标特性是否呈线性变化,当目标呈线性变化时,表示该目标为待跟踪目标,可对该目标实施跟踪,从而完成视频图像内全部目标的捕获。
1.2 图像特征提取
1.2.1 图像边缘特征提取
为提升视频图像内多目标在复杂背景下的跟踪精度,利用动态边缘演化技术提取视频图像的多目标边缘特征。动态边缘演化技术是将某个存在边界轮廓曲线的自变量即能量泛函通过图像中目标与背景的灰度分布信息体现,并通过Euler-Lagrange方程的动态格式获取能量泛函对应的曲线演化方程,从而获取最佳边缘轮廓曲线。该技术利用图像主动轮廓的全部光强信息提取特征,可以有效消除噪声对图像的影响。动态边缘演化技术的能量泛函可表示为：
为待消除噪声图像的坐标,s 为噪声因子,C 为灰度分布信息,p 为能量泛函,E 为提取的光强信息特征,C§为图像直方图曲线,c 1与c2分别为图像I(x,y)中由内轮廓Ω in及外轮廓Ωout确定的目标内部及背景区域均值, ∮ C ds为图像边缘曲线的长度,α、β、μ 均为权重因子。利用水平集函数φ(x,y,t)的零水平集呈现曲线C(t),再利用Heaviside的H (φ)函数将水平集函数代入(2)式,利用边界的单一积分体现区域与边界的混合积分,通过Euler-Lagrange方程求解函数的最小值,可表示为：
式中,∇φ 为一阶函数导数,为范数,div为整除函数,δ s (φ)为H (φ)函数的一阶导数即Dirac度量的正则化函数,κ 为Dirac度量系数。
1.2.2 图像颜色特征的提取
将视频图像梯度角度直方图与颜色信息相结合,获得梯度角度-色度饱和度直方图的颜色特征,并将提取的特征应用于核相关滤波跟踪算法中。为避免提取颜色特征过程中对冗余信息的提取,仅分析与提取视频图像液晶显示器行同步信号(HS)通道的信息,利用色调(H)通道以及饱和度(S)通道的像素值建立颜色空间极坐标系,利用极坐标内角度和梯度体现视频图像的色度、饱和度,得到：
式中,H 、θ、G、B 分别为H 通道的像素值、极坐标外角度、内角度聚类系数、外角度聚类系数,极坐标的内角度可表示为：
式中,R 为特征点聚类系数。饱和度可表示为：
依据特征点聚类器创建各个特征点的时空特征向量并对创建的时空特征向量进行聚类,得到与各个分类相应的构成区域,并基于此将视频图像划分为n 块区域,统计不同区域的梯度角度直方图和色度饱和度直方图,将全部区域直方图串联,利用OpenCV 工具获取视频图像色度饱和度直方图以及梯度角度直方图,即图像的梯度角度-色度饱和度直方图,该直方图可以有效表征图像的颜色特征。
1.3 核相关滤波跟踪算法
在循环移位编码密集采样过程中,结合循环矩阵训练分类器即核相关滤波跟踪算法,通过核方法获取视频图像与分类器间的相关系数[9-14] ,更新后的目标位置即为最大相关系数所处的位置,该算法利用频域实现,跟踪速度较快。
1.3.1 循环移位以及循环矩阵
将视频图像内的感兴趣目标块用大小为n×1的向量x 表示,将该区域作为基础样本。通过循环移位操作获取正样本以及负样本训练分类器,循环移位操作的变换矩阵可表示为：
设每次移动位数为1,移动次数为n 时即可得到x,全部样本的集合可表示为：
P u x u=0,1,…,n-1
循环矩阵可表示为：
式中,X 为循环矩阵。循环矩阵在x 为随机向量时可表示为：
**X =Fdiag(^x)F H **
式中,diag为对角矩阵函数,F 为傅里叶矩阵,^x 为x的离散傅里叶变换,上标H 为共轭转置操作。
1.3.2 岭回归模型学习分类器
岭回归是有偏数据估计回归方法,可用封闭方程表示为：
式中,x i样本目标,y i为回归目标,w为分类器参数,f(x i )为封闭函数,i为有偏数据对应的序号,ξ为可调节过拟合的参数,对(13)式求极值得到
w=(X H X +ξI) -1 X H y
式中,I为单位矩阵,X为行向量x i组成的矩阵,y为向量y i组成的矩阵。
用多项式∑ Mi=1τ i x i表示映射至高维空间的w,其中,M为高维空间总维数,τ i为x i的线性组合系数,则：
τ=(K +ξI) -1 y
式中,K 为核矩阵,如果核矩阵具有循环特性,则
式中,K xx’为高斯核循环特性,x’为训练样本,上标*为复数共轭,F -1为傅里叶逆变换,η为核函数参数,频域内的非线性分类器参数为：
式中,^y 为频域内的目标期望,δ 为高斯核函数的空间带宽。
1.3.3 分类器快速跟踪
利用w 检测新输入视频图像z 中的目标时,依据响应函数得到的视频图像检测公式为：
f(z)=w T z
样本利用核函数的映射过程即通过非线性分类器检测目标的过程,分类器的响应可表示为：
式中,n 为非线性分类器检测的目标数量,K(,)为循环矩阵函数。通过式可得到新输入视频图像与全部滑动子窗口的相关性,用循环矩阵简化后可表示为：
式中,^f(z)和☉分别为循环矩阵的简化结果和逻辑运算符。
1.4 视频图像的多目标跟踪
训练分类器时,利用连续标签标记样本,依据待跟踪目标与样本中心距离ϑ得到相关滤波响应值,范围为[0,1],相关滤波响应值在接近跟踪目标时趋于1,远离跟踪目标时趋于0。利用不同特征的最大响应值分配跟踪权重,跟踪目标特征权重可表示为：
式中,f(Z b )与f(Z s )分别为边缘特征Z b以及梯度角度-色度饱和度直方图颜色特征Z s的响应输出。根据不同特征响应大小分配跟踪权重,得到目标的最终跟踪位置为：
式中,p Zb为对边缘特征的跟踪位置,p Zs为对颜色特征的跟踪位置。
实例分析
选取Benchmark数据集中的视频验证本算法跟踪目标的有效性,数据集内的视频图像均为户外环境,包括不同尺度变换、光照变换、遮挡等复杂环境的视频图像,通过定性以及定量分析评价本算法的跟踪性能。
2.1 定性评价
本算法对交通视频图像内第100、500、1000帧图像的多目标跟踪结果如图1所示。可以发现,本算法可在存在相似物干扰的情况下成功跟踪视频图像中的多目标,且未存在漏跟踪情况。在目标被其他目标遮挡的情况下仍可准确跟踪目标,这表明本算法具有较高的跟踪性能。在跟踪过程中视频图像存在抖动情况,本算法仍可准确跟踪目标并快速恢复正常跟踪,这表明本算法具有较强的跟踪鲁棒性
2.2 定量评价
采用跟踪成功率、跟踪精确度、跟踪重叠率、平均跟踪速度定量评价本算法的跟踪性能,选取文献[1]中的自适应算法、文献[1]中的高斯尺度空间算法、文献1]中的特征融合算法、文献[1]中的多通道算法、文献[1]中的金字塔特征算法、文献[1中的卷积特征算法作为对比,评价本算法的跟踪性能。
2.2.1 跟踪成功率7种算法在不同帧数下的跟踪成功率如表1所示,可以发现,本算法在不同帧数下的跟踪成功率均大于99%,明显高于其他算法,这表明本算法具有较高的跟踪有效性。
2.2.2 跟踪精确度
用中心误差评价不同算法对视频图像多目标的跟踪精度,中心误差可表示为E = (a’ m -a m ) 2 + (b’ m -b m ) 2 ,方式中,(a m ,b m )与(a’ m ,b’ m )分别为根据算法得到的视频内第m帧图像的目标中心坐标及手动标记的
目标中心坐标,中心误差值越小,表明跟踪算法的精确度越高。7种跟踪算法的中心误差如表2所示,可以发现,本算法跟踪多目标的中心误差在不同帧数下均最小,趋近于0,这表明本算法具有较高的跟踪精度。高斯尺度空间算法及多通道算法在300帧之前的中心误差与本算法相差较小,300帧之后跟踪精度急剧下降,原因是高斯尺度空间算法及多通道算法的波动幅度过大,鲁棒性较差。
7种跟踪算法在轻微遮挡、严重遮挡等复杂环境下的中心误差如表3 所示,可以发现,本算法在不同复杂环境下均具有最低的中心误差,这表明本算法可适应视频图像内的复杂环境,具有较高的跟踪精准性及跟踪鲁棒性。原因是本算法将提取的图像边缘特征与梯度角度-色度饱和度直方图颜色特征相结合,提升了多目标的跟踪性能。
2.2.3 跟踪重叠率
重叠率是评价目标跟踪性能的重要指标,视频图像的多目标跟踪重叠率可表示为O =X area (R m ∩R’ m )X area (R m ∪R’ m ),方式中,R m与R’ m为根据算法得到的视频内第m帧图像的目标框及手动标记的目标框,X area为区域面积。7种跟踪算法的跟踪重叠率如表4所示,可以发现,本算法跟踪视频图像的多目标时,跟踪重叠率明显高于其他算法,这表明本算法具有优越的跟踪性能。
2.2.4 平均跟踪速度
为检测本算法跟踪的实时性,统计不同算法的跟踪速度,结果如表5所示。可以发现,用本算法跟踪不同复杂环境视频图像内的多目标时,跟踪速度明显高于其他算法,有效验证了本算法的实时性。
综上所述,相比其他算法,本算法具有更优的跟踪成功率、跟踪精确度、跟踪重叠率、平均跟踪速度,原因是本算法将视频图像目标运动轨迹的3帧图像时间作为线性段,利用线性判断方法捕获目标,利用动态边缘演化技术准确提取捕获目标的边缘特征,解决了视频图像多目标处于运动状态时边缘特征模糊导致的目标跟踪难度大问题。
