多目标跟踪

简介: 多目标跟踪(Multiple Object Tracking,MOT)在计算机视觉领域的作用十分重要,高质量的跟踪算法是解决包括视频监控、自动驾驶汽车、动作识别及人群行为分析等许多问题的基础。MOT研究的问题在于跟踪视频序列中不同目标(通常是行人、汽车等)的轨迹。近年来,随着深度学习理论的发展和基准测试的建立,基于深度学习的多目标跟踪方法从表征学习发展到网络建模。

    多目标跟踪(Multiple  Object  Tracking,MOT)是一个计算机视觉任务,即识别和跟踪属于哪一类或者哪几类,没有任何先验知识的目标。与目标检测算法的输出不同,除了坐标、高度、宽度识别的矩形框的集合,多目标跟踪算法还将目标ID 关联到每个检测矩形框,以区分不同对象。多目标跟踪在本文的应用是在单个监控视频中跟踪多个车辆的轨迹,通过车辆轨迹统计当前监控断面车流量、每辆车的速度等交通流信息,同时通过轨迹的时空间信息判断车辆是否存在异常行为。

     2013 年 Dicle 等人提出一种基于运动动力学的多目标检测跟踪框架,将问题表述为轨迹的广义线性分配(GLA),这些轨迹基于其基于动态的相似度递增地关联到更长的轨迹,并且使用改进的 Hankel Total Least Squares 来估计这些相似度度量。      

     2014 年 Seung-Hwan Bae 等人通过轨迹的置信度评估其的可靠程度,并用局部和全局两阶段关联构建最优轨迹,利用在线学习方法来识别不同的物体和正在进行跟踪的物体,有效解决了复杂环境下目标遮挡的难题。      

     2015 年 Kim 等人提出 MHT-DAM,为每个跟踪假设设计一种在线训练外观模型,通过多输出正则最小二乘法,高效的学习有良好区别能力的外观特征。      

     2015 年 Xiang 等人将在线 MOT 问题表述为策略学习多个马尔可夫决策过程(MDPS)中的决策问题,  其中一个对象的生存周期是用 MDP 建模的,可以自然地处理目标的生成/删除和出现/消失,将它们视为 MDP 中的状态转换。      

     2016 年 Alex  Bewley 等人简单结合了卡尔曼滤波和匈牙利算法实现了实时性好,精度高的 SORT 在线追踪算法,相比同时期 SOTA 追踪器(MDP、MHT-DAM)快 20 倍左右,缺点是 ID 切换比较严重;一年后,该团队又提出 DEEP  SORT算法,将重识别模型融入外观特征,增加级联匹配机制,改进算法能够克服跟踪过程中更长的时间的遮挡,有效地减少 ID 切换的数量。        

     2017 年 Milan 等人模拟贝叶斯滤波算法,首次将 RNN 模型作为主跟踪器,由 RNN 模型预测运动状态、管理轨迹的出现和消失,LSTM 模型计算检测与预测位置的关联矩阵,用于调整更新轨迹状态。虽然该算法在速度上优于其他技术(如卡尔曼滤波和匈牙利算法的组合),但精度却没有达到很高的水平。

      为了解决手工设计不同帧之间目标亲和度鲁棒性差,难以区分高相似度物体的问题,2017 年 Sun 等人提出了一种深度亲和网络(Deep  Affinity  Network,DAN),以端到端方式在一对视频帧中共同学习目标对象的外观及其亲和性。该方法虽然在精度上高于同时期 SOTA 算法,但是处理速度较慢,达不到实时的跟踪效果。

      简单地直接应用 SOT 模型来解决 MOT,会导致较差的结果,经常导致目标漂移和大量的 ID 切换错误,因为此类模型通常难以区分外观相似的类内对象。2019年 Feng 等人提出利用先进的单目标跟踪技术获得多个单目标的跟踪轨迹,再通过 ReID 特征完成单目标轨迹之间的 ID 切换,提高跟踪过程中的鲁棒性;同样,Zhu 等人应用先进的单目标跟踪技术,在轨迹关联时提出用时间空间双重注意力模型,但是大量的后期处理模型使得此类方法跟踪速度很慢。

     2020 年,随着 anchor-free 检测方法的发展,CenterNet 检测器有着不错的表现,针对此检测器,Zhou 等人提出基于点的跟踪,即以两邻帧的检测图像作为输入,在训练 CenterNet 检测器的同时训练一个中心点的偏移量,仅根据预测偏移量与前一帧检测到的中心点之间的距离进行贪婪匹配,即可实现目标关联。

     与 Deep Sort 类似,王春艳提出引用深度外观特征的在线分层数据关联跟踪算法;孟晓燕对基于相关滤波的 42 种跟踪算法做了详尽综述,思考了跟踪领域未来的发展方向;刘沛鑫[33]对基于关联的多目标跟踪算法面临的几大难点做了深入研究,首先,提出网络流数据关联求解算法,解决跟踪过程中目标数量不确定的问题,然后,提出将长短时记忆网络和条件随机场引入数据关联模型,旨在连接高相似度的轨迹片段,最后,提出一种马尔可夫随机场模型,有效关联跨视角行人跟踪轨迹片段。

     虽然联合检测跟踪的跟踪框架是近年来的发展趋势,但 Tracking by Detection的灵活性以及检测网络性能的日益强大,使得这种跟踪框架仍是实际应用的主流框架。

相关文章
|
8月前
|
算法 计算机视觉
yolov5 deepsort-船舶目标检测+目标跟踪+单目测距+速度测量(代码+教程)
yolov5 deepsort-船舶目标检测+目标跟踪+单目测距+速度测量(代码+教程)
|
8月前
|
机器学习/深度学习 编解码 人工智能
论文介绍:HigherHRNet——用于自下而上人体姿态估计的尺度感知表示学习
【5月更文挑战第22天】HigherHRNet是针对自下而上人体姿态估计的尺度感知方法,通过构建高分辨率特征金字塔,改善多尺度人体姿态估计的准确性。该论文提出的新架构在COCO测试集上提高了2.5%的中号人物平均精度,达到70.5%的AP,且在CrowdPose上超越所有自上而下方法,实现67.6%的AP。作者通过消融实验验证了各个组件的重要性,并指出未来可优化模型以适应更复杂场景。论文链接:[https://arxiv.org/abs/1908.10357](https://arxiv.org/abs/1908.10357)
54 1
|
8月前
|
机器学习/深度学习 人工智能 计算机视觉
【CVPR小目标检测】- ISNet红外小目标检测
【CVPR小目标检测】- ISNet红外小目标检测
249 1
|
算法 数据挖掘 计算机视觉
【目标检测】基于稀疏表示的高光谱图像(Matlab代码实现)
【目标检测】基于稀疏表示的高光谱图像(Matlab代码实现)
199 0
|
机器学习/深度学习 编解码 移动开发
【论文解读】——基于多尺度卷积网络的遥感目标检测研究(姚群力,胡显,雷宏)
【论文解读】——基于多尺度卷积网络的遥感目标检测研究(姚群力,胡显,雷宏)
【论文解读】——基于多尺度卷积网络的遥感目标检测研究(姚群力,胡显,雷宏)
|
机器学习/深度学习 传感器 人工智能
基于帧差法实现目标跟踪检测附matlab代码
基于帧差法实现目标跟踪检测附matlab代码
|
机器学习/深度学习 算法
m基于GRNN广义回归神经网络和HOG特征提取的人体姿态检测识别matlab仿真,样本集为TOF深度图
m基于GRNN广义回归神经网络和HOG特征提取的人体姿态检测识别matlab仿真,样本集为TOF深度图
337 0
m基于GRNN广义回归神经网络和HOG特征提取的人体姿态检测识别matlab仿真,样本集为TOF深度图
|
固态存储 算法 数据挖掘
目标检测框架在目标跟踪中的应用
从SiamRPN将跟踪问题定义为one-shot detection任务之后,出现了大量将检测组件由于跟踪的研究。不过Siamese系列一个很大的问题在于其本质仍然是一个模板匹配问题,网络关注的是寻找与target相似的东西,而忽视了区分target和distractor的判别能力,这正是目标检测任务所擅长的。目标检测和目标跟踪的关键差异在于检测是一个class-level的任务,而跟踪是一个instance-level的任务(即检测只关注类间差异而不重视类内差异,跟踪需要关注每一个实例,同时跟踪的类别是不可知的)。
134 0
|
机器学习/深度学习 编解码 自然语言处理
计算机视觉论文速递(八)ViTAE:COCO人体姿态估计新模型取得最高精度81.1AP
 人体姿态估计是计算机视觉领域的基本研究问题之一,具有很广泛的实际应用,例如医疗健康领域的行为分析、元宇宙领域的AIGC内容生成等。但是,由于人体姿态丰富,人物衣着表观变化多样,光照和遮挡等因素,人体姿态估计任务非常具有挑战性。之前的深度学习方法主要研究了新的骨干网络设计、多尺度特征融合、更强的解码器结构和损失函数设计等。
356 0
|
机器学习/深度学习 算法 定位技术
CVPR 2017|SfMLearner:单目视频中深度和姿态估计的无监督算法
将相邻帧(包括当前帧、上一帧、下一帧)输入Pose CNN,得到旋转矩阵R和平移矩阵T,预测相机的位姿变化
271 0

热门文章

最新文章