多目标跟踪

简介: 多目标跟踪(Multiple Object Tracking,MOT)在计算机视觉领域的作用十分重要,高质量的跟踪算法是解决包括视频监控、自动驾驶汽车、动作识别及人群行为分析等许多问题的基础。MOT研究的问题在于跟踪视频序列中不同目标(通常是行人、汽车等)的轨迹。近年来,随着深度学习理论的发展和基准测试的建立,基于深度学习的多目标跟踪方法从表征学习发展到网络建模。

    多目标跟踪(Multiple  Object  Tracking,MOT)是一个计算机视觉任务,即识别和跟踪属于哪一类或者哪几类,没有任何先验知识的目标。与目标检测算法的输出不同,除了坐标、高度、宽度识别的矩形框的集合,多目标跟踪算法还将目标ID 关联到每个检测矩形框,以区分不同对象。多目标跟踪在本文的应用是在单个监控视频中跟踪多个车辆的轨迹,通过车辆轨迹统计当前监控断面车流量、每辆车的速度等交通流信息,同时通过轨迹的时空间信息判断车辆是否存在异常行为。

     2013 年 Dicle 等人提出一种基于运动动力学的多目标检测跟踪框架,将问题表述为轨迹的广义线性分配(GLA),这些轨迹基于其基于动态的相似度递增地关联到更长的轨迹,并且使用改进的 Hankel Total Least Squares 来估计这些相似度度量。      

     2014 年 Seung-Hwan Bae 等人通过轨迹的置信度评估其的可靠程度,并用局部和全局两阶段关联构建最优轨迹,利用在线学习方法来识别不同的物体和正在进行跟踪的物体,有效解决了复杂环境下目标遮挡的难题。      

     2015 年 Kim 等人提出 MHT-DAM,为每个跟踪假设设计一种在线训练外观模型,通过多输出正则最小二乘法,高效的学习有良好区别能力的外观特征。      

     2015 年 Xiang 等人将在线 MOT 问题表述为策略学习多个马尔可夫决策过程(MDPS)中的决策问题,  其中一个对象的生存周期是用 MDP 建模的,可以自然地处理目标的生成/删除和出现/消失,将它们视为 MDP 中的状态转换。      

     2016 年 Alex  Bewley 等人简单结合了卡尔曼滤波和匈牙利算法实现了实时性好,精度高的 SORT 在线追踪算法,相比同时期 SOTA 追踪器(MDP、MHT-DAM)快 20 倍左右,缺点是 ID 切换比较严重;一年后,该团队又提出 DEEP  SORT算法,将重识别模型融入外观特征,增加级联匹配机制,改进算法能够克服跟踪过程中更长的时间的遮挡,有效地减少 ID 切换的数量。        

     2017 年 Milan 等人模拟贝叶斯滤波算法,首次将 RNN 模型作为主跟踪器,由 RNN 模型预测运动状态、管理轨迹的出现和消失,LSTM 模型计算检测与预测位置的关联矩阵,用于调整更新轨迹状态。虽然该算法在速度上优于其他技术(如卡尔曼滤波和匈牙利算法的组合),但精度却没有达到很高的水平。

      为了解决手工设计不同帧之间目标亲和度鲁棒性差,难以区分高相似度物体的问题,2017 年 Sun 等人提出了一种深度亲和网络(Deep  Affinity  Network,DAN),以端到端方式在一对视频帧中共同学习目标对象的外观及其亲和性。该方法虽然在精度上高于同时期 SOTA 算法,但是处理速度较慢,达不到实时的跟踪效果。

      简单地直接应用 SOT 模型来解决 MOT,会导致较差的结果,经常导致目标漂移和大量的 ID 切换错误,因为此类模型通常难以区分外观相似的类内对象。2019年 Feng 等人提出利用先进的单目标跟踪技术获得多个单目标的跟踪轨迹,再通过 ReID 特征完成单目标轨迹之间的 ID 切换,提高跟踪过程中的鲁棒性;同样,Zhu 等人应用先进的单目标跟踪技术,在轨迹关联时提出用时间空间双重注意力模型,但是大量的后期处理模型使得此类方法跟踪速度很慢。

     2020 年,随着 anchor-free 检测方法的发展,CenterNet 检测器有着不错的表现,针对此检测器,Zhou 等人提出基于点的跟踪,即以两邻帧的检测图像作为输入,在训练 CenterNet 检测器的同时训练一个中心点的偏移量,仅根据预测偏移量与前一帧检测到的中心点之间的距离进行贪婪匹配,即可实现目标关联。

     与 Deep Sort 类似,王春艳提出引用深度外观特征的在线分层数据关联跟踪算法;孟晓燕对基于相关滤波的 42 种跟踪算法做了详尽综述,思考了跟踪领域未来的发展方向;刘沛鑫[33]对基于关联的多目标跟踪算法面临的几大难点做了深入研究,首先,提出网络流数据关联求解算法,解决跟踪过程中目标数量不确定的问题,然后,提出将长短时记忆网络和条件随机场引入数据关联模型,旨在连接高相似度的轨迹片段,最后,提出一种马尔可夫随机场模型,有效关联跨视角行人跟踪轨迹片段。

     虽然联合检测跟踪的跟踪框架是近年来的发展趋势,但 Tracking by Detection的灵活性以及检测网络性能的日益强大,使得这种跟踪框架仍是实际应用的主流框架。

相关文章
|
计算机视觉
目标跟踪技术
Boofcv研究:动态目标追踪 public class RemovalMoving { public static void main(String[] args) { String fileName = UtilIO.
1021 0
|
算法 开发工具 git
CenterNet+ deepsort实现多目标跟踪
CenterNet+ deepsort实现多目标跟踪
CenterNet+ deepsort实现多目标跟踪
|
传感器 机器学习/深度学习 算法
【目标跟踪】基于卡尔曼滤波实现SLAM地图目标跟踪附matlab代码
【目标跟踪】基于卡尔曼滤波实现SLAM地图目标跟踪附matlab代码
|
9月前
|
机器学习/深度学习 监控 算法
计算机视觉实战项目(图像分类+目标检测+目标跟踪+姿态识别+车道线识别+车牌识别)
计算机视觉实战项目(图像分类+目标检测+目标跟踪+姿态识别+车道线识别+车牌识别)
|
9月前
|
算法 计算机视觉
yolov5 deepsort-船舶目标检测+目标跟踪+单目测距+速度测量(代码+教程)
yolov5 deepsort-船舶目标检测+目标跟踪+单目测距+速度测量(代码+教程)
|
固态存储 算法 数据挖掘
目标检测框架在目标跟踪中的应用
从SiamRPN将跟踪问题定义为one-shot detection任务之后,出现了大量将检测组件由于跟踪的研究。不过Siamese系列一个很大的问题在于其本质仍然是一个模板匹配问题,网络关注的是寻找与target相似的东西,而忽视了区分target和distractor的判别能力,这正是目标检测任务所擅长的。目标检测和目标跟踪的关键差异在于检测是一个class-level的任务,而跟踪是一个instance-level的任务(即检测只关注类间差异而不重视类内差异,跟踪需要关注每一个实例,同时跟踪的类别是不可知的)。
147 0
|
算法 计算机视觉
【算法研究】目标检测
作者:gnuhpc 出处:http://www.cnblogs.com/gnuhpc/ 目标检测方法最初由Paul Viola [Viola01]提出,并由Rainer Lienhart [Lienhart02]对这一方法进行了改善. 首先,利用样本(大约几百幅样本图片)的 harr 特征进行分类器训练,得到一个级联的boosted分类器。
674 0
|
机器学习/深度学习 监控 算法
多目标跟踪问题综述
多目标跟踪(Multiple Object Tracking,MOT)在计算机视觉领域的作用十分重要,高质量的跟踪算法是解决包括视频监控、自动驾驶汽车、动作识别及人群行为分析等许多问题的基础。MOT研究的问题在于跟踪视频序列中不同目标(通常是行人、汽车等)的轨迹。近年来,随着深度学习理论的发展和基准测试的建立,基于深度学习的多目标跟踪方法从表征学习发展到网络建模。
473 0
多目标跟踪问题综述
|
算法 计算机视觉
基于图像分割的立体匹配方法
1.绪论 立体匹配是三维重建系统的关键步骤,并且作为一种非接触测量方法在工业以及科研领域具有重要的应用价值。为了完成匹配工作以及获取场景的稠密视差图,可以通过构建能量函数对应立体匹配的约束条件。
1468 0
|
机器学习/深度学习 人工智能 监控
视觉目标跟踪漫谈:从原理到应用
视觉目标跟踪 (visual object tracking) 是计算机视觉 (computer vision) 领域的一个重要研究问题。通常来说,视觉目标跟踪是在一个视频的后续帧中找到在当前帧中定义的感兴趣物体 (object of interest) 的过程,主要应用于一些需要目标空间位置以及外观(形状、颜色等)特性的视觉应用中。本文旨在对跟踪做一个尽量全面、细致和具有时效性的综述,研究跟踪的定义、应用、架构、算法以及评估等方面的内容。联合作者:图希,恬宁,崇北,昆虚,明烁。 文末福利:免费下载《15分钟开发视觉AI应用》电子书。
7805 0
视觉目标跟踪漫谈:从原理到应用

热门文章

最新文章