【论文速递】ECCV2022 - ByteTrack:通过关联每个检测盒来进行多对象跟踪

简介: 【论文速递】ECCV2022 - ByteTrack:通过关联每个检测盒来进行多对象跟踪

【论文原文】:ByteTrack: Multi-Object Tracking by Associating Every Detection Box

获取地址:https://arxiv.org/pdf/2110.06864.pdf

博主关键词: 多目标跟踪,数据关联

推荐相关论文:

- 无


摘要:


多目标跟踪(MOT)旨在估计视频中物体的边界框和身份。大部分方法是通过关联分数高于阈值的检测框来获得身份的。检测分数低的物体,例如被遮挡的物体,被简单地忽略,这带来了不可忽视的真正物体丢失和碎片化的轨迹。为了解决这些问题,我们提出了一种简单、有效和通用的关联方法,通过关联几乎每个检测框而不是只关联高分的检测框来进行跟踪。对于低分检测框,我们利用它们与tracklets的相似性来恢复真实对象并过滤掉背景检测。当应用于9个不同的最先进的跟踪器时,我们的方法在IDF1分数上实现了从1到10分的持续改进。为了提出MOT的state-of-theart性能,我们设计了一个简单而强大的跟踪器,命名为ByteTrack。我们首次在单 V100 GPU上以30 FPS运行速度在 MOT17 的测试集上实现了 80.3 MOTA、77.3 IDF1和 63.1 HOTA。ByteTrack 还在MOT20、HiEve和BDD100K跟踪基准上实现了最先进的性能。源代码、带有部署版本的预训练模型和应用于其他跟踪器的教程在 https://github.com/ifzhang/ByteTrack发布。

640.png

Figure 1. 不同跟踪器在MOT17测试集上的MOTA-IDF1-FPS比较。横轴为FPS,纵轴为MOTA,圆半径为IDF1。我们的ByteTrack在30FPS的基础上,在MOT17测试集上达到了80.3 MOTA和77.3 IDF1,超越了以往所有的跟踪器。详细情况见表4。


简介:


基于检测的跟踪是目前最有效的多目标跟踪方法。但是由于视频中复杂的场景,检测器并不能完美的预测。目前最先进的MOT方法需要权衡检测框中的真阳性/假阳性来消除低置信度检测框。但是直接去除这些低分框真的合理吗?我们的回答是否定的,低置信度检测框有时指示对象的存在,例如被遮挡的物体。过滤掉这些对象会导致MOT出现不可逆转的错误,并带来不可忽略的缺失检测和碎片化轨迹。标意味着对于MOT造成不可逆误差、漏检和碎片轨迹。


图2(a)和(b)显示了这个问题。在第t1帧中,我们初始化了三个不同的tracklet,因为它们的分数都高于0.5。但是,在第t2帧和第t3帧发生遮挡时,红色tracklet对应的检测分数变低,即从0.8到0.4,然后从0.4到0.1。这些检测框被阈值机制消除,红色轨迹相应地消失。然而,如果我们将每个检测框都考虑在内,则会立即引入更多误报,例如,图2(a)的帧t3中最右边的框。据我们所知,MOT中很少有方法 能够处理这种检测困境。

640.png

Figure 2. 关联每个检测框的方法示例。(a)显示所有检测框及其分数。(b)显示了通过先前方法获得的轨迹,这些方法关联了分数高于阈值的检测框,即0.5。相同的框颜色代表相同的身份。©显示了通过我们的方法获得的轨迹。虚线框表示使用卡尔曼滤波器预测的之前轨迹框。两个低分检测框基于大IoU与之前的tracklets正确匹配。


在本文中,我们发现tracklets 的相似性为区分低分检测框中的对象和背景提供了强有力的线索。如图2©所示,两个低分检测框通过运动模型的预测框与轨迹匹配,从而正确地恢复了目标。同时,由于没有匹配的tracklet,背景框被移除。


为了在匹配过程中充分利用从高分到低分的检测框,我们提出了一种简单有效的关联方法BYTE,将每个检测框命名为tracklet的一个基本单元,在计算机程序中作为字节,我们的跟踪方法对每个详细的检测框进行估值。我们首先根据运动相似性或外观相似性将高分检测框与轨迹匹配。同样,我们采用卡尔曼滤波器来预测轨迹在新帧中的位置。相似度可以通过预测框和检测框的IoU或Re-ID特征距离来计算。图2(b)正是第一次匹配后的结果。然后,我们使用相同的运动相似性在未匹配的轨迹(即红色框中的轨迹)和低分数检测框之间执行第二次匹配。图 2©显示了第二次匹配后的结果。检测分数低的被遮挡人与前一个轨迹正确匹配,并且背景(在图像的右侧)被移除。


作为目标检测与关联的综合课题,MOT的理想解决方案绝不是检测器和以下关联。此外,精心设计它们的连接区域也很重要。BYTE的创新在于检测和关联的交界处,低分检测框是提升两者的桥梁。受益于这种集成创新,当 BYTE 应用于9个不同的最先进的跟踪器时,包括基于Re-ID的跟踪器,基于运动的跟踪器,基于链的跟踪器和基于注意力的跟踪器,几乎所有指标都取得了显着改进,包括MOTA、IDF1分数和ID切换。例如,我们将CenterTrack的MOTA从66.1 增加到67.4,IDF1从64.2增加到74.0,并将MOT17的半验证集上的ID从528减少到144。


为了推动MOT的最新性能,我们提出了一个简单而强大的跟踪器,名为ByteTrack。我们采用最近的高性能检测器YOLOX来获取检测框并将它们与我们提出的BYTE相关联。在MOT挑战中,ByteTrack在MOT17和MOT20中均排名第一,在MOT17的V100 GPU上以30 FPS的运行速度实现了80.3 MOTA、77.3 IDF1和63.1 HOTA,在更拥挤的MOT20上实现了77.8 MOTA、75.2 IDF1和61.3 HOTA。ByteTrack还在HiEve和BDD100K跟踪基准上实现了最先进的性能。我们希望ByteTrack的效率和简单性能够使其在社交计算等实际应用中具有吸引力。

相关文章
|
Web App开发 缓存 JavaScript
2020你需要一个自己的私有npm包管理器
2020你需要一个自己的私有npm包管理器
230 0
|
Java 数据库连接 Spring
“探索Spring与MyBatis集成的最佳实践与技巧“(上)
“探索Spring与MyBatis集成的最佳实践与技巧“
366 0
|
机器学习/深度学习 计算机视觉
Mobile-Unet网络综述
Mobile-Unet网络综述
1993 0
Mobile-Unet网络综述
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
销售行为管理:CRM 行业的效率提升之道
在当今竞争激烈的商业环境中,客户关系管理(CRM)系统已成为企业提升销售效率和客户满意度的重要工具。销售行为管理作为其核心功能之一,通过规范销售流程、提升客户沟通效率、优化销售团队时间管理,帮助企业显著提高销售业绩和客户满意度。借助CRM系统的标准化流程、个性化沟通方案及智能任务分配,企业不仅能增强内部协作,还能更好地满足客户需求,从而在市场中脱颖而出。未来,随着人工智能和机器学习的应用,销售行为管理将更加智能和精准,助力企业在激烈的市场竞争中立于不败之地。
|
机器学习/深度学习 算法 测试技术
【YOLOv8改进 - 注意力机制】Focused Linear Attention :全新的聚焦线性注意力模块
YOLOv8专栏探讨了该目标检测算法的创新改进,包括使用聚焦线性注意力模块,解决了Transformer在视觉任务中的效率和表达力问题。该模块增强自注意力,提高焦点能力和特征多样性,保持线性复杂度。文章提供了实证证据证明其在多个基准上的性能提升,并在GitHub上发布了代码。论文和更多实战案例链接见文中。
|
分布式计算 Java Linux
centos7通过Ambari2.74部署Hadoop
centos7通过Ambari2.74部署Hadoop
|
存储 API 数据安全/隐私保护
邮箱收不到验证码邮件是什么原因
在互联网应用中,未收到验证码邮件常令人困扰。原因包括:邮件误标为垃圾、邮箱设置不当、发件服务器故障、邮箱地址输入错误,及ISP拦截。解决策略有检查垃圾邮件、清理邮箱、修正设置、确认邮箱地址无误、联系服务提供商与ISP,或尝试其他邮箱服务。使用AOKSend等可靠邮件服务可提升送达率,其优势在于高送达率、实时监测与易集成性,确保验证码邮件及时准确到达,改善用户体验。
|
存储 SQL 人工智能
数据库技术:原理、应用与未来趋势
一、引言 数据库技术作为现代信息科技的重要组成部分,不仅为数据的存储、检索和管理提供了强大的支撑,还在推动数字化转型、大数据分析和人工智能等领域的发展中发挥着关键作用
|
数据处理 数据安全/隐私保护
智能推荐映射关系,加速数据标准落地进程
在V4.0版本中,Dataphin推出了智能推荐映射关系功能,用户可以基于内置特征或创建自定义特征,对数据内容进行表示,并将其与数据标准关联,进而智能映射映射关系,尤其在字段分布广泛和命名多变的情况下,可以提高映射的准确性和效率,加速了数据标准实施。
433 0
|
监控 算法 自动驾驶
BoT-SORT 丝滑跟踪 | 超越 DeepSORT、StrongSORT++ 和 ByteTrack
BoT-SORT 丝滑跟踪 | 超越 DeepSORT、StrongSORT++ 和 ByteTrack
4495 0