视频监控 智能交通 数据集(目标检测、跟踪)

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时计算 Flink 版,5000CU*H 3个月
简介: 总结一下视频监控的数据集,用于目标检测、跟踪,持续跟新中..........

 一、UA-DETRAC 数据集

UA-DETRAC是一个具有挑战性的真实世界多目标检测多目标跟踪基准。该数据集包括在中国北京和天津的24个不同地点使用Cannon EOS 550D相机拍摄的10小时视频。视频以每秒25帧(fps)的速度录制,分辨率为960×540像素。UA-DETRAC数据集中有超过14万个帧,手动注释了8250个车辆,总共有121万个标记的对象边界框。官方还对目标检测和多目标跟踪中的最新方法以及本网站中详述的评估指标进行基准测试。

image.gif

官网地址:http://detrac-db.rit.albany.edu/

论文地址:https://arxiv.org/pdf/1511.04136.pdf

使用车辆类别、天气、规模、遮挡率和截断率等属性分析了目标检测和跟踪算法的性能。

image.gif


  • 车辆类别   我们将车辆分为四类,即轿车、公共汽车、面包车和其他。
  • 天气   我们考虑四类天气条件,即多云、夜间、晴天和雨天。
  • 比例   我们将带注释车辆的比例定义为其面积的平方根(以像素为单位)。我们将车辆分为三个等级:小型(0-50 像素)、中型(50-150 像素)和大型(超过 150 像素)。
  • 遮挡率   我们使用车辆边界框被遮挡的比例来定义遮挡程度。我们将遮挡程度分为三类:无遮挡、部分遮挡和重度遮挡。具体来说,如果车辆的遮挡率在 1%-50% 之间,我们定义为部分遮挡,如果遮挡率大于 50%,我们定义为重遮挡。
  • 截断率   截断率表示车辆部件在框架外的程度,用于训练样本选择。



二、MOT Challenge  数据集

MOT Challenge 是应用在多目标跟踪中最常见的数据集,它专门用于行人跟踪的场景,这些数据集目前已公开提供。对于每个数据集都提供了训练数据和测试数据,其中训练数据提供了目标检测结果和真实的跟踪结果,而测试数据只提供目标检测的结果。

常截至目前,MOT Challenge 数据集包含了MOT15,MOT16/MOT17,MOT20等子数据集。

https://motchallenge.net/
MOT15 数据集部分视频序列实例:

image.gif

MOT15 子数据集是 MOT Challenge 数据集上第一代数据,它包括 2D MOT15数据和 3D MOT15 数据。其中 2D MOT15 数据一共包含了 22 段视频序列(其中11 段视频作为训练使用,另外 11 段视频作为测试使用)。另外 2D MOT15 子数据集使用了 ACF 检测器识别视频序列中的目标来提供公共的检测结果。


MOT16/MOT17 子数据集中行人密度较高,因此该数据集也更具挑战性。这两个数据集包含了相同的 14 段视频序列(其中 7 段视频作为训练使用,另外 7 段视频作为测试使用)。

MOT16 子数据集使用了 DPM 检测器作为公开检测器。而 MOT17 子数据集则提供了三组不同的目标检测(Faster R-CNN,DPM以及 SDP)结果。


MOT20 数据集部分序列实例:

image.gif

MOT20 子数据集的场景极其复杂,行人密度极高,更加考验多目标跟踪器的性能。该数据集一共包含 8 段视频序列,使用了 Faster R-CNN 作为检测器来提供公开检测结果。MOT20 数据集部分序列如上图所示,可以看到场景当中的人口密度极大。


参考文章:https://blog.csdn.net/weixin_44936889/article/details/107029111

参考文献:面向复杂场景的多目标跟踪算法研究.胡玉杰.电子科技大学.


目前只找到两个比较好的数据集,后面如果新的发现会持续跟新的,欢迎交流~

相关文章
|
3月前
|
机器学习/深度学习 算法框架/工具 数据库
使用Python实现深度学习模型:智能城市噪音监测与控制
使用Python实现深度学习模型:智能城市噪音监测与控制
129 1
|
2月前
|
机器学习/深度学习 数据采集 传感器
使用Python实现深度学习模型:智能土壤质量监测与管理
使用Python实现深度学习模型:智能土壤质量监测与管理
286 69
|
8月前
|
数据采集 监控 算法
LabVIEW开发移动车辆的识别和特征提取
LabVIEW开发移动车辆的识别和特征提取
59 1
|
8月前
|
传感器 机器学习/深度学习 编解码
一文全览 | 2023最新环视自动驾驶3D检测综述!
一文全览 | 2023最新环视自动驾驶3D检测综述!
230 1
|
编解码 计算机视觉 智慧交通
智慧交通day04-特定目标车辆追踪03:siamese在目标跟踪中的应用-SiamRPN++(2019)
严格的平移不变性只存在于无填充网络中,如AlexNet。以前基于孪生的网络设计为浅层网络,以满足这一限制。然而,如果所使用的网络被ResNet或MobileNet等现代网络所取代,填充将不可避免地使网络变得更深,从而破坏了严格的平移不变性限制,不能保证物体最后的heatmap集中于中心。
178 0
智慧交通day04-特定目标车辆追踪03:siamese在目标跟踪中的应用-SiamRPN++(2019)
|
计算机视觉 智慧交通
智慧交通day04-特定目标车辆追踪03:siamese在目标跟踪中的应用-SiamMask(2019)
与普通的视频跟踪网络不同的是,SiamMask可以同时完成视频跟踪和实例级分割的任务。如下图所示,与传统的对象跟踪器一样,依赖于一个简单的边界框初始化(蓝色)并在线操作。与ECO(红色)等最先进的跟踪器不同,SiamMask(绿色)能够生成二进制分割,从而更准确地描述目标对象。
192 0
|
数据挖掘 计算机视觉 智慧交通
智慧交通day04-特定目标车辆追踪03:siamese在目标跟踪中的应用-SiamRPN(2017)
Siam-RPN提出了一种基于RPN的孪生网络结构,由孪生子网络和RPN网络组成,前者用来提取特征,后者用来产生候选区域。其中,RPN子网络由两个分支组成,一个是用来区分目标和背景的分类分支,另外一个是微调候选区域的回归分支,使整个网络实现了端到端的训练。
160 0
|
机器学习/深度学习 计算机视觉 智慧交通
智慧交通day04-特定目标车辆追踪03:siamese在目标跟踪中的应用-汇总
Siamese网络衡量两个输入的相似程度,输出是一个[0,1]的浮点数,表示二者的相似程度。孪生神经网络有两个输入(Input1 and Input2),将两个输入feed进入两个神经网络(Network1 and Network2),这两个神经网络分别将输入映射到新的空间,形成输入在新的空间中的表示。通过Loss的计算,评价两个输入的相似度。
120 0
|
机器学习/深度学习 Web App开发 BI
智慧交通day04-特定目标车辆追踪03:siamese在目标跟踪中的应用-SiamFC(2016)
SiamFC采用了全卷积式的Siamese网络实现目标跟踪,其网络结构如下图所示,具有两个权值共享的分支。其中,z为127×127的模板图像相当于要追踪的目标,x为255×255的搜索图像,我们要完成的就是在x中找到z的位置。
201 0
|
算法 计算机视觉 智慧交通
智慧交通day04-特定目标车辆追踪03:siamese在目标跟踪中的应用-DaSiamRPN(2018)
DaSiamRPN网络的全称为Distractor-aware SiamRPN,是基于SiamRPN网络结构,提出更好的使用数据,针对跟踪过程的干扰物,利用更好的训练方式是跟踪更加的鲁棒。
128 0