Deepsort + Yolo 实现行人检测和轨迹追踪

2022-10-09 550

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： Deepsort + Yolo 实现行人检测和轨迹追踪

行人检测是近年来计算机视觉领域的研究热点，同时也是目标检测领域中的难点。其目的是识别和定位图像中存在的行人，在许多领域中都有广泛的应用。交通安全方面，无人驾驶汽车通过提前检测到行人及时避让来避免交通事故的发生；安防保护方面，通过行人检测来防止可疑人员进入；公共场所管理方面，通过行人检测统计人流量数据，优化人力物力等资源的分配。对于目标检测的方法，从2013年Ross Girshick提出R-CNN开始，人们在短短几年内相继提出Fast R-CNN、Faster R-CNN、Mask R-CNN、SSD、YOLO等算法，其中两步检测的目标检测方法(R-CNN系列算法)需要先产生大量候选框之后再用卷积神经网络对候选框进行分类和回归处理；单步检测的方法(SSD、YOLO系列算法)则直接在卷积神经网络中使用回归的方法一步就预测出目标的位置以及目标的类别。虽然两步检测的目标检测方法在大多数的场景下精确率更高，但是它需要分两个步骤进行，因此，这种方法将耗费大量的时间成本和昂贵的硬件成本，不适合对视频文件进行实时的检测。而YOLO系列的网络速度更快，可以适应实时视频的检测，泛化能力更强。对于人员跟踪，2016年Alex Bewley提出了简单在线实时跟踪算法，这种算法把传统的卡尔曼滤波和匈牙利算法结合到一起，能在视频帧序列中很好地进行跨检测结果的关联，而且它的速度比传统的算法快20倍左右，可以快速地对目标检测反馈的数据进行处理。故本项目通过采用深度学习方法实现YOLO算法行人检测和deepsort算法对人员定位的和轨迹跟踪。其最终实现效果如下图可见：

基本介绍

1.1 环境要求

本次环境使用的是python3.6.5+windows平台。主要用的库有：

opencv模块。在计算机视觉项目的开发中，opencv作为较大众的开源库，拥有了丰富的常用图像处理函数库，采用C/C++语言编写，可以运行在Linux/Windows/Mac等操作系统上，能够快速的实现一些图像处理和识别的任务。

pillow模块。PIL是理想的图像存档和批处理应用程序。您可以使用库创建缩略图，在文件格式、打印图像等之间进行转换。它提供了广泛的文件格式支持、高效的内部表示和相当强大的图像处理功能。核心图像库是为快速访问以几种基本像素格式存储的数据而设计的。为通用图像处理工具提供了坚实的基础。

Scipy库。Scipy是一个用于数学、科学、工程领域的常用软件包，可以处理插值、积分、优化、图像处理、常微分方程数值解的求解、信号处理等问题。它用于有效计算Numpy矩阵，使Numpy和Scipy协同工作，高效解决问题。

keras模块。Keras是一个由Python编写的开源人工神经网络库，可以作为Tensorflow、Microsoft-CNTK和Theano的高阶应用程序接口，进行深度学习模型的设计、调试、评估、应用和可视化。

1.2 算法设计

使用卷积神经网络对视频中的行人进行检测和跟踪。视频帧输入之后首先进入YOLOv3目标检测的网络，经过Darknet-53提取特征；其次，进行上采样和特征融合，再进行回归分析；再次，把得出的预测框信息输入SORT算法进行目标特征建模，匹配和跟踪；最后，输出结果。下图为算法流程设计图：

行人检测

2.1 YOLO行人检测

常见的两阶段检测首先是使用候选区域生成器生成的候选区集合，并从每个候选区中提取特征，然后使用区域分类器预测候选区域的类别。而YOLO作为单阶段检测器，则不用生成候选区域，直接对特征图的每个位置上的对象进行分类预测，效率更高。在这里使用labelme标注行人数据集，然后通过搭建好的YOLO算法产生模型并进行训练即可。