达摩院OpenVI-目标检测- 针对流感知的长短支路网络 LongShortNet-阿里云开发者社区

达摩院OpenVI-目标检测- 针对流感知的长短支路网络 LongShortNet

2023-07-28 127

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

模型训练 PAI-DLC，5000CU*H 3个月

模型在线服务 PAI-EAS，A10/V100等 500元 1个月

自定义KV模板，自定义KV模板 500次/账号

简介： 达摩院OpenVI-目标检测- 针对流感知的长短支路网络 LongShortNet

01论文&代码

论文 https://arxiv.org/abs/2210.15518

代码&应用

开源代码：https://github.com/LiChenyang-Github/LongShortNet

开源应用：

02背景

传统视频目标检测（Video Object Detection, VOD）任务以一段视频作为输入，利用视频的时序信息进行目标检测，并最终输出每一帧视频帧的检测结果。

其相比图像目标检测（Image Object Detection, IOD）任务，优势在于能够利用视频的时序信息，对运动模糊、图像失焦、遮挡、物体姿态变化等困难的场景具有更强的鲁棒性。然而，传统的VOD和IOD都是离线（offline）的检测，即仅考虑算法的检测精度，未考虑算法的延时。

为了更加贴近现实场景，ECCV 2020 论文《Towards Streaming Perception》[1]（获得Best Paper Honorable Mention）首次提出了流感知（Streaming Perception）任务，该任务作为VOD的一个细分方向，提出了流平均精度（Streaming Average Precision, sAP）指标，衡量算法的在线（online）检测能力，即同时衡量算法的精度和延时。具体地，如下图所示，离线目标检测算法对T 时刻的视频帧进行检测，得到轿车检测结果，即橙色的矩形框，而因为算法处理存在一定的延时，此时现实环境已经处于

T + Latency 时刻，轿车的实际位置也已经发生变化，即红色的矩形框。

由此可见，实际应用中，算法进行目标检测时，应同时考虑环境变化，这正是在线检测（如Streaming Perception任务）考虑的事情，这一类的算法在T 时刻的检测结果，橙色的矩形框，与T + Latency 时刻的实际环境，红色的矩形框，能有较好的吻合。

图1 离线检测与在线检测对比

3技术难点

早期的方法如Streamer[1]和Adaptive Streamer[2]尝试通过提出一些策略，来进行精度和延时之间的平衡，但是这些方法精度较低。CVPR 2022 oral工作StreamYOLO[3]通过引入强大的实时目标检测器YOLOX[4]，将Streaming Perception任务简化为一个预测任务。

为了更好地理解为什么引入实时目标检测器能够简化Streaming Perception任务，需要先介绍一下此任务的评价指标。流平均精度（Streaming Average Precision, sAP）可以分为两个部分理解，其中"Average Precision"和通用检测一致，而"Streaming"表示，某个时刻的预测结果，会与算法处理完成后下一时刻的真实值（Ground True, GT）匹配，并计算对应的"Average Precision"。

具体地，如下图所示，对于非实时的算法，It 时刻的预测结果在下一时刻 It+1 到来之后才能得到，如下图左半部分绿色箭头所示，因此与该预测结果配对的是 It+2 时刻的GT，而 It+1 时刻的GT，会默认使用前一次预测结果进行配对，这样一来，算法一方面“错过”了 It+1 时刻的GT，另一方面需要预测更“远”的 It+2 时刻的真实环境，因此对算法的挑战更大。

相对地，对于实时的算法，It 时刻的预测结果在下一时刻 It+1 到来之前可以得到，如下图右半部分绿色箭头所示，因此与该预测结果配对的是 It+1 时刻的GT，该情况下，算法一方面不会“错过”任何时刻的GT，另一方面仅需要预测下一时刻的真实环境。因此说，引入实时算法能够简化Streaming Perception任务为一个对下一帧真实环境的预测任务。

图2 非实时方法和实时方法的评估示意图

虽然StreamYOLO简化了Streaming Perception任务，但是它仅使用当前帧和前一帧两帧的短时序信息作为输入，难以表征一些复杂的运动状态。如下图(a)所示，在实际自动驾驶环境中，经常会出现以下的，除了匀速直线运动以外的运动状态以及情况：1）非匀速运动（比如加速超车）；2）非直线运动（比如转弯）；3）遮挡以及小目标。

因此，本文的研究专注于探索如何在Streaming Perception任务中引入长时序信息，以及如何进行时序信息融合，并最终提出了LongShortNet，如下图(b)所示，本文提出的LongShortNet在一些困难场景下，能够达到比StreamYOLO更高的精度。

图3 特殊运动状态示意图

特殊运动状态示例

4方法介绍

LongShortNet的整体结构如下图所示，该方法具有如下的特点：

图4 LongShortNet和LSFM示意图

提出一种双支路的网络结构，在Streaming Perception领域首次引入了长时序信息。包括短支路（Short Path）和长支路（Long Path），其中短支路用于提取当前视频帧的空间信息，而长支路以历史帧作为输入，用于提取时序信息。其中，N 和δt是两个可调节的参数，N 用于控制历史帧的数量，δt 用于控制历史帧的间隔步长。

探索不同的时序融合方式。本文提出了长短融合模块（Long Short Fusion Module, LSFM），探索了1）早融合（early fusion）和晚融合（late fusion）；2）时序上不同的重要性分配。具体有如上图(b)所示的四种模块。同时，本文与已有的一些注意力模块也进行了对比。