应用
1）交通流量估算
模型和算法：交通流量变量包括交通量、密度、速度和排队长度。用于检测和跟踪目标以从视频中估计交通流量变量的算法和模型，可分为一阶段和两阶段方法。在一阶段方法中，根据检测结果估计变量，并且没有进一步的分类和位置优化，例如：1） YOLOv3+DeepSORT跟踪器；2） YOLOv2+空间金字塔池化；3） AlexNet+光流+高斯混合模型；4） 基于无人机视频的CNN+光流；5） 基于无人机视频的SSD（单镜头检测）。两阶段方法首先生成包含输入图像中所有潜在目标的区域建议，然后进行分类和位置优化，两阶段方法的例子是：1）Faster R-CNN+SORT跟踪器[81]；2） Faster R-CNN[82]，[83]；3） 基于无人机视频的Faster R-CNN[84]，[85]。
当前克服挑战的方法：[86]中提出了ITS边缘的DL方法，该方法在交通监控视频中执行实时车辆检测、跟踪和计数。神经网络通过YOLOv3对象检测方法捕获外观特征，在单帧级别检测单个车辆，该方法部署在边缘设备上，以最小化带宽和功耗。[61]中讨论了一种在恶劣天气条件下实现各种交通环境中准确度和检测速度之间最佳权衡的车辆检测和跟踪方法。此外，还引入了一个名为DAWN的新数据集，用于在大雾、雨、雪和沙尘暴等恶劣天气条件下进行车辆检测和跟踪，以减少训练偏差。
2）交通拥堵检测
模型和算法：基于计算机视觉的交通拥堵检测方法也可分为单阶段方法和多步骤方法。单阶段方法从视频图像中识别车辆并直接执行交通拥堵检测。
当前克服挑战的方法：使用基于多个传感器的解决方案（包括雷达、激光和传感器融合）可以提高拥塞检测性能，因为在现实场景中使用单个传感器很难实现理想的性能和精度。决策算法广泛用于处理从多个传感器获取的融合数据[93]。利用恶劣天气条件数据集训练的基于CNN的模型可以提高检测性能[94]，同时也应用了基于生成对抗网络（GAN）的风格转移方法[95]。这些方法有助于最大限度地减少与可推广性相关的模型挑战，从而提高真实世界的性能。
3）自动驾驶感知：检测
模型和算法：辅助AD的常见检测任务分为交通标志检测、交通信号检测、道路/车道检测、行人检测和车辆检测。
当前克服挑战的方法：在交通标志检测中，现有的交通标志数据集在挑战条件的类型和严重程度方面受到限制。与这些条件相对应的元数据是不可用的，由于许多条件同时发生变化，因此无法调查单个因素的影响。为了克服这一问题，[126]引入了CURE TSDReal数据集，该数据集基于与真实世界环境相对应的模拟条件。[127]中提出了一种端到端交通标志检测框架特征聚合多路径网络（FAMN）。它由两个主要结构组成，即特征聚合和多路径网络结构，以解决交通标志检测中的小对象检测和细粒度分类问题。[128]中提出了一种用于夜间车辆检测的车辆亮点信息辅助神经网络，其中包括两项创新：基于车辆亮点建立车辆标签层次结构和设计多层融合车辆亮点信息网络。[129]中给出了夜间情况下的实时车辆检测，其中图像包括占据大图像区域的闪光，并且车辆的实际形状没有很好地定义。通过使用全局图像描述符和中央凹分类器网格，可以准确有效地估计车辆位置。AugGAN[95]是用于车辆检测领域自适应的非配对图像到图像转换网络。由于更好的图像对象保存，它在数量上超过了竞争方法，以实现更高的夜间车辆检测精度。[130]中提出了一种逐步域自适应（SDA）检测方法，以通过最小化跨域目标检测任务中的差异来进一步提高CycleGAN的性能。在第一步中，训练一个未配对的图像到图像翻译器，通过将源图像翻译成目标域中的相似图像来构造假目标域。在第二步中，为了进一步最小化跨域的差异，设计了一个自适应的CenterNet，以对抗性学习的方式在特征级别对齐分布。
4）自动驾驶感知：分割
模型和算法：图像分割包含三个子任务：语义分割、实例分割和全景分割。语义分割是一项精细的预测任务，用相应的对象类标记图像的每个像素，实例分割旨在识别和分割属于每个对象实例的像素，而全景分割统一了语义分割和实例分割，从而为所有像素提供了类标签和实例ID。
当前克服挑战的方法：最近的分割方向包括弱监督语义分割[139]、[140]、领域自适应[141]、[142]、多模态数据融合[143]、[144]和实时语义分割[145]、[146]、[147]。TS Yolo[148]是一个基于CNN的模型，用于在恶劣天气条件下使用数据增强的新样本进行准确的交通检测。使用复制粘贴策略进行数据扩充，并从现有交通标志实例构建了大量新样本。基于YoloV5，MixConv还用于在单个卷积运算中混合不同的内核大小，从而可以捕获具有不同分辨率的模式。从大的输入图像中检测和分类现实生活中的小交通标志是困难的，因为它们相对于较大的目标占用较少的像素。为了解决这一问题，Dense RefineDet[149]应用了单镜头目标检测框架，以保持适当的精度-速度权衡。[127]中提出了一种端到端交通标志检测框架特征聚合多径网络，以解决交通标志检测中的小对象检测和细粒度分类问题。
5）合作感知
模型和算法：在互联自主车辆（CAV）中，根据数据类型，可以在三个级别上执行协作感知：早期融合（原始数据）、中间融合（预处理数据）和后期融合（处理数据），其中提取和传输中间神经特征，其中共享检测输出（3D边界盒位置、置信分数），合作感知研究如何利用相邻连接车辆和基础设施的视觉线索来提高整体感知性能[150]！
1） 早期融合：[151]使用原始数据级LiDAR 3D点云融合从连接车辆的不同位置和角度收集的传感器数据，并提出了一种基于点云的3D目标检测方法，以处理对齐点云的多样性。DiscoNet利用知识蒸馏，通过将相应的特征约束到网络中用于早期融合的特征来增强训练。
2） 中间融合：F-Cooper为边缘应用提供了一个新的框架，为自动驾驶车辆提供服务，也为3D融合检测提供了新的策略。[154]提出了一种用于感知和预测的车对车（V2V）方法，该方法传输P&P神经网络的压缩中间表示。[155]提出了一种注意力中间融合pipelines，以更好地捕获网络内连接的代理之间的交互，[150]中提出了一种使用新型vit的具有车辆对一切（V2X）通信的鲁棒协作感知框架。
3） 后期融合：基于Car2X的感知被建模为虚拟传感器，以便将其集成到高级传感器数据融合架构中。
当前克服挑战的方法：
为了减少通信负载和开销，提出了一种用于集体感知中消息生成规则的改进算法[157]，该算法通过重组集体感知消息的传输和内容来提高V2X通信的可靠性。[158]提出并评估了一个统一的合作感知框架，该框架包含分散的数据关联和融合过程，该过程可根据参与方差进行扩展。通过采用现有模型以及单个车辆车载传感器视野的简化算法，评估考虑了自组织V2V网络中的通信损失和交通中的随机车辆运动的影响。AICP在[159]中提出，这是第一个解决方案，其重点是通过在网络和应用层进行有效过滤来优化普适合作感知系统的信息性。为了促进系统联网，他们还使用了一个网络协议栈，该协议栈包括专用数据结构和专门用于信息密集型应用的轻量级路由协议！
6）道路使用者行为预测
模型和算法：来自视频的轨迹预测对于自动驾驶、交通预测和拥堵管理非常有用。该领域中较老的工作集中于同质代理，例如高速公路上的汽车或人群中的行人，而异构代理仅在稀疏场景中考虑，具有某些假设，如基于车道的驾驶。
当前克服挑战的方法：[172]中的切换线性动态系统（SLDS）描述了易受伤害道路使用者的动态，并使用从车载立体摄像机提取的特征中提取的上下文扩展了动态贝叶斯网络，重点关注静态和动态线索。该方法可以实时工作，提供道路用户轨迹的准确预测，它可以通过增加交通灯和人行横道等环境来改善。[173]中探讨了机载相机和激光雷达以及V2V通信的使用，以使用随机森林和LSTM架构预测轨迹。YOLO用于检测汽车并提供边界框，而LiDAR提供位置的细微变化，V2V通信传输转向角等原始值，以减少预测的不确定性和延迟。在[174]中，TRAF数据集用于静态或移动相机的鲁棒端到端实时轨迹预测。多车辆跟踪采用Mask R-CNN和互速障碍物算法。如[74]所示，最后3秒的跟踪用于预测接下来5秒的轨迹，具有端到端可训练的额外优势，不需要注释的轨迹数据。本文还提供了TrackNPred，这是一个基于python的库，包含不同轨迹预测方法的实现。它是许多轨迹预测方法的通用接口，可用于在真实世界密集和异构交通数据集上使用标准误差测量度量进行性能比较。大多数用于轨迹预测的DL方法都没有揭示潜在的奖励函数，相反，它们只依赖于以前看到的示例，这阻碍了可推广性并限制了其范围。在[175]中，反向强化学习被用于找到奖励函数，从而可以说该模型有一个具体的目标，允许其部署在任何环境中。[176]中执行基于变换器的运动预测，以在Agroverse数据集中实现最先进的多模态轨迹预测。该网络对道路几何形状和车辆之间的相互作用进行建模。[177]中，通过时空图上的图卷积网络预测复杂城市场景中的行人意图，该方法考虑了等待穿越的行人与车辆运动之间的关系。虽然在多个数据集上实现了80%的准确率，但它可以提前一秒预测跨越的意图。另一方面，将行人建模为机器人，结合SVM而不需要姿势信息，导致更长的预测，但缺乏对上下文信息的考虑[178]。
7）交通异常检测
模型和算法：交通监控摄像头可用于自动检测交通异常，如停车和排队。[68]已使用车辆拐角等低级别图像特征的检测来演示队列检测和队列长度估计，而无需在不同照明条件下进行对象跟踪或背景去除。基于光流的跟踪方法不仅可以提供队列长度，还可以提供速度、车辆数量、等待时间和车头时距。
当前克服挑战的方法：异常检测依赖于监控摄像头，通常可以提供道路远处的视野，但远处的车辆仅占用几个像素，这使得检测变得困难。因此，[182]除了多粒度的box级跟踪之外，还使用像素级跟踪。关键思想是基于帧差的掩模提取和基于高斯混合模型的车辆轨迹跟踪，以消除移动车辆，并结合基于帧变化的分割来消除停车区。异常融合使用具有回溯优化的box和像素级跟踪特征来细化预测。监控摄像机容易在风中抖动，因此在使用Faster R-CNN和级联R-CNN形式的两阶段车辆检测之前，进行了视频稳定预处理[183]。从监控视频中进行异常检测的有效实时方法将外观和运动学习分离为两部分[184]。首先，自动编码器学习外观特征，然后3D卷积层可以使用来自多个过去帧的潜在代码来预测未来帧的特征。预测特征和实际特征之间的显著差异表明异常，该模型可以部署在交通摄像头附近的边缘节点上，与像素方法相比，潜在特征似乎对照明和天气变化具有鲁棒性。为了摆脱对异常注释数据的依赖，[185]中的无监督单类方法应用时空卷积自动编码器来获取潜在特征，将它们堆叠在一起，序列到序列LSTM学习时间模式。该方法在多个真实世界监控录像数据集上表现良好，但并不比监督训练方法更好。其优点是，它可以在正常交通数据上无限期地训练，而没有任何标记的异常。
8）边缘计算
模型和算法：ITS中的计算机视觉需要高效的基础架构来实时分析数据。如果将所有获取的视频流发送到单个服务器，则所需的带宽和计算将无法提供可用的服务。例如，[193]中探讨了使用视频有用性度量进行实时自动故障检测的边缘计算架构。只有被认为有用的视频才被传输到服务器，而监控摄像机的故障或视线受阻会被自动报告。基于边缘云的计算可以实现DL模型，不仅用于计算机视觉任务，还用于资源分配和效率[194]。被动监控现在已经被文献中越来越多的配备传感器的车辆所取代，这些车辆可以协同执行感知和建图[56]。车辆上的车载计算资源通常不够强大，无法实时处理所有传感器数据，而定位和地图等应用程序可能需要大量计算。
当前克服挑战的方法：大规模DL的一个问题是产生的大量数据无法发送到云计算机进行训练。联合学习[199]已经成为解决这个问题的一种方法，特别是考虑到异构数据源、带宽和隐私问题。训练可以在边缘节点或边缘服务器上执行，结果被发送到云以在共享深度学习模型中聚合[56]。联合学习对单个边缘节点的故障也具有鲁棒性[191]，[200]中通过以增量和无监督学习的形式，仅将边缘节点的推断数据传输到云，解决了带宽、数据隐私和功率需求的问题。通常，在边缘处理数据以减少带宽具有匿名传输数据的令人愉快的副作用[201]，另一种降低带宽需求的方法是对交通流预测所需的时空特征进行频谱聚类压缩[192]。深度学习模型不能直接导出到移动边缘节点，因为它们通常过于计算密集。[202]中引入了存储和计算方面的神经网络修剪，而[203]中讨论了在硬件上实现生成的稀疏网络，实现了效率的多个数量级提高。[204]中为移动边缘单元开发了一个通用的轻量级CNN模型，该模型与AlexNet和VGG-16相匹配或优于它们，但只占尺寸和计算成本的一小部分。[86]部署了使用深度学习的基于边缘计算的交通流检测，YOLOv3与DeepSORT一起进行了训练和修剪，以部署在边缘设备上实现实时性能。[205]中对在低功耗边缘计算机上部署用于物联网应用的紧凑型DNN进行了全面审查。他们注意到，DNN应用的多样性和数量需要一种超越传统修剪技术的自动模型压缩方法。
未来方向
1）数据挑战问题解决
虽然大量数据对于训练深度学习模型至关重要，但质量往往是训练性能的限制因素。数据管理是一个必要的过程，以包括边缘案例，并根据来自真实世界的代表性数据训练模型。标记视觉数据，特别是在复杂的城市环境中，是一项由人类完成的劳动密集型任务。可以通过首先使用现有的基于相关任务的对象检测或分割算法来自动标记数据来加快速度。然后可以进一步检查这一点，以消除机器的错误，从而创建一个有用的标记数据集。还需要包括来自不同视图的多个传感器的数据集来训练协作感知算法。由于硬件要求和同步问题，收集此类数据必然具有挑战性，但可以使用与将部署的配置类似的连接车辆和仪表交叉口。像[207]这样的数据驱动模拟器使用高保真数据集来模拟相机和激光雷达，这可以用来训练具有在现实世界中难以捕获的数据的DL模型[208]。这种方法在自动驾驶车辆控制的端到端强化学习中显示了希望[209]。预计领域适应技术将进一步扩展，以利用合成数据和方便收集的数据。
转移学习的子领域，特别是few-shot学习和zero-shot学习，将广泛应用专家知识，以解决缺乏数据的挑战，如ITS和AD中的角案例识别。同样，新的无监督学习和半监督学习模型有望在现实世界计算机视觉的一般领域中应用。未来在视觉transformer可解释性方面的工作将允许基于多个样本的聚合度量获得更全面的见解[41]。可解释性研究也有望评估基于模型和无模型强化学习方法之间的差异[42]。数据分散是ITS中公认的趋势，为了解决数据隐私、大规模数据处理和效率等问题，基于视觉任务的众感知[210]和联合学习[211]是ITS和AD中不可避免的未来方向。此外，与为单个任务训练单个模型的传统方式不同，使用通用基础模型（例如Florence[212]）学习多个下游任务是处理各种数据挑战的一种有前途的趋势。另一种机制是ITS中的数据处理并行性，与边缘计算相结合，用于多任务（例如，交通监控和道路监控）学习[213]。
2）模型挑战问题解决
深度学习模型经过训练，直到达到良好的准确性，但真实世界的测试往往揭示出边缘情况和复杂环境条件下的弱点。需要在线学习，以使此类模型继续改进并适应现实场景，否则无法实际使用。如果由于缺乏对预测正确性的实时反馈而无法进行在线训练，则必须使用人工存储和标记的真实数据定期分析性能。这可以作为一种迭代反馈循环，其中模型不需要显著改变，只需要根据其发现的最具挑战性的输入进行增量重新训练。部分自动化这一点的一种可能方式是使用相同的输入数据进行多个不同的冗余体系结构的预测以及置信度得分。如果输出不一致，或者如果某个输出的置信度分数较低，则可以手动标记该数据点并将其添加到下一次训练迭代的训练集中。
部署到边缘设备的复杂深度学习模型需要通过诸如修剪之类的方法来提高效率。简单的修剪方法可以将CNN性能提高30%以上，根据具体的架构，模型还可以被划分为部署在独立边缘单元上的不同功能块，以最小化带宽和计算时间[215]。边缘人工智能的一个可预见的未来阶段是“边缘的模型训练和推理”，没有云数据中心的参与！
近年来，人们对可解释的人工智能进行了大量研究，尤其是在计算机视觉方面。已经使用三种可解释的方法来处理神经网络：基于梯度的显著性图、类激活映射和激发反向传播[216]。[217]中将这些方法扩展到图卷积网络，指出输入中与分类相对应的模式。[218]中给出了自我注意和共同注意transfomer网络的可解释性通用解决方案。虽然将这些方法应用于交通应用并不简单，但已经做出了一些努力来理解深度时空神经网络，该网络处理视频目标分割和动作识别，量化网络中的静态和动态信息，并深入了解模型，突出从数据集学习到的偏差[219]。为了减轻遮挡、噪声和传感器故障的影响，合作传感模型开发是未来更好地感知3D的必要方向。V2X网络和视觉transformer已用于鲁棒协作感知，可支持连接的自动驾驶车辆平台中的感知[155]。联网的自动驾驶汽车还将托管其他深度学习模型，这些模型可以以分布式方式从新数据中学习。共识驱动的分布式感知有望利用6G V2X等未来网络技术，从而实现低延迟模型训练，从而实现真正的L5级自动驾驶汽车。
3）用于解决复杂的交通环境挑战
多模态感知和合作感知是未来实用研究的必要途径。视频、激光雷达和音频等不同的模式可以组合使用，以提高纯粹基于视觉的方法的性能。音频尤其适用于早期检测行人中的异常情况，如打架或骚乱，以及拥挤十字路口的车辆，因为视觉混乱可能不会立即显示机械故障或轻微事故等问题。协作感知将允许来自不同车辆的同一环境的多个传感器视图构建包含比任何单个代理都能感知到的信息更多的公共图片，从而解决遮挡和照明问题。使用迁移学习来提高现实任务中的模型性能的趋势越来越大。最初，基于合成数据对模型进行训练，并使用任务特定数据进行微调，从而降低了复杂的一次性深度学习模型的可靠性，并通过对具有挑战性的城市场景进行再训练来提高真实世界的性能。如前所述，领域适应、zero-shot学习、few-shot学习和基础模型是预期的转移学习领域，可用于此目的。在嵌入式硬件上部署后，通过在拥挤且具有挑战性的场景中进行在线学习，可以进一步改善[185]中所述的无监督方法的结果，因为存在无限量的未标记数据。在[221]中，作为异常检测的深度学习方法的一个重要方面，讨论了在复杂环境中缺乏关于误报率上限的理论性能分析，建议未来的研究也包括这一分析。很难想象完全依赖监控摄像头来进行强大、广泛和经济的交通异常检测。[222]中的方法包括交通、网络、人口统计、土地利用和天气数据源，以检测交通。这种想法可以与计算机视觉应用结合使用，以获得更好的整体性能。
ITS中边缘计算应用的未来方向将考虑多源数据融合和在线学习。许多因素，如看不见的车辆形状、新的周围环境、可变的交通密度和罕见的事件，对DL模型来说都太具有挑战性，该新数据可用于系统的在线训练。传统应用程序可以使用边缘计算和IoV/IoT框架进行扩展，从视频中重新识别车辆正在成为遮挡的最稳健解决方案。然而，包含更多用于学习的时空信息会导致更大的内存和计算使用。使用已知特征，可以在不同时间点将一个相机视图中的轨迹与其它视图进行匹配。代替使用固定窗口，基于相似性和质量的自适应特征聚合可以推广到许多多目标跟踪任务[225]。transformer在学习异构体之间的动态交互方面特别有用，这在拥挤的城市环境中对于检测和轨迹预测特别有用。它们还可用于检测异常和预测潜在危险情况，如多用户异构场景中的碰撞！
参考
[1] Deep Learning based Computer Vision Methods for Complex Traffic Environments Perception: A Review
原文首发微信公众号【自动驾驶之心】：一个专注自动驾驶与AI的社区（https://mp.weixin.qq.com/s/NK-0tfm_5KxmOfFHpK5mBA）
