深度神经网络（DNN）被用于自动驾驶的感知系统，它需要大量的数据来进行训练，因为它们必须在各种情况下可靠地实现高性能。然而，这些DNN通常被限制在其训练数据中可用的一组封闭的语义类中，因此在面对以前看不到的实例时是不可靠的。因此，创建了多个感知数据集来评估异常检测方法，并将其可分为3组：现实世界中的真实异常、增强到现实世界中的合成异常和完全合成的场景。
本调查提供了一个结构化的、完整的概述和比较感知数据集的异常在自动驾驶异常检测。每一章都提供了有关任务和GT、上下文信息和许可的信息。此外，还讨论了现有数据集的弱点和差距，以强调开发进一步数据的重要性。
1、简介
当考虑到在交通中安全行驶的自动驾驶车辆时，有必要正确地感知环境，以提供安全的驾驶。为了确保这一点，DNN必须接受广泛的训练和数据测试。在这种情况下，已经创建了许多数据集，用于道路交通，其中大多数包括白天和阳光明媚的天气和无害的日常场景。
由于每年都有大量发布的新数据集，包括异常、异常分布（OOD）实例、新奇事物、异常值和Cornor-Case案例是很重要的，这些案例主要描述未知或不寻常的，以改进安全关键驾驶情况的检测和最终处理。为了处理这种情况，异常检测领域是一个高度活跃的研究领域。然而，如果仔细观察，大多数公共数据集遵循一个封闭的世界假设，并没有提供检测异常的空间。
在这项工作中提供了自动驾驶领域中带有标记异常的完整感知数据集集合。如Breitenstein等人所述，这些数据集显示出对物体和场景级异常的强烈关注。
可视化异常的数量和分布，并为未来工作提供见解和研究差距。已经包括了截至2023年2月1日的公共和可用数据集，这些数据集从自我角度提供了传感器数据，因为潜在利用数据集的许可证允许包括像素或点异常标签，至少以小验证集的形式。
我们排除了这些数据集，包括SiMOOD，因为它们只提供了一个框架，但没有原始数据；TOR4D、Rare4D和FS Web，因为它们不是公开的；MUAD、DANGER vKITTI、DANGER-vKITTI2和FDP集合，因为它们尚未发布；因为没有提供异常标记。我们还排除了关注不利条件的作品，如WildDash、ACDC或Rain Augmentation，因为它们对整个场景进行了分类。
除了感知数据集之外，还有包括异常的轨迹数据集或框架，如R-U-MAAD、KING或coung。虽然这些异常是最具挑战性的，但这些方法不能提供感官感知数据，而只能在模拟中执行，而模拟不能提供明确的视觉环境表征。
1.研究差距
虽然每年在自动驾驶领域发布了大量的新数据集，但关注一般数据集分析的工作却很少，而关注异常检测领域的工作则更少。虽然最近有一个关于异常检测方法的概述，但缺乏与包含异常的数据集相关的结构化知识，尽管这类异常或角落情况目前是缩放自动驾驶汽车的核心限制因素。
2.贡献
本文工作旨在帮助异常检测领域的研究人员获得包括异常在内的所有相关数据集的概述。作者提供了明确的选择标准，并为更广泛的范围指出特别排除的数据集。在第二节中提供了16个数据集的详细的结构化信息和可视化。本文的调查是唯一一种提供了目前可用的感知数据集的异常检测。在第三节中就相似性、问题和研究差距进行了广泛的讨论。所有用来重新创建可视化的代码都可以在GitHub上找到。
2、数据集
在自动驾驶中，发现非典型的和危险的情况对所有道路使用者的安全至关重要。为了提高当今模型处理这种关键情况的能力，需要数据集来进行有针对性的训练，更重要的是，对这种关键情况进行测试。因此，近年来出现了各种数据集，将在本节中描述这些数据集。如表一所示根据其基准测试对数据集进行聚类，并根据其异常源对其进行分类：
1.Automated OOD Proposal
这种方法允许使用大型的、未标记的数据集。这里，使用一种自动建议方法来生成第一个异常建议。这可以用任何异常检测方法来实现，例如，不确定性、中间检测、几何先验，或模型矛盾。随后，人类专家负责处理假阳性结果，并改进了这些建议。
2.Misc Classes
基于一个被标记的数据集，所有被标记为空白或混杂的区域都可以被进一步检查。这些术语经常互换使用，大多指不常见的物体或不相关的区域。然后，如果合适的话，人类专家会将这些类别重新标记为异常现象。
3.Class Exclusion.
这种方法是基于一个带有标记的数据集。通过从序列和验证分割中排除具有已知类的帧来创建假设的异常。使用这些方法创建了一个新的测试分割，将选定的类视为异常。
4.Web Sourcing
在这种方法中，人类专家会积极地搜索包含非典型类别的图像。作为已知类的参考列表，通常使用Cityscapes。
5.Recording and Simulation
在这里，通过驾驶真实世界的或合成世界的的数据收集来记录异常情况。通常，异常现象也不包括在Cityscapes类中。
6.Data Augmentation
对于这种技术，任何未标记的数据集都可以用作基线。通过对场景的合成操作，将异常粘贴到原始图像上，并可以进行相应的标记。如前所述，异常现象通常不包括在城市景观类中。
除了区分不同的异常方法外，我们还区分了数据集是提供具有异常的单个帧，还是提供具有时间上下文的场景。在图9中显示了所有数据集的累积异常掩码。这些给出了包含的异常的数量和在图像的区域可以找到它们。在下面的章节中将介绍每个数据集，并提供关于异常情况、可能的任务、一般上下文和许可协议的详细信息。此外，还展示了每个数据集的示例，其中异常实例和空白实例分别用橙色和黑色覆盖，并分别用绿色和红色概述。
2.1 Lost and Found数据集
Lost and Found 数据集是由Pinggera等人于2016年引入的，是第一个专注于小型道路危害检测的数据集，如图1所示。
1. 任务和基本情况：
为语义分割任务提供的立体掩模允许进行像素级和实例级的评估。他们的实例级方法是基于三维旋转轴表示，这是非常特定于方法的。由于该数据集提供了来自立体照相机的数据，因此可以应用几何方法。这些异常现象包括42种可以在街道环境中实际发现的独立物体类型。这些物体被分为标准物体、随机危险、动物或玩具、随机非危险和人类，包括静态和动态障碍。
2. 内容：
数据收集于德国大斯图加特地区。它包括不规则的路面、较大的物体距离和照明变化。典型环境包括住宅区、停车场或工业区。
3. 许可：
该数据集是“免费提供给学术和非学术实体的非商业目的”的。
2.2 Fishyscapes数据集
Blum等人于2019年引入了Fishyscapes（FS）基准，用于评估语义分割中的异常检测方法。虽然大多数数据被保留用于评估，但作者为不同的数据集FS Lost and Found和FS Static提供了验证集。第三个FS Web数据集被完全保留。第一个数据集是失物招领数据集的子集。其他的基于Cityscapes验证数据，上面覆盖了从通用Pascal VOC数据集中提取或从互联网上抓取的异常对象。FS静态验证帧是从Cityscapes数据集自动生成的。
1. 任务和基本情况：
FS数据集是为语义分割任务而设计的。FS Lost and Found使用细粒度二进制语义掩码进行了丰富。通过将图2与图1进行比较，显示了背景的精确注释。此外，异常目标是自行车或儿童的序列被过滤掉，因为它们可以被分配到Cityscapes类中的一个。
对于FSStatic和FSWeb，新的目标被混合到Cityscapes中已经注释过的场景中，从而产生了完全注释的语义掩码。从Pascal VOC数据集提取的异常属于飞机、鸟、船、瓶子、猫、椅子、牛、狗、马、羊、沙发和tvmonitor类。
2. 内容：
由于所有的图像都来自城市景观或失物招领数据集，它们是在白天晴朗的天气条件下记录的。对于增强的Cityscapes数据，这还需要街景包括来自已知类别的实例，如人类或其他车辆。根据异常类型的不同，异常出现在或上半部分的概率更高。
3. 许可：
FS根据Apache2.0授权许可。
2.3 CAOS数据集
Hendrycks等人于2019年首次引入了Combined Anomalous Object Segmentation（CAOS）基准，包括数据集StreetHazards和BDD异常。
StreetHazards基于CARLA模拟环境。训练集包括来自CARLA的三个城镇。另一个城镇为验证集保留，另外两个城镇为测试集专用。另一方面，BDD异常基于广泛的BDD100K数据集，其中从训练集和验证集中删除了几个类的所有实例，因此在新的测试集中被视为异常。
1. 任务和基本情况：
这两个数据集都是为语义分割任务而设计的，并且被对齐以以相同的分辨率提供RGB图像数据和语义基础真相。StreetHazards数据集提供了多种场景。总共插入了250个不同的异常，这些异常来自数字化模型库和语义ShapeNet。语义掩码用一个额外的异常类完全注释。对于BDD异常，三类摩托车、火车和自行车被视为异常。原始训练和验证集（包括这些类）中的所有帧都被移动到新的测试集，在那里它们变成了异常。图3提供了一个示例。由于BDD100K数据集提供了完全注释的语义掩码，因此它们也可用于BDD异常，这使得异常类可区分。由于StreetHazards和BDD异常的验证集不包括异常，但仅为语义分割的常规任务提供，因此我们将其从表I中排除。
2. 内容：
对于StreetHazards，CARLA城镇略有不同，但遵循相同的主题。包括不同的天气和白天设置。虽然数据集提供了场景，但自我运动似乎是手动执行的，因为它相当不一致。大多数异常情况都不位于与驾驶任务相关的区域。由于BDD通常基于BDD100K，它包括不同的景色、天气条件和一天中的时间。
3. 许可：
CAOS是在MIT许可下提供的。对于BDD100K，“为教育、研究和非营利目的使用、复制、修改和分发本软件及其文档的许可”。
