2.4 WD-Pascal数据集
WD-Pascal是2019年发布的一个小数据集，其中WildDash（WD）数据集与来自PASCAL VOC 2007数据集的动物进行了扩充。
1. 任务和基本情况：
数据集是为语义分割任务生成的，但数据没有明确提供。作为作者代码的一部分，它是动态组装的，并作为PyTorch数据集提供。
2. 内容：
虽然数据集很小，但由于WildDash数据集，多样性仍然相对较高，如图4所示。包括的动物并不总是完整的，大小也不尽相同，这往往会导致不切实际的扩增。
3. 许可：
WD Pascal生成代码是根据GPL-2.0许可证提供的。必要的WildDash数据集附带了一份广泛的许可协议，其中仅根据CC BY-NC 4.0许可证发布强度图像。对于PASCAL VOC数据集，未提及许可协议。然而，Flickr提供了一些图片，它们介绍了自己的使用条款。
2.5 Vistas-NP数据集
2020年引入的Vistas NP是基于Mapillary Vistas数据集的大规模异常数据集。与BDD异常相似，他们从训练和验证分割中排除了类，创建了一个具有假设异常的新测试分割。Vistas NP拥有超过11000个标记帧，是迄今为止最大的异常数据集。
1. 任务和基本情况：
数据集是为语义分割任务而设计的，如图5所示。所选异常类别与BDD异常中的异常类别不同，以避免异常类别和非异常类别（例如，火车和公共汽车）的视觉相似性。因此，整个类别被排除在外，包括与人类相关的所有类别。
2. 内容：
底层Mapillary Vistas数据集具有多种多样性。与BDD异常相比，所有图像都来自美国，包括来自多个国家的图像。由于采用了众包方法，这反映在各种决议中。
3. 许可：
“Vistas NP数据集应在与原始数据集相同的条件下使用”，该数据集根据CC BY-NC-SA 4.0许可证提供。
2.6 SegmentMeIfYouCan数据集
SegmentMeIfYouCan基准由Chan等人于2021开发，引入了两个真实世界的数据集。Lis等人已于2019年发布了RoadAnomaly21数据集的先前版本。当前版本经过了改进和扩展。它由从互联网收集的图像组成，这些图像显示了道路上或附近的异常物体。RoadObstructure21数据集由作者记录，包括放置在前方道路上的异常物体。与FS Lost and Found（也包含在基准中）类似，这些数据集只包含真实的异常。
1. 任务和基本情况：
这两个数据集都是为语义分割任务而设计的，语义掩码包括二进制异常标签。道路异常21是为全街道场景中的一般异常检测而设计的，而在道路障碍21中，道路被认为是感兴趣的区域，即非异常类别。因此，该区域中未包含的所有内容都被分配给void类，如图6所示。道路异常21中的异常可分为动物，例如大象、奶牛、马、未知车辆，例如飞机、船拖车、拖拉机，以及帐篷、钢琴或圆锥体等。在RoadObstructure21中，前方道路上的每个物体都被视为障碍物。然而，该数据集中的所有障碍也符合异常的定义，即不能分配给Cityscapes类的对象。在这两种情况下，语义掩码都只针对小型验证集发布。
2. 内容：
在RoadAnomaly21中，图像是从网络资源收集的，因此描绘了各种各样的环境和设置。所有图像都是在白天和晴朗天气下拍摄的。这些异常可以出现在图像中的任何地方，甚至是天空中。因此，它们不一定是街道危险。德国和瑞士在七种不同的道路类型上记录了RoadObstructure21的图像，白天和晴朗天气也是如此。此外，夜间和下雪天气条件下有55个带注释的帧。
3. 许可：
RoadObstacle21是在CC BY 4.0下提供的，RoadObstacle21是在不同的CC BY许可证下提供的。
2.7 CODA数据集
2022年发布的CODA数据集是第一批主要基于数据集的数据集，不仅包括相机数据，还包括激光雷达数据。它们被分为CODA Base和CODA2022子集，这些子集又由不同的基础数据集组成，即KITTI、nuScenes、ONCE和SODA10M。[37]中描述了CODA Base，而CODA2022是后来添加的。
1. 任务和基本情况：
如图7所示，CODA数据集设计用于仅在图像空间中使用地面真相异常边界框进行物体检测。公共对象仅在CODA2022数据集中标记。对于异常的标记，使用了不同的技术。对于CODA-ONCE，来自激光雷达空间的未知集群被映射到图像空间，而那些无法被物体探测器分类的集群仍然作为异常建议。在第二阶段，应用手动过程来标记图像。这包括提案改进、误报删除和手动添加。此外，使用了CLIP预标记。
我们考虑了两种类型的异常现象：可能会阻碍自车辆的危险物体，或不属于典型类别的新奇物体。对于CODA-KITTI和CODA-nuScenes，仅应用了第二阶段，即使用现有标签中的不常见类别作为提案，例如KITTI中的杂项类别。异常分为车辆、行人、骑车人、动物、交通设施、障碍物和其他类别。
对于CODA2022，采用了基于FILIP的预标记过程，然后是手动过程，因为SODA10M是没有激光雷达数据的未标记数据集。数据集通常更大，包含更多异常类别。图7和图9中的比较清楚地显示了CODA-ONCE和CODA2022-ONCE数据集的差异。
2. 内容：
由于CODA数据集基于四个不同的数据集，其多样性相当高，包括多个国家、天气条件和一天中的时间。对于大多数数据集，大多数异常都出现在道路的一侧，与自我路径几乎没有关系。只有在CODA2022-SODA10M中，出现了不同的图像，在图像的中心可以发现更多的异常。这是由于数据集的众包方法。
3. 许可：
由于ONCE、SODA10M和CODA都与华为有关，它们的图像都包含在数据集中，而KITTI和NuScene需要单独下载。CODA数据集在CC BY-NC-SA 4.0许可证下提供。KITTI在CC BY-NC-SA 3.0许可证下可用，nuScenes在CC BY-NC-SA 4.0许可证下使用。
2.8 Wuppertal OOD Tracking数据集
Maag等人于2022年引入了这些数据集，实现了视频序列的OOD检测和跟踪。街道障碍物序列（SOS）数据集包含带有真实异常的注释真实场景。CARLA WildLife（CWL）数据集是一个类似于StreetHazards的合成数据集，其中免费可用的资产作为异常插入。第三个数据集，伍珀塔尔障碍序列（WOS），由真实世界但未标记的序列组成。
1. 任务和基本情况：
SOS和CWL为语义分割、实例分割和深度估计任务提供了标签。数据集包括带有二进制和类特定异常标签的语义掩码。与RoadObstructure21类似，道路代表感兴趣的区域，因此，除了道路之外的所有内容都被分配给空类。此外，这两个数据集都包含实例和深度掩码。对于SOS，8994帧中的1129帧被手动标记。对于CWL，也可以使用像素距离掩码和完全注释的语义掩码。SOS中的异常属于13种异常类型，例如袋子、雨伞或玩具，CWL中的异常包括18种异常类型（例如狗、塔或袋子）。
2. 内容：
所有的图像，真实的和合成的，都是在晴朗天气的白天记录的。SOS和CWL中的静态对象的放置方式使其大部分被道路包围，如图8所示。与街道危险相反，CWL中的异常情况都位于前方道路上，这可能导致安全关键的街道场景。此外，由于更新版本的虚幻引擎，它们更真实，质量更高。除了自我车辆和异常，场景中没有其他车辆或人类。
3. 许可：
所有数据集均在CC BY 4.0许可证下提供。CARLA WildLife是使用虚幻引擎和CARLA创建的，根据MIT许可证提供。虚幻引擎4.26中作为异常插入的资产是根据CC BY许可证提供的。
3、讨论
对自动驾驶异常检测领域的16个感知数据集进行了全面概述。我们提出了许多定义和生成异常的技术，这些技术带来了一定的挑战。在下文中对这些进行了广泛的讨论。
1.规范性定义
对于物体是否异常，目前还没有明确的定义。然而，一种常见的方法是将异常定义为19个Cityscapes评估类中的任何已知类。大多数异常技术都遵循“城市景观作为常态”的定义：对于网络资源、模拟、数据扩充和记录，选择异常对象以符合此定义。对于void类方法，异常对象的定义取决于各自的基础数据集，因为void或misc类别也没有明确定义。
此外，对于自动OOD提议技术，正态性的定义强烈依赖于所使用检测器的基本类别。最后，对于类别排除，正常性取决于排除类别的选择。这种方法标记的异常通常与城市景观无关，因此不代表现实世界中罕见的异常。
2.现实主义
特别是对于模拟或数据增强产生的异常，真实性水平可能会发生很大变化，如图9所示。例如，WD Pascal和StreetHazards中的异常通常被放置在难以置信的位置或以不现实的方式缩放。
2.传感器数据
具有异常的感知数据集主要提供相机数据。CODA Base数据集是唯一的例外，也包括激光雷达点云；然而，在3D空间中没有提供异常标签。众包方法很难将检测方法转移到自动驾驶汽车的感知系统中，因为视点差异很大。最后，摄像机数据中的异常表示对于自动驾驶系统是不可操作的，然而，这是一个一般的计算机视觉问题。
3.常规任务
数据集通常只为异常提供标签。在这种情况下，只有异常检测的任务是可能的。然而，能够在检测或分割已知类时仍然表现良好的同时检测异常通常是令人感兴趣的。
4.「Domain Shift」
记录真实世界中的异常情况非常耗时，因为它们很少出现在普通街道场景中，因此必须手动选择和放置。此外，无法捕获可能导致危险驾驶情况的异常情况。因此，出现了数据增强和模拟等异常技术来解决这些问题。仿真具有完全控制的优点。
因此，训练数据中肯定不会出现异常。然而，存在与现实的自然领域差距，因此在合成数据上表现良好的异常检测方法在真实世界数据上并不隐式可靠。数据扩充也是如此，它混合了两个领域，导致了不现实的结果。
为了确保方法真正检测粘贴到图像中的异常对象，Fishyscapes采用了两种策略：增强Cityscapes图像和粘贴已知类中的对象。第一种策略防止方法仅检测与非增强图像不同的像素，第二种策略指示是否仅识别域偏移。
5.大小
包括真实世界场景的数据集通常非常小，这些场景显示了Cityscapes的异常，即从网络资源中记录或收集的数据集。作为这些数据集中最大的一个，丢失和发现数据集只提供粗略的注释，其次是街道障碍物序列数据集，但由于从20个视频序列中提取帧，因此该数据集是高度冗余的。
这些数据集主要用于评估目的，而不是用于训练。它们还提供各种不同的异常类型，这有利于评估异常检测，但阻碍了这些异常的进一步处理，例如，在图像检索、聚类和增量学习方面。虽然Vistas NP和CODA是相当大的数据集，但它们仍然无法与具有数十万帧的常规感知数据集相比。
6.相似性
将更大的数据集作为类似数据集的组合生成需要这些数据集具有适当的异常技术、正常性定义和标记策略。这些数据集包括用于语义分割的FS Lost and Found、Road Anomaly21、Road Obstructure21和SOS。特别是，由于不同的标记策略，不可能以有意义的方式组合其他数据集。
通过对异常检测领域数据集的概述和所提到的挑战，希望在未来为更大、更多样或更专业的数据集做出贡献。
4、参考
[1]. Perception Datasets for Anomaly Detection in Autonomous Driving: A Survey.
