原文首发微信公众号【自动驾驶之心】：一个专注自动驾驶与AI的社区（https://mp.weixin.qq.com/s/NK-0tfm_5KxmOfFHpK5mBA）
标题：Unifying Panoptic Segmentation for Autonomous Driving
统一主流全景分割数据集！
后台回复【WD2】下载论文！
1摘要
本文提出了三点改进自动驾驶场景下全景分割的方法。首先，本文提出的标签策略统一了四个目前主流的自动驾驶全景分割数据集，并添加了新的车辆标签（皮卡车和货车）来清理混乱的标签。为了将新标签添加至现有设置中，本文提供了Mapillary Vistas、IDD、Cityscapes数据集的完整新标签信息。
其次，本文介绍了新的自动驾驶场景全景分割数据集——Wilddash2 (WD2)，该数据集包含来自世界各地的 5000 多个独特的驾驶场景，重点关注具有视觉挑战性的场景，例如不同的天气条件、照明情况和相机特性。本文探索了视觉危险分类器在数据集创建过程中预先过滤具有挑战性帧的作用。
最后，为了表征算法在数据分布外的鲁棒性，本文引入了全景分割危险感知测试和负面测试，并增加了对这两个概念的信心的显著性统计计算。此外，本文提出了一种可视化全景分割错误的新技术。
本文的实验表明视觉危害对全景分割的负面影响，来自 WD2 数据集的额外数据提高了挑战性视觉场景的性能，从而提高了真实场景中的鲁棒性。
2数据集设计
本文结合以下四个最有价值的特征建立Wilddash2数据集。
帧选择
Wilddash2数据集的视频帧选择遵循与Wilddash[1]数据集相同的原则：来自世界各地的具有视觉挑战性的驾驶场景。一般的自动驾驶数据集来源主要由单个区域的场景组成，如Cityscapes、IDD等。而Wilddash2共包含来自全球150多个国家或地区的公共行车记录仪视频，下图显示了WD2数据来源的地理分布。
标签策略
Wilddash2合并了MVD、Cityscapes和IDD的标签，创建了统一的标注策略，主要包含以下三个统一操作：统一标签以合并各个数据集的重复标签、拆分标签以映射到其他数据集、扩展新标签以减少标签混淆。
重新贴标签
本文重新标注了MVD、Cityscapes和IDD数据集中的车辆实例，来和Wilddash2数据集的车辆类别对齐（皮卡车和货车），下表展示了车辆类别的分布和来源。
限制
Wilddash2数据集涵盖了诸多视觉危害，但存在以下几点限制：排除严重失真的视频帧、颗粒物危害类别中的视频帧较少、包含变化风险的视频帧较少。
3全景分割评估
Wilddash2使用COCO[2]全景格式提交结果，全景分割[3]统一了实例分割和语义分割，常用PQ指标进行评估：
4实验结果
全景分割
本文使用Seamless Scene Segmentation[4]搭建分割基线，结果如下表所示：
Visual Hazard Classifiers
本文使用[5]搭建视觉危害分类器，结果如下表所示：
5参考文献
[1] Oliver Zendel, Katrin Honauer, Markus Murschitz, Daniel Steininger, and Gustavo Fernandez Dominguez. Wilddashcreating hazard-aware benchmarks. In European Conference on Computer Vision (ECCV), pages 402–416, 2018. 3, 5
[2] COCO - common objects in context. https : / /cocodataset.org/#format-data. Accessed: 2021-11-01. 5
[3] Alexander Kirillov, Kaiming He, Ross Girshick, Carsten Rother, and Piotr Doll´ar. Panoptic segmentation. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 9404–9413, 2019. 1, 5
[4] Lorenzo Porzi, Samuel Rota Bul`o, Aleksander Colovic, and Peter Kontschieder. Seamless scene segmentation. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019-06. 7
[5] Jeremy Howard et al. Fastai. https://github.com/fastai/fastai, 2021. Accessed: 2021-10-01. 8
