3D点云建模和分割
设计用于处理3D道路点云的方法通常有两个阶段的流程[34,68] :
- 将观察到的3D道路点云插值成显式的几何模型(通常是平面或二次表面) ；
- 通过将其与插值几何模式进行比较来分割观察到的3D道路点云。
下表总结了3D点云建模和分割中最具代表性的算法。
以[34]为例，利用最小二乘拟合将二次曲面拟合到密集的3D道路点云中。通过比较实测和拟合的3D路面之间的差异(高程) ，可以有效地提取受损路面面积(坑洼)。不同的坑洼也使用连接组件标记(CCL)算法进行标记。类似地，[56]将观察到的3D道路点云插值到平面表面。通过在拟合表面下寻找3D点，可以粗略地检测出潜在的路面坑洼。K均值聚类和区域生长算法随后被用来改进路面坑洼检测结果。
然而，最小二乘拟合会受到异常值的严重影响，常常使得建模的路面不准确[3]。因此，[55]采用双平方加权鲁棒的最小二乘近似的道路点云建模。利用随机样本一致性(RANSAC)算法提高二次曲面拟合的鲁棒性。[35]和[3]将表面法线信息引入到二次曲面拟合过程中，大大提高了FreeSpace和路面坑洼检测的性能。
除了上述基于摄像机的方法之外，[71]还采用了高速3D横向扫描技术来进行路面推挤(路面上突然出现的波浪)和路面坑洼的检测。对激光条纹数据进行亚像素线提取(包括点云滤波、边缘检测和样条插值)。然后由激光条纹曲线生成道路横向剖面，并用线段逼近。利用分段端点的二阶导数来识别可能出现的推挤和坑洼的特征点。最近，[72]引入了一个基于激光雷达的路面坑洼检测系统，通过比较它们与最适合的平面3D路面的距离，将3D路点分类为损坏和未损坏。遗憾的是，[72]缺乏算法细节和必要的定量实验道路损伤检测结果。
与其他方法相比，基于3D点云建模和分割的方法相对较少。然而，实际的道路总是不平坦的，使得这样的方法有时不可行。此外，如果目标仅仅是识别和定位路面坑洼而不是获取它们的几何细节，那么获取3D道路点云可能就没有必要了。结合2D图像处理算法，可以显著提高3D点云建模性能[3]。
机器/深度学习
随着机器/深度学习技术的发展，深度CNN (Deep CNN)已经成为路面坑洼检测的主流技术。DCNN 通常通过使用大量人工标注的道路数据进行反向传播来训练，而不是设置显式的参数来分割道路图像或点云以进行坑洼检测[73]。数据驱动的路面坑洼检测方法一般是基于三种技术开发的[26] : (1)图像分类网络，(2)目标检测网络，和(3)语义分割网络。图像分类网络被训练来分类正面(坑洼)和负面(非坑洼)道路图像，目标检测网络被训练来识别实例级的道路坑洼，语义分割网络被训练来分割道路(颜色或视差/深度)图像用于像素级(或语义级)道路坑洼检测。本节的其余部分将详细介绍这些算法的每种类型。
基于图像分类的方法
在深度学习技术爆发之前，研究人员通常使用经典的图像处理算法来生成手工制作的视觉特征，并训练一个支持向量机(SVM)模型来对道路图像片段进行分类。下表总结了最具代表性的基于 SVM 的方法[16,57,58,77,62,61,63]。由于这些算法已经过时，作者不会在这里向读者提供太多的细节。
随着计算资源的革命和训练数据样本量的增加，DCNN 在路面坑洼检测中得到了广泛的应用。与传统的基于支持向量机的方法相比，DCNN 能够学习更抽象(分层)的视觉特征，并且它们显著提高了路面坑洼检测性能[46]。上表总结了最典型的基于 DCNN 的方法[64,66,67,65]。[64]和[66]从头开始设计 DCNN。在[64]中提出的 DCNN 由四个卷积池层和一个完全连接(FC)层组成。对在东帝汶收集的道路数据进行的大量试验表明，这种 DCNN 在对坑洼和非坑洼图像进行分类方面是有效的。在[66]中引入的 DCNN 由一个预池化层、三个卷积池层、一个sigmoid层和两个 FC 层组成。预池化层的设计是为了减少与路面坑洼无关的特性。实验结果表明，提出的预池化层可以大大提高道路图像分类的性能，所设计的 DCNN 可以有效地检测不同光照条件下的路面坑洼。[67]和[65]开发了基于现有 DCNN 的道路图像分类网络。开发了一个基于流行的残差网络的 DCNN [78]。大量的实验表明，提出的模型可以有效地分类夜间和/或雾天收集的热道路图像，它也优于现有的技术[61,79,65]。在[65]中，四个开发良好的 DCNN: (1) Inception-v4[80] ，(2) ResNet-v2[80] ，(3) ResNet-v2[81]和(4) MobileNet-v1[82] ，被训练来分类道路图像。实验结果表明，这些模型在测试集上的表现类似。最近，[83]比较了30个 SoTA 图像分类 DCNN 在道路裂缝检测方面的应用，发现道路裂缝检测与其他应用领域的图像分类相比是一个相对容易的任务。与道路裂缝检测相比，路面坑洼检测是一项较为容易的任务。因此，作者认为基于图像分类网络的路面坑洼检测是一个很好解决的问题。
基于目标检测的方法
基于目标检测的道路坑洼检测方法可以分为三种类型: (1)基于单目多框的检测器(SSD)的，(2)基于区域的 CNN (R-CNN)系列的，和(3)YOLO系列的。下表总结了最具代表性的基于目标检测的方法。
SSD有两个组成部分[84] ，即主干网络和SSD头。前者是一个用于视觉特征提取的深度图像分类网络，后者是添加到主干网络的一个或多个卷积层，以便输出可以目标类的边界框。该领域的研究人员主要将不同的图像分类网络纳入道路坑洼检测的SSD中。例如，Inception-v2[85]和 MobileNet [82]被用作[86]中的主干网络，而 ResNet-34[78]和 RetinaNet [87]被用作[88]中的主干网络。与 SSD 相比，R-CNN 和 YOLO 系列更广泛地应用于路面坑洼的检测。在[95]中，R-CNN 被证明可以实现与 SSD 类似的路面坑洼检测性能。在[75]中，开发了四个路面坑洼检测网络: (1)更快的 R-CNN (以 Inception-v2[85]为主干网络) ，(2)更快的 R-CNN (以 ResNet-101为主干网络[78]) ，(3)更快的 R-CNN (以 Inception-ResNet-v2为主干网络[80])和(4) SSD (以 MobileNet-v2[96]为主干网络)。广泛的实验表明，更快的 R-CNN (以 ResNet-101为主干网络)取得了最佳的整体性能。实验结果如下图所示。
[90]比较了两个更快的 R-CNN (分别以 ResNet-101和 ResNet-152为主干网)在[86] w.r.t. 引入的数据集上用于道路损伤检测的性能。三个评估指标: F1-Score，精度的调和平均数和召回的调和平均数。实验结果表明，更快的 R-CNN (以 ResNet-152为主干网络)优于更快的 R-CNN (以 ResNet-101为主干网络)。这可能是因为更深层的主干可以学习更抽象的表示。[94]利用一个更快的 R-CNN 来检测在日本、印度和捷克共和国拍摄的公路图像中的裂缝和坑洼。首先训练一个分类器来推断道路图像是在哪个国家拍摄的。然后训练一个更快的 R-CNN,来针对每个国家(为了减少由于区域差异造成的影响)的道路裂缝和坑洼检测。
与 R-CNN 系列不同，YOLO 系列使用区域proposals来定位图像中的路面坑洼，YOLO 系列通常将道路图像分割成一个网格集合，并在每个网格中选择一个边界框集合。网络输出一个类概率和每个边界框的偏移值。利用类概率高于阈值的边界框定位图像中的路面坑洼。由于它们的准确性和高效性，YOLO 系列已经成为基于目标检测的道路坑洼检测的首选。例如，在[89]中，开发了两个目标检测 DCNN，分别称为 F2-Anchor 和 Den-F2-Anchor，用于检测路面坑洼。F2-Anchor 是 YOLOv2的一个变种，能够生成5个新的anchor box(使用 Kmeans算法获得)。实验结果表明，F2-Anchor 在检测不同大小和形状的道路坑洼方面优于原 YOLOv2。与 F2-Anchor相比，Den-F2-Anchor加密了网格，取得了比 YOLOv2和 F2-Anchor更好的路面坑洼检测性能。此外，[92]训练了三个 YOLO 架构: YOLOv3[101] ，YOLOv2[102]和 YOLOv3 Tiny [101] ，用于路面坑洼检测。YOLOv3-tiny实现了最好的整体路面坑洼检测准确度。同样，[91]比较了三种不同的 YOLOv3架构: YOLOv3[101] ，YOLOv3 Tiny [101]和 YOLOv3 SPP [101] ，用于路面坑洼检测。YOLOv3 SPP 展示了最高的路面坑洼探测准确度。最近，[93]设计了两个 YOLOv1网络的分层路面坑洼检测方法[103]。一个事先训练好的 YOLOv1模型被用来检测汽车(背景) ，而另一个 YOLOv1模型被用来检测前景中的道路坑洼。尽管如此，上述的目标检测方法只能在实例级识别路面坑洼，当需要像素级的路面坑洼检测结果时，它们是不可行的。
基于语义分割的方法
SoTA 语义分割网络分为两大类: (1)单模态和(2)数据融合。单模态网络通常使用编码器-解码器结构分割 RGB 图像[100]。数据融合网络通常从两种不同类型的视觉传感器数据中学习视觉特征(FuseNet 中使用彩色图像和深度图[104] ，SNE-RoadSeg 系列中使用彩色图像和表面法线图[105,106] ，并且在 AA-RTFNet 中使用彩色图像和转换的视差图像[11])并融合所学到的视觉特征以提供对环境的更好的语义理解。下表总结了最具代表性的现有语义分割技术。
[98]提出了一种基于全卷积网络(FCN)的路面坑洼检测方法。为了减轻提供监督式学习所需的像素级注释的困难，[98]利用了一种半监督学习技术来生成伪标签，并对预先训练好的FCN 自动微调。与监督式学习相比，半监督式学习可以大大提高整体的 F-score。此外，[100]将基于注意力的多尺度特征融合模块(MSFFM)整合到 DeepLabv3 + [107]中用于路面坑洼检测。同样，[99]提出了一个基于注意力的路面坑洼检测耦合框架。该框架利用基于注意力的功能融合模块来改善图像分割性能。本文的工作还证明了小样本学习在路面坑洼检测中的有效性。
作者在这个领域进行了广泛的研究。[11]介绍了一个注意力聚集框架，该框架利用了三种注意力模块的优势: (1)通道注意力模块(CAM) ，(2)位置注意力模块(PAM) ，(3)双注意力模块(DAM)。此外，[11]提出了一种有效的基于生成对抗网络(GAN)的训练集增强技术，通过生成假彩色道路图像和转换后的道路视差图像来增强语义分割网络的训练。实验结果表明: (1) AA-UNet (单模态网络)检测路面坑洼的性能优于其他 SoTA 单模态网络; (2) AA-RTFNet (数据融合网络)检测路面坑洼的性能优于其他 SoTA 数据融合网络; (3)训练集增强技术不仅提高了 SoTA 语义分割网络的准确性，而且在训练过程中加速了它们的收敛。最近，作者开发了一个基于图神经网络(GNN)的图注意层(GAL)来进一步优化单模态语义分割的图像特征表示[44]。如下图所示，GAL-DeepLabv3+是性能最好的实现，其性能优于所有其他用于路面坑洼检测的 SoTA 单模态语义分割 DCNN。
这里需要注意的是，道路坑洼的检测可以与其他驾驶场景的理解问题一起解决，特别是FreeSpace和道路异常检测[105,108,109,106,110]。不幸的是，SoTA 语义分割网络是强大的数据驱动算法，需要大量的数据。因此，基于无监督或自监督学习的路面坑洼检测是一个需要更多关注的研究热点。
混合方法
混合路面坑洼检测方法通常利用上述至少两类算法。它们已经被广泛研究了十多年。这些方法，如下表所总结的，已经将 SoTA 结果带到了这个任务中。
十年前，[111]开发了一种基于经典2D图像处理和3D点云建模和分割的混合路面坑洼检测方法。首先对道路视频(由高速摄像机收集)进行图像梯度滤波，以选择被认为包含道路坑洼的关键帧。关键帧的3D道路点云(由微软 Kinect 获得)同时建模为平面表面。类似于[50] ，RANSAC 被用来增强3D道路点云建模的鲁棒性。然后通过比较观察到的路面和模拟的路面来检测路面坑洼。由于采用了高效的基于2D图像处理的关键帧选择方法，该方法大大减少了3D点云建模中的冗余计算。[29]提出了类似的混合方法。首先对由高清摄像机收集的道路视频进行处理，以识别可能包含道路坑洼的关键帧。同时，该道路视频也被用于稀疏到密集的3D道路几何重建。通过对多模态路面数据的分析，可以有效、准确地检测出路面坑洼。这种混合方法大大减少了错误检测路面坑洼的数量。[22]介绍了一种类似的基于 RGB-D 数据(由微软 Kinect 收集)的混合路面坑洼检测方法。首先对获得的深度图像进行平面拟合。类似于[111] ，这个过程用 RANSAC 进行了优化。然后创建并归一化反映实际和拟合深度图像之间差异的归一化深度差图像。然后，Otsu 的阈值分割方法在归一化深度差图像上进行，以检测道路坑洼。最近，[3]提出了一种基于2D道路视差图像变换和3D道路点云分割的路面坑洼混合检测算法。首先对密集的亚像素视差图进行变换，以便更好地区分损坏和未损坏的道路区域。然后，使用 Otsu 的阈值分割方法，从转换后的视差图中提取潜在的未受损道路区域。利用最小二乘拟合(也用 RANSAC 改进)将提取区域中的差异建模为二次曲面。在点云建模过程中还集成了表面法线信息，以减少离群点。最后，通过比较实际视差图和模型视差图，有效地检测出路面坑洼。
除了上面讨论的方法之外，研究人员还开发了基于经典2D图像处理算法和机器/深度学习模型的混合方法。以[112]为例，一个朴素贝叶斯分类器(NBC)[117]被训练来学习有向梯度(HOG)[118]特征的直方图。然后利用这些 HOG 特征训练道路图像分类器。一旦一幅图像被认为包含路面坑洼，就使用归一化图切分(NGCS)[119]算法对其进行分割，以产生像素级的路面坑洼检测结果。此外，[113]提出了一个两阶段的路面坑洼检测方法。在第一阶段，利用 BoW [120]算法对道路图像进行分类。这个过程包括四个步骤: (1)尺度不变特征变换(SIFT)[121]特征提取和描述，(2)使用 K平均算法构建可视化词汇/码本，(3)词汇生成直方图，(4)使用支持向量机进行道路图像分类。在第二阶段，利用图割分割(GCS)[119]算法对道路图像进行分割，用于像素级道路坑洼检测。最近，[114]提出了一种路面裂缝和坑洼混合检测算法。一个改进的 SegNet [122]首先训练分割道路图像用于FreeSpace检测。然后对FreeSpace区域进行 Canny算子处理，生成路面裂缝/坑洼候选区域。最后，对 SqueezeNet [123]进行训练，以确定生成的候选项是路面裂缝还是路面坑洼。
近年来，基于3D点云分割和机器/深度学习的路面坑洼检测方法也引起了人们的广泛关注。[115]是这一领域的代表性现有技术。(1) SV1，一种基于单帧立体视觉的方法，基于v-disparity图像分析和3D平面拟合(在视差空间) ; (2) SV2，一种基于多帧视觉传感器数据融合的方法，开发基于数字地面模型(DEM)和视觉里程计; (3) LM1，Mask R-CNN [124]训练转移学习; (4) LM2，YOLOv2[102]训练转移学习。
此外，[116]还引入了一种基于语义道路图像分割和3D道路点云分割的混合道路坑洼检测方法。首先对 DeepLabv3+[107]模型进行训练，以产生初始像素级道路坑洼检测结果。将初步检测到的路面坑洼边缘3D点划分为外部点和内部点。外边缘用于拟合局部平面和计算路面坑洼体积，而内边缘用于减少不正确的检测坑洼通过分析道路深度分布。
公共数据集
这一部分简要介绍了现有的开放式路面坑洼检测数据集，这些数据集可以为研究人员在评估他们开发的路面坑洼检测算法时提供适当的数据集指示。[125]创建了一个用于道路图像分类的数据集。它由训练集和测试集组成。训练集包含367张健康道路的彩色图像和357张有坑洼的彩色图像; 测试集包含每个类别的8张彩色图像。这个数据集可以在[这里](kaggle.com/virenbr11/po thole-and-plain-rode-images)获得。
[126]提出了一个大规模的数据集，用于实例级的坑洼检测。这个数据集由一个训练集、一个测试集和一个标注CSV 文件组成。该训练集包含2658张健康道路的彩色图像和1119张有坑洼的彩色图像。测试集包含628个彩色图像。使用 GoPro Hero 3 + 照相机捕获图像(分辨率: 2760 × 3680像素)。这个数据集可以在[这里](kaggle .com/sovitrath/road-pothole-images-for-pothole-detection)访问。
[127]创建了一个印度道路的数据集(图像分辨率: 720 × 1280像素) ，使用语义分割注释(道路，坑洼，人行道，浅路和背景)。该数据集包含2475幅彩色图像的训练集和752幅彩色图像的测试集。这个数据集可以在[这里](kaggle.com/eya ntraiit/language-section-datets-of-indian-road)获得。
[128]创建了一个数据集，被称为 CIMAT 自动驾驶挑战序列(CCSAD)。它最初是用来开发和测试无人机感知和导航算法的。CCSAD 数据集包括四个场景: (1)colonial town街道，(2)城市街道，(3)大道和小道，以及(4)隧道网。这个数据集包含500GB 的高分辨率立体图像，辅以惯性导航系统(IMU)和 GPS 数据。CCSAD数据集可在这里公开获取。
[86]展示了一个大规模的道路损坏数据集，包括在日本收集的9053张彩色道路图像(分辨率: 600 × 600像素)。这些图像(包含15,435道路损坏)是在不同的天气和光照条件下用安装在汽车上的智能手机拍摄的。该数据集可在这里公开获得。
[129]创建了一个数据集，包括665对彩色道路图像和不同道路条件下的坑洼真值标签。该数据集可用于城市街道路面坑洼的自动检测和定位。该数据集可在这里公开获得。
另一个道路坑洼检测数据集[130]是为二值道路图像分类创建的。它包含了352张完好无损的道路图片和329张坑坑洼洼的图片。这个数据集很小，只能用于测试图像分类 CNN。你可浏览[这里](kaggle.com/datasets/atulyakumar98/pothole-d etection-dataset)获取。
[3]发布了世界上第一个多模态道路坑洼检测数据集(图像分辨率: 800 × 1312像素) ，包含55组(1)彩色图像，(2)亚像素视差图像，(3)转换的视差图像和(4)像素级坑洼注释。该数据集可在这里公开获得。
同一研究小组最近发表了Pothole-600[11]。它还提供了两种形式的视觉传感器数据: (1)彩色图像和(2)转换的视差图像。转换后的视差图像是通过对使用[21]中介绍的立体匹配算法估计的致密亚像素视差图像执行视差变换算法[50]而获得的。Pothole-600数据集可在这里获得。
现有的挑战和未来的趋势
在2012年深度学习热潮之前，经典的基于2D图像处理的方法主导了这个研究领域。然而，这种明确的方法通常是计算密集型的，并且对各种环境因素敏感，最显著的是光照和天气条件[22]。此外，路面坑洼的形状不规则，这使得在这些方法中做出的几何假设有时是不可行的。因此，自2013年以来，3D点云建模和基于分割的方法已经出现，以提高道路坑洼检测的准确性[34]。然而，这种方法通常需要一个小视场，因为假设一个单帧3D道路点云是一个平面或二次曲面。尽管已经作出了显着的努力来进一步提高道路点云建模的鲁棒性，例如使用 RANSAC 算法[3] ，但是需要广泛的参数来确保这些方法的性能，使得它们对于适应新的场景非常具有挑战性。
在过去的五年中，DCNN 已经被广泛应用于解决这个问题。图像分类网络只能确定道路图像是否包含坑洼。目标检测网络只能提供实例级的路面坑洼检测结果。由于交通部门对路面凹坑的宽度、深度、体积等几何特性更加关注，因此开发结合3D道路几何重建和语义分割的混合方法是本文研究的未来趋势。最近的深度立体匹配网络已经显示出优越的性能。作者相信它们可以通过迁移学习很容易地应用于3D道路几何模型的重建。然而，这种(有监督的)方法通常需要大量标注良好的训练数据来学习立体匹配，这使得它们在实践中很难实现[131]。因此，专门为路面3D重建开发的无/自监督立体匹配算法也是一个需要更多关注的热门研究领域。此外，如[105,106,108,109]所述，数据融合语义分割是目前驾驶场景理解的一个热门话题。然而，这样的网络通常是计算复杂的。经过大量的文献研究，作者认为网络剪枝和知识提取是解决这一问题的可行方案。在实际实验中，作者还可以应用训练有素的图像分类 DCNN 来选择关键帧(可能含有坑洼的道路图像) ，显著地避免了语义分割的冗余计算。路面坑洼不一定无处不在，准备一个大型的、注释良好的数据集来训练语义分割 DCNN 是一个挑战。因此，开发用于路面坑洼检测的少/低样本语义分割网络也是一个需要更多关注的研究热点。
结论
本文综合调研了SoTA 道路成像技术和计算机视觉算法在路面坑洼检测中的应用。经典的基于2D图像处理和基于3D点云建模和分割的方法存在严重的局限性。因此，本文主要讨论了用于路面坑洼检测的性能良好的 SoTA DCNN。由于交通部门对路面凹坑的几何特性更感兴趣，开发基于立体匹配的路面3D重建和数据融合语义分割功能的混合方法是本文研究的未来趋势。然而，训练立体匹配和语义分割网络需要大量的人工标注数据集，准备这样的数据集是非常劳动密集型的。因此，作者相信无/自监督立体匹配算法(专门为路面3D开发)和语义道路图像分割的少量/低样本学习是需要更多关注的热门研究领域。
参考
[1] Computer Vision for Road Imaging and Pothole Detection: A State-of-the-Art Review of Systems and Algorithms
原文首发微信公众号【自动驾驶之心】：一个专注自动驾驶与AI的社区（https://mp.weixin.qq.com/s/NK-0tfm_5KxmOfFHpK5mBA）
