2022最新！更面向工业场景：基于视觉方案不同挑战下的车道检测与跟踪（上）-阿里云开发者社区

领域背景

由于突然的环境变化可能导致严重的车辆碰撞，当道路车道线的能见度较低、模糊或经常看不见时，驾驶非常困难。在车道线检测方面已经进行了大量的研究，大多数车道检测方法都存在四种主要问题：

（i）由于时间（白天、夜晚）、天气、道路等变化而导致的突然照明变化；
（ii）当车道线着色、侵蚀或堵塞时，部分或全部被遮挡；
（iii）雨雪等恶劣天气造成的视野模糊；
（iv）由于存在其他类似特征，如护栏、路面标记、道路，导致车道检测不正确分隔线、车辆线、树影等；

本文作者提出了一种鲁棒的车道检测和跟踪方法来检测车道线，该方法主要介绍了三个关键技术。首先，应用双边滤波器来平滑和保留边缘，引入了一个优化的强度阈值范围（OITR）来提高canny算子的性能，该算子检测低强度（有色、腐蚀或模糊）车道标记的边缘。第二，提出了一种稳健的车道验证技术，即基于角度和长度的几何约束（ALGC）算法，然后进行霍夫变换，以验证车道线的特征并防止不正确的车道线检测。最后，提出了一种新的车道线跟踪技术，即水平可调车道重新定位范围（HALRR）算法，该算法可以在左、右或两条车道标记在短时间内部分和完全不可见时跟踪车道位置。为了评估所提出方法的性能，论文使用了分辨率为1080x1920，分辨率为24帧/秒的DSDLDE数据集，其中视频帧包含不同的挑战场景。实验结果表明，平均检测率为97.36%，平均检测时间为29.06msec/帧，优于现有方法。

领域现状

车道线是道路的一个非常重要的部分，因为许多交通规则和法规都基于车道线，因此，高级驾驶员辅助系统的性能在很大程度上取决于车道线检测。准确率和鲁棒性是车道线检测两个最重要的特性。由于环境存在剧烈变化，因此检测车道线是非常困难的。车道线检测是不同高级驾驶员辅助系统（ADAS）的基本操作，例如车道偏离警告系统（LDWS）和车道保持辅助系统（LKAS）。一些汽车企业，如Mobileye、BMW、Tesla等，已经开发了包括车道偏离警告和车道保持辅助系统在内的产品。无论是汽车企业还是个人客户都接受了Mobileye系列ADAS产品和特斯拉Autopilot自动驾驶。由于其低成本、高精度和高速性能，目前大多数成熟的车道线检测辅助产品将camera用作主要传感器。

Aly[4]使用RANSAC样条拟合技术检测到城市街道的车道标记，在[5]中，算法快速准确地估计了消失点，估计的消失点确定了属于车道标记的线段。因此，它可以检测阴影下的车道，但当混淆路面标记或道路上存在行人过路时，它不起作用。在[6]中，作者使用了一种方法，在夜间道路、黄灯或白灯隧道、雨夜等照明条件下为车道线提供强边缘，但在极端条件下效果不佳，因为他们假设一个场景没有多个照明。[7] 通过检测消失点和建立自适应感兴趣区域（ROI），降低了计算复杂度，并能够检测黄灯隧道、日出、日落、雨天、夜晚等照明下的车道，但它无法检测强光反射下的车道、模糊车道标记、低太阳角情况和车道裂缝。在[8]中，通过基于投票图检测消失点、定义自适应ROI和使用车道颜色的不变性检测车道来克服照明变化影响。然而，他们的方法在一些极端条件下失败，如强光反射、车道标记模糊、低太阳角情况、车道裂缝等。[9]提出了一种基于时空图像的车道线检测算法，由于使用了每条扫描线上车道宽度的时间一致性，他们成功地检测到了曲率急剧的车道、车道变化、夜间道路、障碍物和镜头光斑。由于检测结果取决于车道线宽度，当车道线宽度在道路上增加或减少时，系统将无法检测车道。

[10]中提出了一个基于视觉的集成框架，该框架基于时空增量聚类，结合曲线拟合和格拉斯曼流形学习，用于车道检测、跟踪和路面标记检测。在[1]中，将梯度提示和颜色提示以及带有扫描线测试的线聚类一起处理以验证车道线特征的算法，他们在各种天气条件下成功地检测到了车道。然而，当车道由于路灯反射而不可见时，他们无法检测到车道标线，当车道线因夜间路灯或黄灯隧道的黄色背景而变得模糊时，他们也无法检测到黄色车道标线。

论文主要创新点

为了克服上述困难，作者提出了一种鲁棒的车道线检测和跟踪系统。为了减少照明效果并增强车道线边缘，在作者之前的论文[12]中首次在车道检测系统中使用了双边滤波器。因此，本文对灰度输入图像进行了双边滤波，以平滑和保留车道边缘。接下来，在边缘检测阶段接近优化的强度阈值范围（OITR），这提高了精明边缘检测器的性能，以增强和检测低强度（着色、侵蚀或模糊）车道标记的边缘。为了去除不需要的噪声线边缘区域，论文选择了一个感兴趣的区域，使用等腰梯形遮罩放置在水平轴的中间和垂直轴的三分之二（不包括下三分之一），以避免汽车mask边缘。为了检测感兴趣区域内的所有线条，使用了霍夫变换。通过霍夫变换检测到的线是候选车道线（CLL）。

这里，论文使用基于坡度的约束将候选左车道（CLL）线与候选右车道（CRL）线分离，提出了一种稳健的车道验证技术，即基于角度和长度的几何约束，以验证车道标记的特征并防止不正确的车道检测。最后，介绍了一种新的车道跟踪方法，即水平可调车道重新定位范围，它可以跟踪车道位置，提出方法的主要贡献是：

1）在边缘检测阶段接近优化的强度阈值范围（OITR），这提高了canny增强和检测低强度（着色、侵蚀或模糊）车道标记边缘的性能；
2）提出了一种稳健的车道验证技术，即基于角度和长度的几何约束（ALGC）算法，以验证车道线特征；
3）引入了一种新的车道跟踪方法，即水平可调车道重新定位范围（HALRR），以在左侧或右侧或两侧车道标线由于侵蚀或闭塞而在短时间内部分或完全不可见时，跟踪车道位置；

论文方法

这里，我们将提出的车道检测和跟踪方法分为四个主要部分：i）预处理，ii）特征提取，iii）车道检测和iv）车道跟踪，拟议车道检测方法的概述如图1所示。在预处理阶段，对提取的视频帧进行灰度处理，并使用双边滤波器去除噪声，同时保留边缘。接着，在特征提取阶段，通过OITR改进的canny边缘检测器检测边缘，并利用霍夫变换提取线的位置。然后，在车道检测阶段，提出了一种基于角度和长度的几何约束的鲁棒车道验证技术，成功地验证了候选车道线。最后，引入了一种鲁棒的车道线跟踪技术，提出了水平可调车道线重新定位范围，它利用前一帧的车道位置信息来预测当前帧的车道定位！

预处理

预处理是车道线检测过程的重要组成部分，预处理的目的是增强感兴趣的特征并减少噪声，论文通过灰度转换和噪声滤波对输入视频帧进行了预处理！

特征提取

在特征提取阶段，识别特定车道线特征，如边缘、纹理、长度、宽度或颜色等。在这种情况下，当照明条件急剧变化，尤其是在雨雪天气中，视野变得模糊和模糊时，很难通过颜色或纹理特征区分道路和车道。在各种照明条件和不利天气条件下，基于边缘的特征比基于颜色的特征更鲁棒。因此，在该方法中，论文考虑了边缘特征作为车道检测方法。

有很多边缘检测技术，如Sobel、Canny、Prewitt、Roberts等[15]将模糊方法应用于车道检测和Canny以获得更好的边缘检测。在[18]中，对canny和Sobel的性能进行了比较，实验表明canny优于Sobel。Canny是一个多步骤算法。首先，用高斯去除噪声，然后确定边缘梯度和方向。接下来，应用了一种称为非最大抑制的边缘细化技术。最后，利用双阈值方法检测并连接候选边缘。

这种双阈值方法使用两个阈值[𝑇𝑢, 𝑇𝑙] （𝑇𝑢 表示上强度阈值，𝑇𝑙 表示较低强度阈值）以找到感兴趣的边缘，高于上限的边缘像素被接受为边缘，低于阈值的边缘像素则被拒绝。仅当上阈值和下阈值之间的像素连接到上阈值的像素时，才会考虑它们。上限和下限之间的比率建议为3:1。然而，为不同的照明条件选择准确的强度阈值范围是一个挑战。特别是，由于路面和车道线之间的强度差较小，很难检测彩色车道线（黄色、蓝色等）的边缘。下雨或下雪时视野模糊，这些彩色车道线几乎看不见。因此，作者提出了一个优化的强度阈值范围（OITR），该范围提高了canny算子检测彩色、模糊和模糊车道线的性能（这些车道线是由于不同的照明条件（如白天、夜晚、雨天、下雪等））。

选择了上强度阈值𝑇𝑢=30 ，因为在低光或模糊可见度条件下，车道边缘像素的强度变低，较低的强度阈值设置为较高阈值的三分之一，即𝑇𝑙=10。

在图3（a）中，有两个输入帧，每个场景都有以下多重挑战：i）由于下雨天气，视野模糊；ii）左侧车道为黄色；iii）雨刮器遮住车道视野。在图3（b）和3（c）中，相应应用的强度阈值范围为[50,10]和[45,15]。在这两种情况下，部分检测到车道边缘。在图3（d）中，应用了强度阈值范围[30,10]，在这种情况下，检测到了大多数车道边缘。

通过实验观察到，这是所有彩色车道线和所有照明条件下最优化的强度阈值范围（OITR），因为它可以应对上述多种挑战。然而，OITR将保留大量噪声边缘像素以及车道边缘像素，选择感兴趣的区域可以解决此问题。值得注意的是，车道线信息位于图像的下半部分，因此不需要整个图像来处理车道检测。数据集中的大部分视频都是通过将摄像机放置在挡风玻璃后面的中间位置来拍摄的。道路始终位于车辆前方，因为车辆向前行驶，因此，建议选择图像下方的ROI。本文选择了一个感兴趣的区域，使用放置在水平轴中间和垂直轴三分之二（不包括下三分之一）的等腰梯形mask，以避免汽车mask边缘。等腰梯形是底角相等的梯形，因此左侧和右侧长度也相等。此掩码有效地保留车道线边缘，同时去除不同数据集的其他噪声边缘。图4（d）显示了感兴趣区域选择的输出图像！

霍夫变换是一种特征提取方法，通过应用投票过程来检测图像中的形状，例如圆、线等。在提出的方法中，该算法用于识别由边缘创建的线的位置。每条线（x1，y1）和（x2，y2）的两点是霍夫变换的最终输出，因此，通过霍夫变换提取感兴趣区域内所有线的位置。由于在这些提取的线中只有一条左线和一条右线是车道线，因此这些线被称为候选车道（CL）线。在图4（a）中，显示了三个示例帧作为输入；在图4（b）、图4（c）、4（d）和图4（e）中，分别显示了用于双边滤波、canny边缘检测、感兴趣区域选择和霍夫变换的所有相应输出图像。

车道线检测

在每个帧中同时检测左车道和右车道边界称为车道检测，本文将车道检测任务分为以下步骤：a）将候选车道线（CLL）划分为左侧线和右侧线，b）车道验证。霍夫变换成功检测到感兴趣区域内的所有线条，从图4（e）中可以看到，霍夫变换检测到了许多噪声线，包括车道线。所有这些线被称为候选车道（CL）线，因为其中车道线将被检测。这里使用基于坡度的约束将候选左车道线（CLL）与候选右车道线（CRL）分离。m是直线的垂直变化与水平变化的比率，如果y随x增加，直线的斜率为正；另一方面，如果y随x增加而减小，则斜率为负。左车道线总是具有负坡度，右车道线总是有正坡度，通过使用方程（3）计算斜率。基于坡度的约束已由等式（4）设置，因此，斜率m>0的线被识别为CRL线，斜率m<0被识别为CLL线，并且斜率m=0&m=∞ 作为假阳性：

有时，由于存在其他类似线条，例如护栏、路面标线、道路分隔线、交通标志、斑马线、汽车罩、车内物品（移动、导航设备、视频或图像捕捉设备）的反射、车辆线条、树木阴影等，会出现错误车道线检测。因此，车道验证对于过滤掉这些令人困惑的线条非常重要，值得注意的是，从帧到帧，车道线的垂直位置几乎保持不变，但车道线的水平位置（沿x轴）发生了变化，因此，我们设置了车道线与x轴形成的角度范围，以验证水平位置。测量小于90°的角度称为锐角，左车道与x轴形成锐角（逆时针），测量大于90°且小于180°的角度称为钝角，左车道与x轴形成钝角（逆时针）。因此，考虑到这两种类型的角度，定义了左车道和右车道的角度范围。左车道和x轴之间的角度（逆时针）定义为𝜃𝑙 右车道和x轴之间的角度（逆时针）定义为𝜃𝑟，根据锐角和钝角的定义𝜃𝑙 应小于90度𝜃𝑟 应大于90度且小于180度。

在左侧车道的情况下，为了最小化范围并最大限度地去除噪声线，选择了0至90°之间的中间值，即45°作为边界线。作者考虑了摄像机位置的变量c，因此，通过从45°中减去c来定义下限值，通过将c与45°相加来定义上限值。最后，角度范围(𝜃𝑙) 由x轴形成的左车道的[𝜋/4− 𝑐,𝜋/4 + 𝑐]。另一方面，对于右侧车道，选择了钝角范围的中间值，即135°作为边界线。因此，通过从135°中减去c来定义下限值，通过将c与135°相加来定义上限值。最后，角度范围(𝜃𝑟) 由x轴形成的右车道的长度为[3𝜋/4− 𝑐, 3𝜋/4 + 𝑐]。作者通过实验观察了许多具有各种挑战性情况的数据集，发现上述角度范围的考虑效果最好。在[20]中，他们确定了左车道（25，75）和右车道（105，155）的角度范围，其范围比论文的范围宽，因为论文的方法中定义的角度范围比他们的方法窄。因此比它们的方法可以消除更多干扰的线条。所有角度，𝜃 由等式（5）计算在等式（6）中示出了角度范围的表示：

应用基于角度的约束，得到过滤的候选左车道（FCLL）线和过滤的候选右车道（FCRL）线。但是，这种基于角度的约束无法删除一些与角度范围内的x轴形成角度或平行于车道线的混淆线。例如，护栏、道路分隔线、路缘石、桥梁栏杆、公路隧道的墙边缘、其它车辆、树木或建筑物的阴影、平行于车道的路面标记等，这些对象因其角度和位置而产生混乱的线条。为了避免这种类型的错误检测，作者提出了基于长度的几何约束。

通常，摄像机安装在汽车的中间，左右车道位于汽车的正前方，因此，车道线是所有其他混淆线中最长的一条。在某些情况下，车道线可能不是最长的线，但由于梯形的ROI，其他长线的一部分，如护栏线、道路分隔线、路缘石、桥梁栏杆、公路隧道墙等被取消。在虚线车道线的情况下，霍夫变换将虚线短线转换为一条长线，因此可以选择长度参数进行最终验证。作者取了一定数量的帧，测量了车道线、护栏、车辆边缘、平行其他车道、道路裂缝、隧道墙边缘等在角度范围内与x轴形成角度的不同线的长度，并计算了不同类型线的平均长度。

在图6中，比较了车道标线和其它线的长度，例如护栏、车辆边缘、道路裂缝边缘、隧道墙边缘、箭头路面、雨刮器等。指标表明车道线的长度比任何其他线长，作者观察到，在每一帧中，95%以上的车道线比任何其他线都长。最长的左线是真正的左车道线，最长的右线是真正右车道线。使用等式7，计算了每条FCLL线的长度，使用等式8，计算了每个FCRL线的长度。FCLL线中具有最大长度的线已被选择为左车道线（等式9），FCRL线中具有最小长度的线被选择为右车道线（方程式10）。