车道跟踪
使用前一帧的车道线标记位置来估计和预测下一帧车道线标记的位置称为车道跟踪，实施车道跟踪以跟踪车道位置的变化。有时，诸如雨、雪、路灯在潮湿道路上反射、阳光过度照射或闪亮的隧道灯等具有挑战性的条件会磨损车道线，挡风玻璃上的雨滴和道路上的雪也可能严重影响道路线的能见度。因此，开发一种能够检测车道线的车道跟踪系统非常重要，即使车道线在短时间内部分或完全不可见。对于车道跟踪，使用卡尔曼滤波器[21，22]、扩展卡尔曼滤波器[23]、退火粒子滤波器[24]和超级粒子滤波器[25]，车道线位置P可以很容易地由两点定义(𝑥1.𝑦1）和(𝑥2.𝑦2)。在两个连续的视频帧之间，由于帧序列之间存在时间和空间连续性，因此不会有太多偏差。
从视频帧序列可以看出：车道的垂直位置保持几乎相同，但车道的水平位置显著变化。考虑到这些问题，作者提出了一种鲁棒的车道跟踪技术，称为车道水平可调车道重定位范围（HALRR）。在这种方法中，定义了一个沿x轴的可调整范围，该范围将相对于前一帧的车道位置进行调整。如果前一帧的车道线位置为𝑃𝑝(𝑥𝑝1.𝑦𝑝1.𝑥𝑝2.𝑦𝑝2）和下一帧的车道线位置为𝑃𝑛(𝑥𝑛1.𝑦𝑛1.𝑥𝑛2.𝑦𝑛2） 𝑃𝑛 将位于𝑃𝑝 或在右侧𝑃𝑝。由于车道的位置不会垂直改变，𝑦𝑝1=𝑦𝑛1和𝑦𝑝2=𝑦𝑛2。
论文观察到，车道位置沿x轴（左侧和右侧）的偏差小于图像宽度的6%。如果车道位置的偏差为d，范围𝑥𝑛1为R1，𝑥𝑛2是R2，w是图像的宽度，那么d，R1，R2的表达式如下：
该技术可以有效地提高车道检测率。在采用车道跟踪之后，系统可以检测车道，即使在改变车道之后。该过程每帧仅需0.99ms，而卡尔曼滤波器每帧需2.36ms。
图7中展示了车道跟踪系统如何在改变车道时进行调整，在这里，通过从第515帧到第677帧的雨天视频中选取六帧，显示了车道改变场景，从图7（a）到7（e），车道改变发生了，跟踪系统可以跟踪车道。完全切换到左车道后，跟踪方法可以自动调整图7（f）中的车道线。
在图8中，展示了一些具有挑战性的情况，其中车道线部分或全部被侵蚀、虚线、未上漆或由于一些困难而看不见，例如，被雨刷遮挡、大雨造成的视野模糊、没有路灯的较暗路况、来自相反方向车辆的过度曝光前照灯、反光效果和挡风玻璃上路灯反射产生的光斑，论文提出的车道跟踪方法解决了所有这些困难。
实验结果
在来自DSDLDE[1]数据集的33323帧上实现了我们提出的方法，该数据集以24帧/秒的速度提供1080x1920分辨率。该数据集在美国和韩国拍摄，其中视频包括不同的挑战场景，如雨、雪、隧道进出时的突然光线变化、白天和夜间拍摄的照明变化。实验在30个分辨率为594x1056的视频片段上进行，这些视频片段包含超过33000帧。论文提出的方法解决了许多高度严酷的条件，即白天因阴影、隧道入口、极端阳光、隧道出口白光等造成的黑暗、夜间突然的照明变化，即其它车辆的前照灯或尾灯发出的光照、湿路、隧道入口和隧道出口上的道路光反射等。当车道被着色或侵蚀或路灯或隧道灯的颜色与车道颜色相同时，车道线与路面之间的对比度较低；由于存在与车道类似的线，即护栏、路面标记、道路分隔线、道路裂缝产生的线、车辆线等，导致车道线检测不正确，由于大雨或大雪导致的视野模糊，由于雨刷、雨滴的存在而导致的遮挡，以及车内任何物体的反射：移动设备、导航设备、视频或挡风玻璃上的图像捕捉设备。
图9显示了不同恶劣驾驶条件下成功的车道线检测和跟踪，在图9（a）、（b）、（c）中，隧道内的车道几乎看不见，因为灯光颜色和车道标记颜色相同。在图9（d）中，来自内部设备的光反射以及挡风玻璃上的前照灯和尾灯的耀斑使视野变得模糊。在图9（e）中，大雨造成的模糊视图和图（f）中，由于雨夜路灯反射，车道不可见。在图9（g）和9（h）中，分别显示了雪天的大雪和黑暗隧道入口。图9（i）显示了雪夜中的高速公路。
所有这些成功的检测都验证了该算法的鲁棒性，在表1中，论文显示了不同时间、天气和挑战条件下的车道标记检测率：
在晴朗的白天，平均车道检测率为98.07%，包括阴影、侵蚀车道线、被交通和路面标线堵塞的车道线、开裂的道路、隧道等不同条件。在雨天，平均车道识别率为96.85%，包括大雨、交通堵塞、车道变更、隧道内潮湿道路、丘陵和弯曲公路等条件。在雪天，平均车道检测率为95.29%，还包括侵蚀车道线、弯曲道路、隧道等不同条件，平均检测率为96.47%，包括一些硬条件，如褪色和未上漆的车道标线、潮湿道路上的路灯反射、同向和反向车辆的前照灯和尾灯闪烁、极暗（无路灯）和颠簸道路、尾灯反射、车道变换、导航装置反射和挡风玻璃上闪亮的桥梁灯反射、在下雪的夜晚，由于夜间下雪，车道的能见度非常差，平均检测率为94.19%。不同天气条件下的总检出率大于94%，平均检出率为97.36%。将所提出的方法与最近报道的其他方法进行了比较，并显示出相对较好的性能。在表2中，就检测率和每帧处理时间而言，所提出的算法的性能与之前的工作[1、8、9、11、19]的性能进行了比较。
表2显示，与其它作品相比，所提出算法的检测率非常出色，与其它最先进的作品相比，本文探索了更多与光线、道路和天气条件相关的挑战。尤其是，夜间下雪道路的视频剪辑在其它作品中效果不佳，处理时间甚至比任何其他算法都要短。结果表明，与其它具有强大和更快PC配置的算法相比，该方法具有更快的计算速度。然而，如图10所示，当雪形成类似车道线时，以及当隧道边缘形成类似车道的线时，所提出的算法未能检测到车道标记，存在一些车道标记错误检测的情况，可以通过在验证阶段添加更多参数来改进。
参考
[1] Vision-Based Lane Detection and Tracking under Different Challenging Environmental Conditions.
原文首发微信公众号【自动驾驶之心】：一个专注自动驾驶与AI的社区（https://mp.weixin.qq.com/s/NK-0tfm_5KxmOfFHpK5mBA）
