激光雷达点云生成、驾驶视频生成、占用（Occupancy）生成、驾驶轨迹生成、....，生成式AI在自动驾驶的研发和应用中大有用武之处。近期发表的一篇综述性论文[1]以超过百页的篇幅介绍了生成式AI技术在自动驾驶领域的研究进展，并对其未来发展方向进行了展望。
论文目录
部分插图
以下是该论文的部分插图。
自动驾驶汽车上主要传感器的典型位置[1]
自动驾驶汽车上传感器的覆盖和感知区域[1]
激光雷达点云生成的方法和模型演进[1]
占用（Occupancy）生成的方法和模型演进[1]
图像编辑示例：白天与夜景图像的转换；晴天与雨天图像的转换[2]
生成式AI的跨领域融合
上述论文[1]指出了自动驾驶领域与机器人、无人机等领域的部分共同之处，包括：
- 都需要大量的视觉等传感器数据，用于训练和测试；
- 都需要高度的安全性；
- 都需要规划模型、推理引擎、协同机制等。
上述论文[1]还指出了自动驾驶与机器人、无人机等领域在生成式AI技术上的交叉融合趋势。
- 在机器人领域有了VLA（视觉-语言-动作）模型之后不久，自动驾驶领域也出现了基于类似概念的EMMA和OpenEMMA模型；
- 用于激光雷达点云生成的LidarDM模型既可用于自动驾驶领域，也可用于机器人领域；
- 扩散（Diffusion）模型既可用于自动驾驶领域中的轨迹生成[4]，也可用于机器人领域中的动作生成[5][6]。
挑战与机遇
上述论文[1]列举了自动驾驶中生成式AI目前所面临的若干挑战、以及若干科研和应用方向，例如：
- 生成式AI的可信赖性——生成式AI可能会产生幻觉和错误输出，这对于自动驾驶来说是非常危险的；因此，Waymo等研发自动驾驶的公司在技术栈中采用了多层次的预防和纠正措施，包括采用多个冗余系统；
- 人与生成式AI协同的可能性——（1）在自动驾驶的设计和测试中，工程师们可以为生成式AI制作示例、调整参数、以及指示AI生成特定的模拟场景（例如：生成行人在夜间暴雨中横穿马路的场景）；反过来，生成式AI可以为工程师们的工作查错、生成脚本、配置实验、生成测试用例，发挥类似于AI编程助手的作用；（2）在自动驾驶的实际使用中，人与AI可以共同控制汽车：当遇到危险、并且车中的人没有做出反应时，AI可以像驾驶教练一样代替做出反应；当人觉得AI的驾驶过于激进时，可以接管驾驶，或者通过指示，改变AI的驾驶；
- 无人机和低空经济——无人机与自动驾驶汽车所面临的问题有些是相似的，例如动态环境中的感知、导航、碰撞规避、障碍规避、与基础设施协同、与其它无人机或自动驾驶汽车协同等，这些问题都需要大量的数据、模型训练和模拟；无人机还面临其它的问题，例如：无人机的飞行轨迹是三维的，需要大量的三维环境数据（建筑物、树木、电磁地图等）；无人机对于风等环境因素更加敏感，因此生成式AI还被用于生成微观天气数据，以模拟城市中的风对无人机安全性能的影响；在未来的低空经济中，无人机与自动驾驶汽车有望相互协同，形成多模态、可优化的交通体系，届时，生成式AI的应用前景将更加广阔。
参考文献
[1] Generative AI for Autonomous Driving: Frontiers and Opportunities
https://arxiv.org/abs/2505.08854
使用许可协议：CC BY
https://creativecommons.org/licenses/by/4.0/
[2] One-Step Image Translation with Text-to-Image Models
https://arxiv.org/abs/2403.12036
使用许可协议：CC BY
https://creativecommons.org/licenses/by/4.0/
[3] OpenVLA: An Open-Source Vision-Language-Action Model
https://arxiv.org/abs/2406.09246
使用许可协议：CC BY
https://creativecommons.org/licenses/by/4.0/
[4] MotionDiffuser: Controllable Multi-Agent Motion Prediction using Diffusion
https://arxiv.org/abs/2306.03083
[5] π_0: A Vision-Language-Action Flow Model for General Robot Control
https://arxiv.org/abs/2410.24164
[6] GR00T N1: An Open Foundation Model for Generalist Humanoid Robots
https://arxiv.org/abs/2503.14734
封面图：Timo Wielink、Unsplash
