生成式AI应用于自动驾驶：前沿与机遇近期发表的一篇综述性论文总结了生成式AI在自动驾驶领域的应用进展，并探讨了自动驾驶与

激光雷达点云生成、驾驶视频生成、占用（Occupancy）生成、驾驶轨迹生成、....，生成式AI在自动驾驶的研发和应用中大有用武之处。近期发表的一篇综述性论文[1]以超过百页的篇幅介绍了生成式AI技术在自动驾驶领域的研究进展，并对其未来发展方向进行了展望。

论文目录

部分插图

以下是该论文的部分插图。

自动驾驶汽车上主要传感器的典型位置[1]

自动驾驶汽车上传感器的覆盖和感知区域[1]

激光雷达点云生成的方法和模型演进[1]

占用（Occupancy）生成的方法和模型演进[1]

图像编辑示例：白天与夜景图像的转换；晴天与雨天图像的转换[2]

生成式AI的跨领域融合

上述论文[1]指出了自动驾驶领域与机器人、无人机等领域的部分共同之处，包括：

都需要大量的视觉等传感器数据，用于训练和测试；
都需要高度的安全性；
都需要规划模型、推理引擎、协同机制等。

上述论文[1]还指出了自动驾驶与机器人、无人机等领域在生成式AI技术上的交叉融合趋势。

在机器人领域有了VLA（视觉-语言-动作）模型之后不久，自动驾驶领域也出现了基于类似概念的EMMA和OpenEMMA模型；
用于激光雷达点云生成的LidarDM模型既可用于自动驾驶领域，也可用于机器人领域；
扩散（Diffusion）模型既可用于自动驾驶领域中的轨迹生成[4]，也可用于机器人领域中的动作生成[5][6]。

挑战与机遇

上述论文[1]列举了自动驾驶中生成式AI目前所面临的若干挑战、以及若干科研和应用方向，例如：

生成式AI的可信赖性——生成式AI可能会产生幻觉和错误输出，这对于自动驾驶来说是非常危险的；因此，Waymo等研发自动驾驶的公司在技术栈中采用了多层次的预防和纠正措施，包括采用多个冗余系统；
人与生成式AI协同的可能性——（1）在自动驾驶的设计和测试中，工程师们可以为生成式AI制作示例、调整参数、以及指示AI生成特定的模拟场景（例如：生成行人在夜间暴雨中横穿马路的场景）；反过来，生成式AI可以为工程师们的工作查错、生成脚本、配置实验、生成测试用例，发挥类似于AI编程助手的作用；（2）在自动驾驶的实际使用中，人与AI可以共同控制汽车：当遇到危险、并且车中的人没有做出反应时，AI可以像驾驶教练一样代替做出反应；当人觉得AI的驾驶过于激进时，可以接管驾驶，或者通过指示，改变AI的驾驶；
无人机和低空经济——无人机与自动驾驶汽车所面临的问题有些是相似的，例如动态环境中的感知、导航、碰撞规避、障碍规避、与基础设施协同、与其它无人机或自动驾驶汽车协同等，这些问题都需要大量的数据、模型训练和模拟；无人机还面临其它的问题，例如：无人机的飞行轨迹是三维的，需要大量的三维环境数据（建筑物、树木、电磁地图等）；无人机对于风等环境因素更加敏感，因此生成式AI还被用于生成微观天气数据，以模拟城市中的风对无人机安全性能的影响；在未来的低空经济中，无人机与自动驾驶汽车有望相互协同，形成多模态、可优化的交通体系，届时，生成式AI的应用前景将更加广阔。