自动驾驶前沿

9月30日的Tesla AI Day，特斯拉发布了初版的Optimus机器人，自动驾驶FSD的更多细节也慢慢浮现在大众的眼前。我整理了Tesla FSD算法方面值得重点关注的进展与大家分享。

近年来，三维多目标跟踪（MOT）出现了许多新的基准和方法，尤其是那些“检测跟踪”范式下的基准和算法。尽管它们取得了进展并发挥了作用，但尚未对其优缺点进行深入分析。

多源异构传感器融合在当今的自动驾驶应用场景中很常见，准确的多传感器时间和空间统一是实现多传感器融合感知和定位的先决条件。许多传感器融合方法假设不同传感器的时间戳精确对齐，这实际上只能通过严格的硬件同步

相比于Point View或BEV而言Range image具有紧凑性，因为这两种表示方法的稀疏性非常明显，而Range View则没有稀疏性。

L0人工驾驶，需要驾驶员执行全部的驾驶任务，主要是一些预警和提示功能，常用的传感器有摄像头（前视、环视、座舱等）、毫米波雷达、超声波雷达。 常用的感知模块包括但不限于：分类、检测、分割、车道线检测、

学习感知任务的鸟瞰图（BEV）中的强大表示法是一种趋势，并引起了工业界和学术界的广泛关注。大多数自动驾驶常规方法是在前视图或透视图中执行检测、分割、跟踪等。

由于深度信息的缺失，从单目图像估计物体的准确3D位置是一个具有挑战性的问题。之前的工作表明，利用目标的关键点投影约束来估计多个候选深度可以提高检测性能。

基于深度神经网络的目标检测器不断发展，并用于多种应用，每个应用都有自己的一组要求。安全关键型的应用程序需要高精度和可靠性，而低延迟的任务需要节约资源的神经网络结构。

由于camera或激光雷达等传感器返回足够丰富的数据，researcher能够用不同的分辨率绘制不同类型的地图并使用它们在城市环境中实现高水平的车辆定位精度和稳定性。

目标检测是大家的老朋友了，随着端到端模型的不断优化，像1 stage的Yolo系列，还有2 stages的RCNN系列以及各种基于FPN衍生出来的后起之秀，都在帮助目标检测生态变得更加的成熟。

目前3D目标检测领域方案主要包括基于单目、双目、激光雷达点云、多模态数据融合等方式，本文主要介绍基于激光雷达雷达点云、多模态数据的相关算法，下面展开讨论下~

自监督学习（SSL）已经成功应用于CNN和GNN中，以实现高可迁移、泛化性和鲁棒性的表示学习。但是在自动驾驶运动预测方向的探索工作却比较少。论文首次将自监督学习运用于运动预测，方法名为SSL-Lane

光流估计是计算机视觉研究中的一个重要方向，其不像其他感知任务会显式的在应用中呈现。如今，光流估计也在基于视频的任务中承担着越来越重要的作用。

在过去几年中，自动驾驶一直是最受欢迎和最具挑战性的话题之一。在实现完全自主的道路上，研究人员利用了各种传感器，如激光雷达、相机、惯性测量单元（IMU）和GPS，并开发了用于自动驾驶应用的智能算法。

本文提出了一种在线联合时空标定的视觉-激光雷达算法；设计了一个双向损失函数，避免了单向投影可能导致的局部最优，从而获得了更稳定的性能；并结合来自视觉里程计的延迟估计，同时估计了外参和延迟。

Corner cases(CC)是指不经常出现或一些极端的场景数据，也是一种长尾问题的表现形式。然而，对于感知模型来说，CC非常重要。

论文针对三维激光雷达点云的有效目标检测问题开展了研究。基于此，论文提出了一种高效的单级基于point的3D目标检测器，称为IA-SSD。

今天分享图森打榜Waymo开放数据集3D语义分割任务的技术报告，整篇文章读下来比较通透。比较经典的打榜思路，尤其是后面的多任务学习、两阶段优化，有打榜或训练大模型需求的小伙伴可以仔细读读~

电线杆和建筑物的轮廓是城市道路上随处可见的物体，可为计算机视觉提供可靠的提示。为了重复提取它们作为特征并在离散的LiDAR帧之间实现关联以进行点云匹配。

在过去的十年中，多任务学习方法在解决全景驾驶感知问题方面取得了很好的效果，提供了高精度和高效率的性能。在计算资源有限的实时自主驾驶系统网络设计上，它已成为一种流行范式。