Tesla 2022 AI Day 将 Occupancy Networks + NeRF 引入自动驾驶，而 Occupancy Networks 是 19 年 CVPR 的一篇工作，NeRF 是 20 年 ECCV 的工作，均属于三维重建领域。个人觉得三维重建领域用途较多，并且有趣，今天来了解一下这个领域。

Tesla 用 NeRF 一方面是做城市级大规模场景重建，可以用来生成高质量的自动驾驶模拟数据集；另一方面是为 Occupancy Networks 提供额外的监督。

基础知识

视觉里程计

根据拍摄的图像估计相机的运动，得到相机的位姿，从而做三维重建

三维表示

• 点云：真实世界的原子化表示，由点组成，一般由三维扫描仪或二维重建获取
• 体素：类比二维图像，体素是三维的像素表示
• mesh：利用各种类型的网格组成三维形状
• 深度图：通过距离估计表示三维信息

Occupancy Networks

Tesla 革新了自己的 BEV，由 2D 走向了 3D

不同于一般的目标检测，Occupancy 以类似 3D 体素的方式表征物体，网络只需要判断每个小方格内是否被占据，这就跳出了横平竖直检测框的限制，也无需考虑物体类别，但是又类似 3D 语义分割？

NeRF

提出于 2020 ECCV，能够通过图像序列和位姿进行三维重建

该方法近两年快速发展，逐渐成为三维重建的主流