你有没有在驾驶时，面对传统的仪表盘或导航屏幕，难以清晰感知车辆周围真实的交通状况？
你是否在依赖智能辅助驾驶时，因为无法直观了解车辆“看到了”什么，而对系统的决策感到些许不安与迷茫？
你是否曾希望，车载屏幕不仅能指路，更能像“透明车窗”或“数字哨兵”一样，为你实时呈现一个精准、立体、动态的沉浸式行车环境？
那些让驾驶者感到信息隔阂与信任不足的场景，如今正被一种全新的车载可视化技术所改变——Surround Reality（SR，环绕现实）。当你启动车辆，它能将摄像头、雷达感知到的世界“无缝拼接”成3D场景；当你穿梭于复杂路口，它能将导航路径“烙印”在真实车道之上；无论是有精确地图覆盖的城区，还是无图陌生的道路，SR都能构建出一个让你时刻了然于胸的“数字孪生”世界。
百度地图SR技术究竟是如何实现从“感知黑盒”到“场景白盒”的跨越？
从“知道有辆车”到“看清每一条车道线与周边车辆的意图”，这背后又经历了怎样的技术演进与融合突破？
【AI Tech说】第七期将为你揭开奥秘！
一、从“黑盒”到“透明”，SR开启人车共驾新体验
随着智能驾驶技术的飞速演进，用户对车辆“看得见、信得过”的需求日益增长。传统ADAS系统往往将感知结果隐藏在算法黑盒中，用户难以直观理解车辆当前所“看到”的世界。而SR（Surround Reality，环绕现实）技术应运而生——它将车辆多传感器（摄像头、毫米波雷达、激光雷达等）实时获取环境信息，并在仪表盘或中控屏上进行三维渲染，使用户能够直观理解车辆当前的感知状态。
传统意义上的SR仅针对感知要素进行渲染，并不能体现导航信息（我要去哪里以及怎么走）。因此，我们将感知要素与车道级数据进行深度融合，通过可视化手段，在座舱屏幕或AR-HUD上构建一个动态、精准、沉浸式的3D环境模型。
SR不仅提升了用户对车辆周边环境的直观认知，还显著增强了人机信任感与交互体验，在提升行车安全的同时，也成为高端智能座舱的核心差异化功能之一。
随着智能驾驶技术的飞速演进，用户对车辆“看得见、信得过”的需求日益增长。传统ADAS系统往往将感知结果隐藏在算法黑盒中，用户难以直观理解车辆当前所“看到”的世界。而SR（Surround Reality，环绕现实）技术应运而生——它将车辆多传感器（摄像头、毫米波雷达、激光雷达等）实时获取环境信息，并在仪表盘或中控屏上进行三维渲染，使用户能够直观理解车辆当前的感知状态。
传统意义上的SR仅针对感知要素进行渲染，并不能体现导航信息（我要去哪里以及怎么走）。因此，我们将感知要素与车道级数据进行深度融合，通过可视化手段，在座舱屏幕或AR-HUD上构建一个动态、精准、沉浸式的3D环境模型。
SR不仅提升了用户对车辆周边环境的直观认知，还显著增强了人机信任感与交互体验，在提升行车安全的同时，也成为高端智能座舱的核心差异化功能之一。
二、SR的产品形态：多元生态下的落地路径
2.1 从产品形态划分：从纯感知到全融合的一镜到底
随着技术发展，SR产品形态也在持续迭代。从产品代际来看，主要包括：纯感知SR、地图融合SR、全融合SR。
-
纯感知SR：早期形态，依赖实时感知构建局部地图，存在画面分割、抖动明显等问题。
-
地图融合SR：主流形态，将感知目标与高精地图静态要素融合，提升稳定性和准确性。
-
全融合SR：未来方向，实现“车位到车位”全场景3D连续体验，覆盖无图、SD、LD多种场景。
纯感知SR
在SR1.0时代，采用纯视觉或融合感知实时道路结构元素以及动态障碍物，通过局部环境建模构建局部地图（Local Mapping），进而生成可渲染的3D场景，实现“边开边建、边建边显”。这种产品形态一般如下图所示，在中控大屏上同时显示导航地图（或车道级导航）和SR。
这种产品形态会存在以下问题：
- 中控大屏被分割，导航和环境建模分开显示，产品体验割裂
- 部分场景下纯感知效果较差，导致SR环境建模混乱
地图融合SR
正式因为纯感知SR存在以上明显问题，同时伴随着技术迭代，目前主流环境建模产品采用这种技术路线，核心在于将实时感知目标（如车辆、行人、锥桶）与高精地图中的静态要素（车道线、路沿、交通标志）进行时空对齐与融合渲染。
基于超视距的先验车道级地图数据，一方面融合SR要素提供驾驶安心感，另一方面提供推荐车道/通行面等导航信息，让智驾/人驾更省心，避免不必要的变道，在分歧路等走对车道和道路。
- 感知 + 高精地图融合：利用BEV（Bird’s Eye View）空间统一表达，实现动静态要素的无缝拼接。
- AR形态叠加：在HUD或中控屏上以增强现实方式叠加虚拟引导线、将导航印在路上，实现所见即所得的视觉体验。
以上两种产品形态在精准车道级数据覆盖地方产品体验好，但是当精准车道级数据未覆盖、精度不足或者存在现势变更时，整体效果受限。
全融合SR（一镜到底）
为了改善现有基于LD地图打底，叠加感知动态要素存在覆盖不足，场景割裂等问题，未来SR会呈现一镜到底的产品形态。具体来说，SR建模会实现车位到车位级全场景3D体验。
2.2 从车厂软件生态划分
不同主机厂基于自身技术栈选择不同的SR渲染引擎：
- Unity 3D生态：如蔚来、小鹏等新势力，采用全Unity渲染座舱UI+SR场景，支持复杂光影、粒子特效与跨平台一致性，开发效率高。
- Kanzi生态：常见于传统OEM（如大众、通用）的仪表盘开发，Kanzi提供高性能2.5D/3D渲染能力，适合资源受限的仪表MCU。
- Android生态（OpenGL / Vulkan） ：依托Android Automotive OS，使用底层图形API实现定制化SR渲染，灵活性强但开发成本较高。
三、核心技术解析：让虚拟与现实无缝融合
3.1 感知与地图融合
SR的可信度高度依赖感知与地图的一致性。关键技术包括：
- BEV Multi-Modal（BEV MM）融合技术：将摄像头、雷达等异构传感器统一投影至鸟瞰图空间，通过BEV multi-model fusion实现跨模态目标关联以及时序稳定等技术，提升遮挡、低光照等场景下的鲁棒性。模型检测结果包含：车道线、路沿/护栏、停止线、斑马线、地面箭头、可通行面等静态道路结构元素，锥桶、水马等静态施工标志和障碍物车、两轮车、行人等动态交通参与者等。
- SR感知物-地图匹配算法：通过道路结构元素语义对齐、几何约束（如路沿曲率一致性）和时序滤波，实现自车在地图上精准的横纵向定位。在实现自车全局定位基础上，将动态障碍物精准“锚定”在地图坐标系中，避免“漂移”或“跳跃”。
要实现精准匹配效果知，需要基于全局定位结果和BEV观测与车道级地图数据实现精准匹配。事实上，由于观测误差和地图误差的存在，需要从匹配策略上支持这种非线性系统以及非高斯噪声。因此从算法策略上以粒子滤波方式支持原始的位姿计算。
粒子滤波核心是以一组N个加权粒子来描述状态：
这些粒子用于模拟基于历史观测所得的后验近似的概率分布：
最终估计的状态可以计算为粒子的加权平均值：
- SR感知平滑处理：引入卡尔曼滤波、轨迹预测与运动一致性约束，消除感知抖动，确保屏幕上车辆、行人的运动流畅自然，提升视觉舒适度。
由于感知障碍物存在一些明显抖动，需要从算法策略上进行运动预测和位置修正，这里采样卡尔曼滤波对障碍物进行跟踪滤波
同时，考虑到障碍车偶尔丢帧，需要建立跟踪队列和报出队列进行管理，避免渲染效果上的闪烁。
3.2 感知建图技术（Map-less SR）
在无高精地图场景下，系统需实时构建可渲染的局部环境：
- 基于静态感知道路结构元素，通过LaneSLAM技术实时建图：
根据车道线语义信息，实现前后帧关联，基于关联结果，进行帧间位姿优化；帧间叠加会出现明显的发散，根据帧间LaneSLAM进行非线性优化，提升矢量建图结果
- 基于BEV分割道路面（可通行面）进行无图时序建图处理
在BEV感知系统中，车道线/路沿分割存在一定抖动或者遮挡，导致无法稳定报出，如果以路沿构成道路面，整体效果受限。因此，从产品设计和技术角度，以BEV分割出可通行面，并进行帧间处理，构建稳定道路面进行渲染展示。如下图，绿色所示为可通行面。
3.3 渲染技术：从“能看”到“好看”
高质量SR不仅要求准确，还需具备电影级视觉表现力，因此需要渲染引擎的技术能力及美术的视觉设计。
渲染引擎
渲染引擎设计的好坏直接决定应用的上限和成本，这里重点展开地图SR相关的点来展开：
- 模型：模型是包含有关 3D 对象（如角色、地形或环境对象）的形状和外观的数据，是我们构建3D世界的基本元素，地图中主要使用程序模型和精模，增强场景还原度。
- 精模（High-Fidelity Models）库建设：建立包含数百种车型、交通设施的3D资产库，支持按品牌、颜色、姿态动态实例化。
- LOD：分级管理模型的方案，远距离使用低面数模型，近距离切换高精模，有效解决精模带来的面数压力和性能增长，平衡性能与画质
注：en.wikipedia.org/wiki/Level_…
-
- 骨骼蒙皮动画：将角色（或其他可活动物体）分为两部分：物体表面的多边形或参数化网格表示，以及一组相互连接的层级结构部件（称为关节或骨骼，共同构成骨架），即用于对网格进行动画（姿态和关键帧）的虚拟骨架。该技术在地图SR中主要应用于旋转的车轱辘、行走的路人、闪烁的车灯等。
注：docs.omniverse.nvidia.com/extensions/…
-
动态光影效果叠加：引入PBR（Physically Based Rendering）材质、动态阴影、环境光遮蔽（AO）及HDR后处理，使虚拟物体与真实光照环境融为一体，极大增强沉浸感。
- PBR（Physically Based Rendering）材质：力求以模拟真实世界中光学光照和表面的方式来渲染图像，通常被称为“基于物理的光照”或“基于物理的着色”。许多PBR流程旨在实现照片级真实感，双向反射分布函数和渲染方程的可行且快速的近似计算在该领域具有重要的数学意义。
- 动态阴影：为场景添加了一定程度的深度和真实感，否则对象看起来显得扁平。引擎一般采用阴影贴图+阴影级联的组合方式来实现实时的阴影效果，阴影贴图类似于深度纹理。光源生成阴影贴图的方式与摄像机生成深度纹理的方式类似。阴影级联 (Shadow Cascades) 有助于解决所谓透视锯齿，从方向光产生的实时阴影在靠近摄像机时会出现像素化，根据与摄像机的距离将视锥体区域分成多个区域，近端区域使用尺寸减小的单独阴影贴图（但具有相同分辨率）。
- 环境光遮蔽 (Ambient occlusion, AO)：一种着色和渲染技术，用于计算场景中每个点受环境光照的程度。例如，管子的内部通常比暴露的外部表面更暗（因此更暗），并且越往管子深处走，内部就越暗。环境光遮蔽可以看作是针对每个表面点计算的可及性值。在有天空的场景中，这是通过估算每个点可见天空的范围来实现的；而在室内环境中，则只考虑一定半径内的物体，并将墙壁假定为环境光的来源。其结果是产生漫反射的、非定向的着色效果，不会投射明显的阴影，但会使封闭和遮蔽区域变暗，并可能影响渲染图像的整体色调。它通常用作后期处理效果。与Phong 着色等局部方法不同，环境光遮蔽是一种全局方法，这意味着场景中每个点的光照都取决于其他几何体。然而，它只是对完全全局光照的一种非常粗略的近似。
- 地图功能：一些地图独有的渲染技术，基于地图数据结合部分渲染引擎基础能力实现的功能，优化用户体验
- 动态相机：除常规的跟车效果，导航中渲染经常需要对相机进行拉高或推近的调整，以完整的展示所需关注的诱导元素或地图事件。地图常见的场景为大弯道、路口、隧道、近拥堵路段等场景，SR有时也会根据周边车辆情况或车速进行更多场景的调整。配合加载范围调整，动态调整数据加载量，以平衡效果与性能。
- 屏幕空间碰撞：地图中有大量元素在相机视角下会出现重叠遮挡，如POI、摄像头气泡、拥堵气泡、诱导标等等。大部分元素是以公告板的形式（永远正对相机）展示，有多个可选方向，屏幕空间投影后多为矩形，做矩形相交测试即可（一般会增加压盖范围计算以避免闪烁），但也有少量元素为其他形状，如指引线屏幕空间投影后多不规则多边形，直接进行屏幕空间计算消耗过大，一般以中线投影后，矩形与线段的距离检测来近似。碰撞流程如下：
-
- 远端裁剪：一般作为性能优化手段，将距离车标较远的非重要元素进行过滤，减少渲染压力。多配合远端雾效、渐变等渲染手段来减少过滤时的差异感受。
效果设计
-
风格多样化：基于游戏引擎的渲染能力，可以搭配出各种风格的地图
-
科幻风：元素表现更虚幻，科学逻辑与幻想的融合，视觉与交互创新，类型多样性
-
写实风：更贴近还原现实，相对来说对细节还原要求更高
-
游戏风：沉浸感更高，光影效果更强烈
-
-
形态多样化：同样的元素，配合各自的风格和想法，可以展现多种不同的形态
-
机动点：作为一种关键引导信息，指引用户转弯，数据以矢量信息透出，结合积算距离，指引线数据，引导面数据等可制作出各种表现形态
-
气泡型：基础的引导方式，普通但有效
-
流水箭头型：与引导线结合，以动态效果的方式吸引用户注意，因为指引线是用户长时关注的元素，所以可以有效吸引关注
-
3D立体箭头型：强视觉引导型，在出现时能显著吸引用户关注
-
-
红绿灯：
-
气泡型：可在路口中有效展示灯态、时间等信息
-
写实立杆型：主要是搭配风格，凸显与现实一致性
-
TBT型：减少画面侵入，和常规TBT同位置，保持用户同类信息观感的一致性
-
3.4 感知增强，“好看”到“安心”
-
障碍车：车上传感器识别周边车辆距离及驾驶意图，对周边车辆进行不同状态标记，辅以多种颜色展现，使用户可以直观看到车辆感知到的周边车辆的威胁程度
-
探测波：通过对周边车辆及障碍物的监测，识别车身哪些方向存在碰撞风险，配合不同颜色的波纹展示及语音提醒，增强用户对周边威胁的感受
-
高亮车道&车道线：在变道时，通过周边车辆及障碍物的监测，识别到目标车道可能发生的碰撞风险或压线违规风险，通过编号提取地图中对应车道或车道线数据进行高亮展示，配合车上抬头显、多媒体后视镜等其他提醒手段，强化用户在变道时的危险感知
-
感知红绿灯：补充静态数据的不足，使更多路口可以有一致性的红绿灯表现
-
感知道路事件：可使地图与现实有更一致的表现，避免用户的疑惑
SR技术正从“锦上添花”走向“不可或缺”。它不仅是座舱智能化的视觉名片，更是构建人机共驾信任体系的关键一环。未来，随着端侧算力提升、BEV+Transformer架构普及以及车云协同建图的发展，SR将实现更高精度、更低延迟、更强泛化能力的“数字孪生驾驶舱”，真正让每一位用户“看得清、信得过、开得稳、更安全”。
