一、研究背景与问题提出
1. 研究背景
Embodied 场景理解需要智能体不仅能理解已观察到的视觉 - 空间信息，还能主动探索 3D 物理世界以确定下一步行动。近年来，3D 视觉 - 语言（3D-VL）模型在静态 3D 重建（如网格、点云）中的物体 grounding（定位与关联）任务上取得进展，但缺乏主动感知和探索环境的能力；而强化学习（RL）基於的 embodied 智能体虽能探索环境，却存在样本效率低、泛化能力差、缺乏显式空间表示等问题。
2. 核心问题
现有方法存在三个关键挑战：
- 如何在无需昂贵 3D 重建的情况下，从原始 RGB-D 输入中有效学习在线表示，同时保证丰富语义、空间感知和终身记忆？
- 物体 grounding 与空间探索的联合优化尚未被充分研究；
- 训练 embodied 智能体需要大规模轨迹数据，但收集多样化真实世界轨迹难度大，且有效利用这些数据的方法仍待解决。
二、方法创新：MTU3D 框架
为解决上述问题，本文提出Move to Understand（MTU3D） ，一个统一框架，通过三个核心创新桥接视觉 grounding 与探索：
1. 在线查询表示学习（Online Query Representation Learning）
- 输入与处理：直接以原始 RGB-D 帧为输入，生成单帧局部查询并写入全局空间记忆库。
- 特征提取：利用 2D 基础模型（如 DINO、SAM）的特征提取和分割先验，使查询表示同时捕捉丰富语义和精确 3D 空间信息。
- 动态空间记忆库：通过计算当前局部查询与历史全局查询的边界框 IoU（交并比）进行匹配融合，更新全局查询（融合边界框、特征、语义向量等）；同时维护占据地图（occupancy map）以识别未探索区域的 “前沿”（frontiers），作为探索目标。
2. 统一探索 - Grounding 目标（Unified Exploration-Grounding Objective）
- 核心思想：将未探索区域表示为 “前沿查询”，实现物体 grounding 与探索的联合优化。
- 决策机制：输入来自空间记忆库的物体查询和占据地图检测到的前沿查询，通过空间推理 Transformer 计算统一决策分数，选择分数最高的查询（物体或前沿）作为目标 —— 若为物体查询则执行 grounding，若为前沿查询则执行探索。
- 多模态目标支持：通过 CLIP 编码器处理语言、图像等多模态目标，将其嵌入 Transformer 特征空间以实现跨模态注意力交互。
3. 端到端视觉 - 语言 - 探索预训练（End-to-End Vision-Language-Exploration Pre-training）
-
数据规模：使用超百万条轨迹数据，包括真实世界 RGB-D 轨迹和模拟环境（HM3D）数据。
-
数据增强：开发自动轨迹混合策略，融合专家轨迹和噪声导航数据，提升训练多样性。
-
训练流程：
- 阶段 1：低阶感知训练，优化局部查询的空间、语义和置信度信息（损失函数含 3D 边界框 IoU 损失、掩码损失、语义向量余弦相似度损失等）；
- 阶段 2：VLE 预训练，利用百万级轨迹联合训练探索与 grounding，通过二元交叉熵损失优化统一决策分数；
- 阶段 3：任务特定微调，针对具体导航任务优化性能。
三、实验结果
1. 基准测试表现
MTU3D 在多个 embodied 导航和问答基准上超越现有方法，具体提升如下：
| 基准测试 | 任务类型 | 性能提升（成功率） |
|---|---|---|
| HM3D-OVON | 开放词汇导航 | 13.7% |
| GOAT-Bench | 多模态终身导航 | 23.0% |
| SG3D | 时序任务导航 | 9.1% |
| A-EQA | 主动 embodied 问答 | 2% |
2. 消融实验验证
- VLE 预训练的作用：在 OVON、GOAT、SG3D 中，预训练使成功率分别从 27.8%→33.3%、22.2%→36.1%、22.9%→27.9%，验证其对多样化任务的普适性。
- 空间记忆的价值：在 GOAT-Bench 中，保留记忆使物体、描述、图像目标的成功率分别从 10.5%→52.6%、28.6%→71.4%、26.7%→60.0%，证明终身记忆对长期推理的重要性。
- 探索效率：与单纯前沿探索相比，MTU3D 在 6 步探索时的成功率（50.0% vs 33.3%）和 SPL（35.3% vs 30.3%）更优，说明语义引导的探索更高效。
3. 真实世界部署
在真实机器人（配备 Kinect RGB-D 相机和 Jetson Orin 处理器）上部署，无需真实世界微调即可有效处理家庭、走廊、会议室等场景，验证了其对真实数据的适应性。
四、结论与贡献
1. 核心贡献
- 提出 MTU3D 框架，首次桥接视觉 grounding 与探索，实现高效、多功能的 embodied 导航；
- 设计统一目标函数，联合优化物体定位与空间探索；
- 提出 VLE 预训练方案，利用大规模模拟与真实轨迹数据，提升模型泛化能力；
- 在多模态导航和问答任务中验证了方法的优越性，为 embodied 智能体的发展提供了新方向。
2. 局限与未来方向
- 部分任务（如 SG3D 时序导航）的整体成功率仍较低，需进一步提升复杂任务的推理能力；
- 探索效率在长轨迹中仍有优化空间，可结合更精细的语义规划策略。
五、关键术语解释
- 视觉 Grounding：将语言、图像等模态的目标与 3D 场景中的物体或区域关联的过程。
- Embodied Navigation：智能体在物理或模拟环境中，通过感知 - 行动循环完成目标导向移动的任务。
- RGB-D 数据：同时包含彩色图像（RGB）和深度信息（D）的输入，用于构建 3D 空间感知。
