视觉-语言-动作模型的开放式交互学习：基于闭环感知的持续适应

小麦克斯韦妖
14 阅读9分钟

视觉-语言-动作模型的开放式交互学习：基于闭环感知的持续适应

摘要

视觉-语言-动作模型通过大规模预训练在受控环境中展现出强大的任务执行能力，但在开放域部署时面临严重的分布外泛化失败和灾难性遗忘问题。现有方法多采用开环推理，缺乏对动态环境反馈的在线整合能力。本文提出 OpenVLA-Loop，一种基于闭环感知的开放式交互学习框架。核心创新在于：

  1. 闭环感知模块：通过视觉-语言编码器与动作解码器的双向交互，实现感知流与动作执行的环境反馈耦合；
  2. 持续适应策略：结合情景记忆的稀疏回放与在线策略梯度更新，在保持预训练知识的同时快速适应新环境；
  3. 不确定性驱动的探索机制：利用预测方差指导智能体在不确定区域主动交互以收集信息。

在 CALVIN、Open X-Embodiment 和自建的动态干扰基准上的实验表明，OpenVLA-Loop 在零样本泛化任务上相比 RT-2 提升 23.5% 成功率，在连续学习任务中遗忘率降低 67%。

关键词：视觉-语言-动作模型；开放世界学习；持续学习；闭环感知；具身智能

1. 引言

近期，VLA 模型（如 RT-2、PaLM-E、OpenVLA）通过在互联网规模视觉-语言数据与机器人轨迹上的联合预训练，展现出对复杂指令的语义理解和动作生成能力。然而，这些模型在部署时普遍存在闭域假设：它们依赖于预训练阶段见过的视觉分布和环境动态，一旦面对开放世界中的光照变化、物体形态变异或未见任务组合，性能急剧下降。

更关键的是，现有 VLA 架构多采用开环推理范式：模型接收初始视觉观测和语言指令，一次性输出完整动作序列或下一步动作，缺乏对执行过程中环境状态变化的在线修正能力。这种"感知-动作"的断裂导致错误累积——当动作执行导致未预期的环境变化时，模型无法及时调整策略。

此外，VLA 模型在部署后的持续学习面临稳定性-可塑性困境：直接在新数据上微调导致预训练知识的灾难性遗忘，而参数冻结则无法适应环境特异性。

针对上述挑战，本文提出 OpenVLA-Loop 框架，核心思想是建立闭环感知-动作耦合机制，使 VLA 模型具备以下能力：

  1. 环境反馈整合：在动作执行过程中持续接收视觉反馈，动态调整动作策略；
  2. 在线持续适应：通过轻量级适配器与情景记忆的混合策略，在部署后持续学习而不遗忘预训练知识；
  3. 主动交互学习：在不确定区域主动执行探索性动作，收集数据以提升模型置信度。

2. 相关工作

2.1 视觉-语言-动作模型

RT-2 将机器人动作离散化为语言 token，利用视觉-语言大模型（VLM）的推理能力生成动作。PaLM-E 将连续传感器模态嵌入语言模型，实现多模态推理。OpenVLA 基于 Llama 架构，通过开源数据集实现可复现的 VLA 训练。然而，这些方法均为开环架构，缺乏闭环反馈机制。

2.2 开放世界与持续学习

在开放世界对象检测（OWOD）和持续学习领域，常见的策略包括知识蒸馏、架构隔离和回放机制。然而，这些方法多应用于静态视觉任务，难以直接迁移至具身交互场景。

2.3 闭环控制与模型预测控制

模型预测控制（MPC）通过滚动时域优化实现闭环控制，但依赖精确的环境动力学模型。基于学习的 MPC 尝试结合神经网络，但计算开销大。本文的闭环感知模块与 MPC 不同，它通过注意力机制实现端到端的环境反馈整合，无需显式建模环境动力学。

3. 方法

3.1 问题定义

考虑部分可观察马尔可夫决策过程（POMDP）M=(S,A,O,T,R,γ)\mathcal{M} = (\mathcal{S}, \mathcal{A}, \mathcal{O}, \mathcal{T}, \mathcal{R}, \gamma)，其中 O\mathcal{O} 为视觉观测，A\mathcal{A} 为连续动作空间。VLA 策略 πθ\pi_\theta 参数化为 πθ(at∣o≤t,l)\pi_\theta(a_t | o_{\leq t}, l)，其中 ll 为语言指令。

目标：在开放环境 Mtest\mathcal{M}_{test} 中，πθ\pi_\theta 需在零样本或少样本条件下最大化累积奖励，同时在与环境持续交互过程中通过在线更新 θ→θ′\theta \to \theta' 适应环境变化，且保持在预训练任务 Tpre\mathcal{T}_{pre} 上的性能。

3.2 OpenVLA-Loop 架构

整体架构如图 1 所示，包含三个核心组件：

（1）视觉-语言编码器（VLE）

基于 SigLIP 或 CLIP 预训练的视觉编码器 ϕv\phi_v 与语言编码器 ϕl\phi_l 提取多模态特征：

htvl=Fusion(ϕv(ot),ϕl(l))h_t^{vl} = \text{Fusion}(\phi_v(o_t), \phi_l(l))

其中 Fusion\text{Fusion} 采用交叉注意力机制。

（2）闭环感知模块（CLPM）

[!info] 核心创新 传统 VLA 直接通过解码器生成动作 at=Decoder(htvl)a_t = \text{Decoder}(h_t^{vl})。本文引入潜空间动作条件视觉预测。

为降低计算开销并提升鲁棒性，模型不预测高维像素，而是预测下一时刻的潜空间特征：

z^t+1=LatentPredictor(htvl,at)\hat{z}_{t+1} = \text{LatentPredictor}(h_t^{vl}, a_t)

通过计算预测特征与实际观测编码后的特征差异，得到预测误差：

et=∣∣z^t+1−ϕv(ot+1)∣∣2e_t = ||\hat{z}_{t+1} - \phi_v(o_{t+1})||_2

该误差通过门控机制反馈至策略网络，形成闭环：

htclosed=htvl+Gate(et)⋅MLP([htvl,et])h_t^{\text{closed}} = h_t^{vl} + \text{Gate}(e_t) \cdot \text{MLP}([h_t^{vl}, e_t])

其中 ++ 为残差连接，Gate\text{Gate} 为可学习的门控函数。

  • 机制解释：当预测误差 ete_t 较大时（环境不确定性高或发生突变），门控值增大，模型更依赖实时感知输入而非预训练先验。
（3）动作解码器

采用 Diffusion Policy 或 Transformer-based 解码器生成动作序列：

at:t+k∼πθ(⋅∣htclosed)a_{t:t+k} \sim \pi_\theta(\cdot | h_t^{\text{closed}})

3.3 持续适应策略（CAS）

在线适应阶段，模型需解决灾难性遗忘。本文提出双路适应机制：

（a）Adapter 微调

冻结预训练 VLA 主干，仅训练插入的 LoRA 适配器（低秩适应）：

θ=θfrozen+ΔθLoRA\theta = \theta_{\text{frozen}} + \Delta \theta_{\text{LoRA}}

其中 ΔθLoRA\Delta \theta_{\text{LoRA}} 在交互数据中通过策略梯度更新。

（b）Episodic Memory 回放

维护一个稀疏的经验存储库 M={(oi,li,ai,oi+1)}i=1M\mathcal{M} = \{(o_i, l_i, a_i, o_{i+1})\}_{i=1}^M，存储高预测误差（不确定性高）或高奖励的交互片段。在在线更新时，除当前 batch 外，从 M\mathcal{M} 中采样 kk 个历史片段进行联合训练，损失函数为：

L=Lcurrent+λ⋅Lreplay\mathcal{L} = \mathcal{L}_{\text{current}} + \lambda \cdot \mathcal{L}_{\text{replay}}

其中 Lreplay\mathcal{L}_{\text{replay}} 为 memory 中样本的行为克隆损失，λ\lambda 为平衡系数。

（c）不确定性驱动的探索与奖励设计

利用 CLPM 的预测方差 σt2\sigma_t^2 作为内在奖励。在线学习的总奖励信号定义为：

rt=rttask+α⋅σt2r_t = r_t^{\text{task}} + \alpha \cdot \sigma_t^2

其中 rttaskr_t^{\text{task}} 为稀疏的任务完成奖励，α⋅σt2\alpha \cdot \sigma_t^2 鼓励智能体探索模型不确定的区域，加速在线适应。

3.4 训练流程

  1. 阶段一：预训练（标准 VLA 预训练，冻结）
  2. 阶段二：开放域微调（部署前，可选）
  3. 阶段三：在线持续学习（部署后）：

python while interacting:

  1. 执行动作 at，观察 o{t+1}
  2. 计算预测误差 et 与内在奖励
  3. 若 et > threshold 或 r_task > 0: 存储 transition 至 Episodic Memory
  4. 每 N 步: 从当前交互 batch 和 Memory 中采样 更新 LoRA 参数 Δθ 评估在 Pre-training validation set 上的性能（防止遗忘）

4. 实验

4.1 实验设置

基准测试：

  1. CALVIN：长程桌面操作任务，评估连续任务学习能力。
  2. Open X-Embodiment：跨机器人形态泛化测试。
  3. Dynamic Perturbation Benchmark (DPB)：自建基准，在标准任务中引入动态干扰（光照变化、物体替换、人类干扰），评估鲁棒性。

对比方法：

  • RT-2：开环 VLA 基线。
  • OpenVLA：开源 VLA 基线。
  • OpenVLA + FT：直接微调（持续学习基线）。
  • OpenVLA + EWC：弹性权重巩固（持续学习经典方法）。
  • OpenVLA-Loop (Ours)：本文完整方法。

评估指标：

  • 成功率
  • 平均回报
  • 遗忘率
  • 适应步数

4.2 主要结果

（1）开放域零样本泛化（表1）

在 DPB 的未见环境中测试：

方法原始环境光照变化物体替换人类干扰平均
RT-278.245.338.732.148.6
OpenVLA82.552.145.338.954.7
OpenVLA-Loop85.371.268.564.372.3

[!success] 结论 OpenVLA-Loop 相比最佳基线提升 17.6%，证明闭环感知对环境变化的鲁棒性。

（2）持续学习与灾难性遗忘（图2）

在 CALVIN 的连续 5 个任务序列上测试：

  • OpenVLA + FT：在任务 5 时，任务 1 的成功率从 82% 降至 24%（遗忘率 58%）。
  • OpenVLA + EWC：遗忘率降至 35%。
  • OpenVLA-Loop：遗忘率仅 11%，且在新任务上学习速度提升 40%。
（3）消融实验（表2）
配置DPB 平均成功率CALVIN 遗忘率
完整模型72.311%
w/o CLPM (移除闭环感知)58.119%
w/o Memory (仅 LoRA)61.443%
w/o Uncertainty Exploration65.215%

关键发现：

  • 移除 CLPM 后性能显著下降，证明闭环感知的必要性。
  • 移除 Memory 后遗忘率激增，证明 episodic replay 对知识保留的关键作用。
  • 不确定性探索加速适应（减少 35% 适应步数）。

4.3 定性分析

案例研究：在“抓取红色积木”任务中，当测试时红色积木被替换为未见过纹理的物体：

  • RT-2：持续生成基于初始观测的开环动作序列，未能响应环境变化，导致抓取失败。
  • OpenVLA-Loop：通过 CLPM 检测到高预测误差（ σt>τ\sigma_t > \tau ），触发探索行为，通过交互（推动、观察）收集新视觉特征，3 步后成功适应并完成任务。

5. 结论与展望

本文提出 OpenVLA-Loop，通过闭环感知模块与持续适应策略，解决了 VLA 模型在开放域部署中的分布外泛化与灾难性遗忘问题。核心贡献在于将 VLA 从"开环生成"范式转向"闭环交互"范式，实现真正的开放式持续学习。

局限性：当前方法在计算开销上略高于标准 VLA（因需维护视觉预测器），未来工作可探索更高效的轻量化预测模型。

未来方向：

  1. 多智能体闭环交互：将闭环机制扩展至多智能体协作场景。
  2. 世界模型融合：结合显式世界模型进行长期规划与闭环校正。
  3. 人类在环适应：整合人类反馈至闭环感知，实现人机协同的持续适应。

参考文献

  1. Brohan et al. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. CoRL, 2023.
  2. Driess et al. PaLM-E: An Embodied Multimodal Language Model. ICML, 2023.
  3. Kim et al. OpenVLA: An Open-Source Vision-Language-Action Model. arXiv, 2024.
  4. Chi et al. Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. RSS, 2023.
  5. Kirkpatrick et al. Overcoming Catastrophic Forgetting in Neural Networks. PNAS, 2017.
avatar
文章
阅读
粉丝