背景
在当前的机器人研究中，人机远程操作的方法有很多种，包括基于视觉的跟踪、动作捕捉系统、虚拟现实界面和外骨骼套装。然而，目前还没有一个标准化的框架来客观、一致地比较这些方法。
上海人工智能实验室2025年的一项研究通过引入TeleOpBench填补了这一空白，TeleOpBench是一个用于评估双臂灵巧远程操作的统一基准测试。该基准测试在NVIDIA Isaac Sim中运行一致的任务，并在真实场景中复现这些任务，以任务成功率和完成时间作为在模拟和物理环境中评估性能的主要指标。
远程操作接口
遥操作平台对比了四种捕捉和传递人体运动到机器人的方法：
-
基于动作捕捉（MANUS数据手套+Xsens动作捕捉）：结合Xsens MVN套装实现的全身惯性追踪和MANUS数据手套的高分辨率手部动作捕捉，从而实现精确的肢体和手部动作控制。
-
基于视觉的方法：使用单目RGB相机，结合人体姿态估计（SMPLer-X、MediaPipe）和逆运动学。
-
基于虚拟现实技术：使用Apple Vision Pro和OpenXR追踪技术进行手腕和手部姿态估计。
-
基于外骨骼：使用运动学对齐的机械服进行直接关节映射，搭配霍尔效应传感器手套，每只手可提供15个自由度。
结果
实验中，在三个商用人形机器人平台（Unitree H1-2、Fourier GR1-T2、Unitree G1）上，对四种远程操作界面进行了 10 项不同复杂程度的代表性任务的比较。
表1：仿真中不同任务下远程操作系统的性能比较
表2：远程操作系统在实际任务中的性能比较
在仿真和实际实验中，性能趋势保持一致。使用MANUS数据手套和Xsens MVN的运动捕捉流程实现了最高的成功率和最快的完成速度。它在抓取、插入和双手协调方面展现出卓越的精度，并具有很强的仿真到实际迁移能力。
外骨骼和虚拟现实系统性能可靠，但也存在一些局限性，例如手臂整体运动速度较慢或对遮挡较为敏感。基于视觉的追踪系统在简单任务中表现尚可，但在复杂、高灵巧性的场景中则显得力不从心。
为什么这很重要
对于具身机器人学习而言，人类示范的质量直接影响策略性能和仿真到现实的迁移。手指关节活动度、运动流畅性和协调性的细微差异都会显著影响学习到的操作策略在真实任务中的表现。因此，高分辨率跟踪对于可靠的机器人学习至关重要。
TeleOpBench测试结果表明， MANUS数据手套实现的高保真手指和肢体追踪，在所有评估系统中提供了最准确、最高效的远程操作数据。通过捕捉精细的关节角度和流畅的运动轨迹，基于 MANUS 的运动捕捉流程支持精准的抓取、插入和双手协调操作。
