将视觉-语言-行动(VLA)策略扩展到具有高自由度灵巧手的双手机器人是一项艰难的挑战。ByteDexter V2灵巧手每只手有21个自由度，该方案创造了一个传统遥操作方法难以企及的56自由度双手系统。字节跳动Seed的研究人员在GR-Dexter技术报告中指出，当每个末端执行器都是需要精确、协调控制的多指拟人手时，难度会大大增加。
为了让VLA的操作在该规模上取得成功，研究人员需要捕捉复杂的手与物体交互的高质量演示数据。核心问题是:如何有效地收集自然的双手运动轨迹，以保持对训练稳定操作策略至关重要的细粒度手指运动学。
用于真实机器人数据收集的高保真手部跟踪
字节跳动Seed通过将MANUS Metagloves 手套作为其数据收集管道中的主要手部动作接口解决了这一难题。将用于手腕姿势跟踪的Meta Quest VR耳机与用于捕捉手指运动细节的MANUS手套相结合，Quest控制器安装在手套背上，以提高协调的手腕-手跟踪的可靠性。
该配置使遥控操作者能够同时控制两个装备V2灵巧手的Franka Research 3机械臂实现长视野操作任务。通过MANUS手套捕捉到的人类手部动作实时重定向到关节位置命令。手部运动重定向被公式化为一个约束优化问题，该问题结合了手腕到指尖和拇指到指尖的对准项以及避免碰撞约束，通过序列二次规划求解。
遥操作系统展示了从诸如积木之类粗糙操作到包括编织和书法在内的精细运动任务的各种任务的稳定性。经过培训后，遥控操作者成功完成了长时间的任务，能够为化妆台清理和可推广的取放实验收集大约20小时的高保真机器人轨迹。
支持跨灵巧手传输的数据质量
基于MANUS的远程操作管道不仅对收集机器人演示数据至关重要，同时也对支持GR-Dexter泛化能力的更广泛的数据策略至关重要。人手和ByteDexter V2设计之间的拟人化对应为利用大规模以自我为中心的手到对象交互数据集创造了巨大潜力的应用前景。
未来方向
字节跳动Seed的实践表明，将高保真手部跟踪与拟人化灵巧手硬件相结合，为双手操作研究创建了一个有效的遥操作接口。MANUS手套能够有效地收集演示数据，这些数据对于在高自由度系统上执行VLA训练策略至关重要。人类和机器人手之间的结构相似性有助于跨灵巧手控制转移，这是超越基于手爪系统扩展灵巧操作能力的关键优势。
