在11月的CoRL大会上,NVIDIA推出了GR00T 2,它解决了机器人学习中的一个核心挑战。机器人必须从人类经验中获得身体技能,并使其适应与我们不同的身体。基于NVIDIA Cosmos,GR00T 2联合预测未来的视频和机器人动作,将场景的演变与导致这些变化的动作联系起来。
一个关键的进步是交叉适应,它将人类展示的技能转移到机器人身上,而无需对这些任务进行远程操作演示。MANUS手套捕捉到人类操作背后的手指运动。结合手腕跟踪和同步视频,这些手部运动数据将成为用于灵巧操作的结构化机器人训练数据。
用数据手套捕捉人类演示
NVIDIA的人机捕捉系统结合了测量手指关节角度的MANUS数据手套、捕捉手腕位置和方向的腕戴式PICO跟踪器,以及记录同步多视图视频的头戴式和腕戴式摄像头。这些流提供视觉和运动数据,用于训练GR00T 2学习预测未来的观测和机器人动作。
演示者直接用自己的手执行任务,在录制过程中没有机器人跟随。这将演示捕捉与机器人实际操作分开,并保留了自然运动,包括研究人员远程操作设置无法复制的快速、有针对性的动作。
MANUS手套在滤纸设置演示中捕捉手指关节,与手腕跟踪和GR00T 2训练的多视图视频同步。
将人类运动重新定位到机器人手部
人类和机器人的手在大小、比例和关节结构上有所不同。转移演示需要保留交互的几何形状,同时将运动转换为机器人的可用自由度。
NVIDIA首先将捕捉设置与机器人对齐。摄像机位于机器人匹配的视点,记录的手腕轨迹在重力对齐的机器人基架中表示。特定任务的空间偏移将轨迹放置在机器人的工作空间内。
MANUS手指关节测量,结合手腕跟踪,重建了演示者的3D手部姿势。然后,NVIDIA的几何重定向求解器会建立一个锚定在索引指尖的共享参考系。它将机器人的拇指相对于指尖定位,以保持拇指-食指夹持的几何形状,而其余的手指则遵循人类指骨的方向。
使用指尖标记点,求解器计算22自由度Sharpa手的关节角度目标,然后求解定位手所需的7自由度手臂配置。
对于抓握移液管等交互,目标是保持指尖关系,使抓握成为可能。机器人的关节角度可以与演示者的不同,同时保持相关的接触几何形状。
GR00T 2的人对机器人学习管道:捕捉人类演示、重定向动作,并与机器人数据进行联合训练,以便在没有特定任务的远程操作演示的情况下执行。
从人类演示到机器人实际执行
在训练后,NVIDIA以1:1的采样率将人类演示视频及其重定向动作标签与目标机器人的一般交互记录相结合。这些机器人记录被称为“任务无关的游戏数据”,排除了目标任务,并提供了机器人外观、运动以及与环境交互的示例。
基于跨实施例预训练,GR00T 2通过联合视频和动作预测从两个来源学习。人类演示提供了任务策略,而机器人记录将其固定在目标体内。这两个来源都训练未来的视频预测,并共享机器人动作摄像头。
这种方法使GR00T 2能够执行灵巧的操作任务,而无需进行特定任务的遥控演示。
通过虚拟仿真缩放机器人训练数据
仿真扩展了GR00T 2的训练和评估能力。NVIDIA的从人到模拟到真实的工作流程从人类视频中重建物体和手-物体运动,然后在模拟中训练强化学习专家。随机条件和执行干扰会产生各种演示和恢复行为,在NVIDIA Isaac Lab中渲染,用于微调GR00T 2。
人类演示、机器人体验和仿真共同支持技能获取,减少了特定任务的远程操作。MANUS提供手指运动测量,帮助将人类的灵巧性转化为机器人训练数据,支持更具适应性的机器人操作。