在今年的NVIDIA GTC大会上，NVIDIA正式发布了Isaac Teleop。Isaac Teleop是一个统一的框架，用于在仿真和真实世界系统中进行远程操作和数据采集，它规范了如何将人类输入转化为机器人动作。此次发布反映了机器人领域更广泛的转变。随着该领域向具身人工智能和通用机器人策略发展，瓶颈不再仅仅是模型架构，而是高质量人类演示数据的可用性。NVIDIA 的Isaac生态系统一直在不断发展以应对这一挑战，提供涵盖仿真（Isaac Sim）、学习（Isaac Lab）和远程操作（Isaac Teleop）的端到端解决方案。
MANUS 在Isaac Teleop中的集成
MANUS集成到Isaac Teleop中，作为高保真手部跟踪输入设备，以高维形式捕捉精确的手部运动，以便在机器人和仿真环境中实时使用。
MANUS手套通过保留手指弯曲、捏合力度调节和微调等细微的交互动态，实现了工具使用、抓握适应和双手协调等任务中的灵巧操作。这使得远程操作工作流程能够融入对复杂操作至关重要的精细手部动作。
系统架构与集成
从系统角度来看，MANUS 通过专用插件集成到Isaac Teleop中，作为远程操作协议栈中的输入设备。手部和手指的运动被实时捕捉，并通过重定向流程进行处理，从而生成机器人动作。
Isaac Teleop 实现了仿真和实际系统间该流程的标准化，从而在两种环境中都能实现一致的控制和数据采集。人体动作被转化为机器人指令，同时还能采集演示数据。
MANUS 能够捕捉精细的手部和手指运动，从而提高远程操作的精度和学习数据的质量。MANUS 通过MANUS手套插件集成到 Isaac Teleop 中，该插件利用MANUS SDK ***** 将跟踪数据流传输到Teleop框架。
工作流程和集成优势
对于MANUS用户而言，与Isaac Teleop的集成简化了远程操作工作流程的构建和扩展。MANUS 手套无需为每个系统构建自定义集成管道，只需通过插件连接即可将数据传输到Isaac Teleop。这降低了集成工作量，并实现了跨不同机器人和环境的复用。
它还提高了仿真系统和真实系统之间的一致性。同一套MANUS设置可以在两种环境中重复使用，从而减少数据采集方面的差异，并支持更高效的仿真到真实工作流程。
最后，它能够更有效地生成数据。使用MANUS采集的演示数据可用于学习流程，高保真度的手指追踪能够保留灵巧操作所需的细节，并提高训练数据的质量。
MANUS在Isaac生态系统中的作用：从远程操作到可扩展培训
在Isaac生态系统中，Isaac Teleop作为更广泛的数据管道的一部分，连接了Isaac Lab中的模拟、数据收集和学习。MANUS通过在模拟和真实世界环境中提供高保真度的手动输入来增强这一管道。
通过Isaac Teleop收集的演示数据可以集成到学习流程中，从而保留精细的动作数据，以完成灵巧性任务。通过与Isaac Lab集成，开发人员可以使用真实的人体动作来驱动虚拟机器人的手，从而在将策略部署到物理机器人之前，在仿真环境中实现快速原型设计、验证和数据生成。
Isaac Teleop和Isaac Lab携手合作，提供了一套紧密集成的流程，涵盖从人类演示到策略训练，再到在真实硬件上部署的整个过程。NVIDIA近期主导的EgoScale研究强调了大规模人类数据在训练灵巧机器人策略方面的重要性。在这些方法中，精确的手部和手指运动成为学习的关键输入信号。MANUS等解决方案能够捕捉高保真度的人体运动，既支持小规模远程操作数据采集，也支持新兴的大规模人机交互学习流程。
关于搜维尔科技我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展，使其处于技术前沿甚至更前沿。在这个频道上，我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus总部签署代理合作协议，成为其在中国大陆地区的授权代理经销商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务，欢迎垂询。
