由Meta FAIR开发的OSMO手套通过在人类演示过程中捕捉丰富的触觉反馈，这一用例的实现标志着人类到机器人技能转移的突破。
挑战
大多数在演示管道中学习的机器人严重依赖于基于视觉的手部跟踪。当指尖被物体、工具或表面遮挡时，这些方法在真实世界操作中就会失效。同时，视觉无法推断压力、剪切力或抓握稳定性等接触力。因此在没有触觉信息的情况下训练的策略经常会因不一致的压力应用、滑动或在执行期间失去接触而失败。
解决办法
OSMO触觉手套在指尖和手掌上集成了12个三轴磁性触觉传感器，以捕捉法向力和剪切力。为了防止接触期间视觉遮挡频繁发生的手部跟踪退化，其选用了MANUS Metagloves与OSMO系统集成。
MANUS Metagloves 手套可提供不依赖于摄像机可视性的直接手指关节感测，提供干净的关节水平运动学而不会限制人类双手的自然灵巧性，并且可在不干扰OSMO磁性触觉传感器的感测频率下操作。这种组合确保了在遮挡情况下连续和准确的手姿态跟踪，实现了手部运动和触觉力之间的可靠对准，并使得触觉驱动的人到机器人的技能转移更加实用和稳定。
结果
MANUS和OSMO系统在使用带有灵巧机械手的Franka机械臂的接触丰富的擦拭任务上进行评估。机器人使用MANUS手套和OSMO触觉反馈捕获的人类演示上进行训练，而无需使用人机交互数据。
利用MANUS手部跟踪和触觉感知的策略OSMO实现了72%的成功率，相比之下，只使用视觉和本体感知的成功基线只有56%。触觉感知策略消除了与接触相关的故障模式，如压力不足、施力不均匀和抓地力丧失。其余的失败主要是由于任务覆盖不完整，而不是因为接触执行冲突，这突出了MANUS手套推动稳定可靠的触觉驱动机器人学习的重要性。
