基于NVIDIA Isaac Lab 2.3的机器人学习流程优化
增强人形机器人能力
Isaac Lab 2.3改进了人形机器人的全身控制、模仿学习和运动能力。该更新扩展了远程操作数据收集功能,支持更多设备如某机构的VR设备和某机构的手套,加速演示数据集的创建。此外,还包括基于运动规划器的工作流,用于生成操作任务数据。
新的强化学习和模仿学习功能
Isaac Lab 2.3为灵巧操作任务提供新功能,包括感知和本体感觉的字典观察空间,以及自动域随机化(ADR)和基于群体的训练(PBT)技术,实现更好的强化学习训练扩展性。
启动灵巧环境训练的脚本:
./isaaclab.sh -p -m torch.distributed.run --nnodes=1 --nproc_per_node=4 scripts/reinforcement_learning/rsl_rl/train.py --task Isaac-Dexsuite-Kuka-Allegro-Reorient-v0 --num_envs 40960 --headless --distributed
改进的灵巧操作远程操作
Isaac Lab 2.3包含对某机构G1机器人的远程操作支持,为某机构三指手和某机构五指手提供灵巧重定向。灵巧重定向是将人手配置转换为机器人手关节位置的过程,实现高效的人机技能转移。
引入无碰撞运动规划用于操作数据生成
SkillGen是一个生成自适应、无碰撞操作演示的工作流。它将人工提供的子任务段与GPU加速运动规划相结合,使机器人能够从少量人工演示中学习真实世界的接触丰富操作任务。
运行预注释数据集的命令:
./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
--device cpu \
--num_envs 1 \
--generation_num_trials 10 \
--input_file ./datasets/annotated_dataset_skillgen.hdf5 \
--output_file ./datasets/generated_dataset_small_skillgen_cube_stack.hdf5 \
--task Isaac-Stack-Cube-Franka-IK-Rel-Skillgen-v0 \
--use_skillgen
移动机器人端到端导航
开发人员现在可以使用Isaac Lab中的移动工作流对某机构的COMPASS进行后训练,这是一个基于视觉的移动管道,支持跨机器人类型和环境的导航。该工作流涉及在Isaac Sim中生成合成数据、移动模型训练,以及使用某机构Jetson Orin或某机构Thor进行部署。
人形机器人的运动操作合成数据生成
运动操作是移动和操作的协调执行——机器人在对物体进行操作的同时移动身体,被视为一个耦合的全身任务。
该工作流通过将导航与全身控制器集成,合成耦合操作和移动的机器人任务演示。系统通过随机化桌面拾放位置、目的地和地面障碍物来增强演示。
策略评估框架
某机构和某机构正在共同开发NVIDIA Isaac Lab - Arena,这是一个用于基于模拟实验的开源策略评估框架。使用框架API,开发人员可以简化和执行复杂的大规模评估,而无需构建系统。
基础设施支持
Isaac Lab 2.3支持在某机构RTX PRO Blackwell服务器和某机构DGX Spark上运行,由某机构GB10 Grace Blackwell超级芯片提供支持。
开始使用Isaac Lab 2.3
Isaac Lab 2.3通过增强人形控制、扩展远程操作以简化数据收集,以及自动生成复杂操作和移动数据,加速机器人学习。
要开始使用Isaac Lab 2.3的早期开发者版本,请访问GitHub仓库和文档。