从今天开始准备写《基于深度学习的机器人智能控制算法》
以普通的六轴机器人抓取为例,模型输入是多个摄像头采集到的图像,输出是机器人每个轴的动作或末端执行器的动作
我觉得在这个项目中,99%以上的时间都应该花在合成数据上。若采用人工标注数据,当机器人参数、待抓取物形态或摄像头位置等发生改变时,就可能需要重新标注 接下来我将重点研究如何合成数据,这个过程会很长,特别麻烦,希望结果不要太差
我计划先基于trimesh生成轨迹,再用不同的3D引擎做渲染。当然也可用专业的仿真引擎,比如MuJoCo、SAPIEN、NVIDIA Isaac Sim等,依个人喜好
以unitree的z1机器人为例,参考z1_description,机器人模型可视化如下:
对应的碰撞模型可视化如下:
接下来要在机器人末端装两个摄像头,效果如下:
再配个桌面,放个待抓取的小方块,给机器人换个颜色,效果如下:
两个摄像头采集到的图像如下:
至此,仿真环境就基本上搭建完了