在之前的几篇文章中,我们陆陆续续介绍了几篇具有代表性的 embodied ai 方向相关的文章,这篇文章学习了一篇 survery, 同时对这个方向的文章做个总结。
介绍
随着训练数据多样性的变化,目前 AI 领域已经不满足于只是从互联网中获取数据了,我们更希望 AI 能够像人类一样,对真实环境中出现的各种情况进行理解和处理。接下来,将用7种特征在 9种不同的 emboied ai 模拟器上进行测试。然后介绍 embodied ai 方向主流的方向
AI simulators
这一章节我们将介绍9种不同的 simulatos。 DeepMind Lab 是一个第一人视角的3D游戏平台,在这个平台上可以利用强化学习接口做人工智能和机器学习相关的系统研究;AI2-THOR 提供了 卧室、浴室、客厅、厨房四个场景下接近120张真实环境的照片,它是基于unity 3d引擎的,同时开放了 python api 给开发者,也支持上传自己的环境,模拟交互;此外,还有CHALET和VirtualHome 环境都是客厅内, VRKitchen 顾名思义是在厨房场景;此外还有 Habitat-Sim 、iGbsion、SAPENG、ThreeDWord。
这些 simulators有7种基本的特征:Environment, Physics, Object Type, Object Property, Controller, Action, and Multi-Agent。 关系图如下:
相关研究领域总结
目前主流的研究方向主要有三个: visual exploration、 visual navigation、 embodied QA。其复杂度如下图所示。
我们比较熟悉的是 visual navigation,对它的评测,一般有两种形式:
- 导航到正确目的地的概率: 准确率
- SPL: 达到终点之后,所走的路径的平均长度;计算公式如下:
此外,其实不一定会是用正确导航的准确率作为评测标准,有时候,会用错误率来评价,因为对于导航来说,我们对它的错误的容忍度是很低的。
开启掘金成长之旅!这是我参与 「掘金日新计划 · 2 月更文挑战」的第 8 天,点击查看活动详情