2024-08-28，由中国科学院创建AeroVerse，是一个针对无人机代理的基准测试套件，用于模拟、预训练、微调和评估航空航天具身世界模型。
具身世界模型（Embodied World Model）是一个人工智能领域的概念，它指的是一个能够模拟和理解环境的智能系统，这个系统具备通过感知、认知和行动与环境互动的能力。在这种模型中，智能体（agent）被视为一个具身的存在，它不仅仅是一个被动的观察者，而是一个能够主动感知环境、进行决策并执行动作以实现特定目标的实体。
一、背景：
无人机在多种应用中的广泛使用，包括光伏巡检、河流垃圾检测、交叉口行人交通监控、电力巡检和森林火灾救援等。然而，这些应用通常依赖于无人机的手动遥控操作，导致操作员疲劳，可能错过检查。因此，迫切需要具有自主智能的无人机以降低成本并提高效率。接着，论文提出了“航空航天具身智能”的概念，重点是赋予无人机等无人平台自主地整合感知、认知和行动的能力。
航空航天具身智能： 目的赋予无人机等航空航天平台自主感知、认知和行动的能力，并实现与人类和环境的自我中心主动交互。航空航天具身世界模型是实现无人机自主智能的有效手段，也是实现航空航天具身智能的必要途径
目前遇到的困难和挑战:
-
无人机任务定义缺失：无人机代理必须理解四维时空的内在相关性，并在场景随机化和局部可观测性条件下执行动作。
-
无人机3D数据获取困难：获取户外3D数据需要专用设备，如无人机，这增加了数据获取的难度。
-
无人机数据收集成本高：无人机在三维空间中的运动范围比地面代理大，需要大量的训练才能有效地进行数据收集。
二、让我们一起了解AeroVerse的无人机代理基准测试套件
AeroVerse的基准测试套件，包括一个仿真平台AeroSimulator，构建了首个大规模真实世界图像-文本预训练数据集AerialAgent-Ego10k，并创建了虚拟图像-文本-姿态对齐数据集CyberAgent-Ego500k，以促进航空航天具身世界模型的预训练。
首次明确定义了五个下游任务：航空航天具身场景意识、空间推理、导航探索、任务规划和运动决策，并构建了相应的指令数据集（SkyAgent-Scene3k、SkyAgent-Reason3k、SkyAgent-Nav3k、SkyAgent-Plan3k和SkyAgent-Act3k），用于微调航空航天具身世界模型。
添加图片注释，不超过 140 字（可选）
三、让我们一起展望航空航天具身智能 的应用
比如，我是一名光伏电站的运维负责人，我的电站占地面积巨大，铺满了成千上万的太阳能电池板。为了确保这些电池板始终处于最佳工作状态，我需要定期进行巡检，检查是否有损坏、污垢积累或者其他可能影响发电效率的问题。
在以前，这项工作需要大量的人力和时间去完成。团队需要爬上爬下，检查每一排电池板，记录下有问题的地方，整个过程费时费力。
但现在，有了航空航天具身智能技术的加入，这一切都变得简单多了。我可以使用无人机（UAV）来执行这项任务。这些无人机搭载了具身智能系统，它们能够自主地感知、认知和行动。
具体案例：
- 准备阶段：在巡检开始前，无人机会通过具身世界模型了解电站的布局，包括电池板的排列、电站的地形等。这样，无人机就能规划出一条高效的巡检路径。
- 起飞与自主飞行：随着一声令下，无人机从地面起飞，开始按照预设的路径自主飞行。它能够感知周围的环境，避开障碍物，确保安全飞行。
- 图像采集：在飞行过程中，无人机搭载的高清摄像头开始工作，对电池板进行拍照。这些图像会被实时传输回地面控制站。
- 智能分析：与此同时，无人机上的智能系统会对这些图像进行分析，识别出电池板上的裂缝、阴影或其他异常情况。它甚至能够评估污垢的严重程度，并给出清洁建议。
- 报告生成：巡检完成后，无人机自动返回，并生成一份详细的巡检报告。报告中不仅包括了问题电池板的位置和状况，还有维修或清洁的建议。
- 后续处理：我作为运维负责人，拿到这份报告后，就可以迅速地安排维修团队去处理那些有问题的电池板了。
通过航空航天具身智能技术的应用大大提高了光伏巡检的效率和准确性。提高了我们的工作效率。
