Agent4MineCraft串烧

0 阅读1分钟

可分为以下四类

image.png

表格

方法所属流派是否分层 RL是否世界模型是否多模态规划方式执行方式是否环境建模核心依赖
Plan4MC分层 RL + 技能分解✅ 是❌ 否✅ 弱多模态(MineCLIP)LLM 技能图 + DFS底层 RL 技能❌ 不建模内在奖励 + 技能学习
VoyagerLLM 规划 + 代码执行❌ 否❌ 否❌ 纯文本GPT-4 迭代生成JS 代码技能库❌ 不建模GPT-4 + 技能库
ODYSSEYLLM 规划 + 技能库❌ 否❌ 否✅ 文本为主 + 视觉领域 LLM 规划预制技能调用❌ 不建模预制技能 + 微调 LLM
Jarvis-1多模态记忆规划❌ 否❌ 否✅ 强多模态(图像 + 文本)多模态交互式低级别动作❌ 不建模多模态记忆 + RAG
Optimus-1知识图谱 + 多模态记忆❌ 否❌ 否✅ 强多模态逆向知识图谱规划低级别动作❌ 不建模HDKG + 成败经验池
BAR逆向推理规划❌ 否❌ 否❌ 纯文本符号逆向递归分解API / 技能调用❌ 不建模LLM 逆向推理
DreamerV4世界模型 + 想象学习❌ 否✅ 是(核心)✅ 图像多模态世界模型 Rollout低级别动作✅ 学习环境动力学世界模型 + Shortcut Forcing
EvoAgent持续世界模型❌ 否✅ 是(持续更新)✅ 多模态记忆驱动 + WM 引导低级别动作✅ 持续学习环境持续世界模型 + 课程学习