AI Agent 训练与评测必备的 10 个开源数据集!覆盖推理优化、软件工程及真实环境执行

215 阅读7分钟

在大模型能力边界持续扩展的背景下,AI Agent 正经历从「能对话」到「能做事」的关键跃迁。Agent 的核心能力在于拆解目标、调用工具、与真实环境交互,并自主推进直至完成任务。这一转变对训练与评测数据提出了全新要求:数据不仅要覆盖工具调用的格式正确性,更要记录完整的决策过程、环境反馈与完整执行轨迹。一次工具调用的完整轨迹、一段多步推理的中间过程、一个真实环境里的成败反馈。这类数据的缺失,是限制当前 Agent 模型能力上限的最重要因素之一。

为此,我整理了目前 Agent 训练与评测必备的 10 个开源数据集!覆盖当前 Agent 研发中的几个核心能力方向:推理效率优化、交互轨迹采集与指令微调、真实环境评测基准、长周期任务执行、软件工程 Agent 训练、复杂工具学习,以及多步决策与记忆增强。从合成轨迹到真实世界任务,它们共同回答一个问题:如何让模型从「会回答」走向「会做事」。

从这些数据集可以看到一个明确的趋势:Agent 的竞争焦点也正从「能否调用工具」转向「能否在复杂开放场景中高效、可靠地完成任务」。这意味着,Agent 自主完成任务的全链路能力,正在成为智能体研发的核心竞争力。

以下数据集均已收录于 OpenBayes,希望为 Agent 研究者与开发者提供一份系统的数据资源参考。

更多优质数据集:

go.openbayes.com/IMQfg

数据集推荐

1 Grug-think 智能体推理简化数据集

Grug-think 是一个智能体推理简化数据集,旨在降低 Agent 工具调用前的推理 Token 消耗,同时保持对外交互与工具调用格式的准确性。

该数据集包含 100,891 条真实 Agent 运行轨迹,源自 5 个大型开放数据集,涵盖 45% 的代码智能体任务与 55% 的通用 API 工具调用。数据集保留完整的原始消息结构、工具定义与工具调用内容,仅对推理部分进行重写,优化后的推理文本中位数仅 11 个词。

2 GLM-5.2 Agent 智能体交互轨迹数据集

GLM-5.2 Agent 是由 TeichAI 发布的智能体交互轨迹数据集,旨在为 Agent 模型的训练提供标准化、可解析的会话记录,支持后续的微调与工具调用能力增强。该数据集包含 319 个 JSONL 文件,每个文件对应一次完整的智能体会话捕获,且每条智能体跟踪记录均包含已配置的工具 Schema 快照。

3 EdgeBench 智能体真实环境学习基准数据集

EdgeBench 是由字节跳动(ByteDance Seed)于 2026 年发布的智能体真实环境学习基准数据集,旨在评估自主 AI 智能体从真实环境中学习的能力。该数据集包含 134 个真实世界任务,其中 51 个任务已开源,涵盖科学计算与机器学习、系统与软件工程、最优化、知识推理、形式化推理及博弈游戏六大能力类别。

4 Agents Last Exam 智能体长周期任务数据集

Agents Last Exam 是一个专注于评估计算机智能体在长周期专业工作中表现的任务数据集,旨在为智能体评估提供结构化描述,广泛应用于长程任务执行能力评估、复杂工作流建模以及计算机使用智能体研究。

该数据集包含 ALE 基准测试中的 153 个任务信息,涵盖任务标题、摘要、分类体系、完整指令提示词、必做动作清单、预期软件及输入文件描述符等数据。

5 AgentWorldBench 语言世界模型基准数据集

AgentWorldBench 是由 Qwen 于 2026 年发布的语言世界模型综合评估基准数据集,旨在评测语言世界模型的环境建模与推理能力,广泛应用于大模型 Agent 能力评测、工具调用与系统交互验证,以及自动化软件工程和操作系统级任务研究。

该数据集包含 2,170 条样本数据,平均交互轮次 22.8 轮,每个评测样本均配有通过真实环境执行获得的标准答案。数据集通过格式、事实性、一致性、真实感和质量 5 个维度对预测的环境观测进行评分,覆盖 MCP、Search、Terminal、SWE、Android、Web、OS 七大场景。

6 Open-SWE-Traces 智能体指令微调数据集

Open-SWE-Traces 是由 NVIDIA 于 2026 年发布的面向大语言模型智能体指令微调数据集,旨在提升模型在软件工程领域的代码修复与多步工具调用能力,广泛应用于代码智能体训练、自动化软件修复系统开发及 SWE-Bench 基准测试优化等方向。

该数据集包含 207,489 条智能体交互轨迹,覆盖 Python、Go、TypeScript、JavaScript、Rust、Java、PHP、C 和 C++ 等多种编程语言。

7 AgentTrove 智能体交互轨迹数据集

AgentTrove 是由 OpenThoughts-Agent 团队发布的大规模开源智能体交互轨迹数据集。该数据集包含 1,696,847 行数据,源自 219 个数据集,涵盖代码修复、Shell 脚本编写、数学问题解决、编程竞赛及通用计算机使用等任务领域。

8 Claw-Eval 真实世界评测基准数据集

Claw-Eval 是由北京大学联合香港大学于 2026 年发布的面向 AI Agent 真实世界任务评测的端到端透明评测基准数据集,旨在评估自主智能体在真实环境中的任务执行、工具调用、多模态理解及多轮交互能力,广泛应用于 Agent 系统评测、自动化任务执行、多模态智能体研究及大模型能力分析等方向。

该数据集支持英文与中文两种语言,包含 General、Multimodal 与 Multi-turn 三个核心任务组,共覆盖通信、金融、办公、生产力工具等 24 个任务类别。其中 General 组含 161 个任务,Multimodal 组含 101 个任务,Multi-turn 组含 38 个任务。

9 MIA 多步推理与决策轨迹数据集

MIA 是由华东师范大学、上海创新研究院和哈尔滨工业大学于 2026 年 4 月联合发布的多步推理与决策轨迹数据集,旨在提升智能体的长期记忆利用与多步决策能力。

该数据集包含约 2.1 万条推理轨迹数据,涵盖问题、规划、搜索与执行全过程,适用于 Agent 推理与强化学习研究。数据集包含训练、测试、TTRL(持续测试时学习)及图像搜索缓存等多个组成部分。

10 ToolACE 复杂工具学习对话数据集

ToolACE 是由上海交通大学联合中国科学技术大学、华为诺亚方舟实验室等机构于 2024 年发布的面向工具学习任务的自动化代理管道数据集,旨在生成准确、复杂且多样化的工具学习数据,尤其针对工具学习中数据质量不足、场景单一等现实问题进行设计。

该数据集包含多步骤会话示例,共调用 26,507 个多样化 API。每条对话均为多步骤、多来源的信息检索与分析任务,真实模拟复杂工具调用场景,为 LLM 提供高价值训练数据。