❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦
🎯 「RL训练LLM推理新范式！开源框架让Agent学会多轮决策，GitHub已标星2k+」
大家好，我是蚝油菜花。当大多数团队还在用单轮提示优化LLM时，这个来自学术界的强化学习框架正在重新定义Agent训练方式！你是否也遇到过这些AI训练困境——
- 🤖 微调后的模型在简单问答表现良好，遇到多轮交互就"失忆"
- 🔄 传统RL方法训练LLM时，reward设计像玄学，收敛曲线堪比心电图
- 🧩 想尝试多环境并行训练，但PPO实现复杂度让人望而却步...
今天要解剖的 RAGEN ，用三大突破解决这些痛点：
- ✅ 轨迹级优化：StarPO框架直接优化完整交互轨迹，告别短视决策
- ✅ 模块化架构：环境管理器/上下文管理器/Agent代理解耦，扩展性拉满
- ✅ 稳定训练黑科技：渐进式奖励归一化+方差过滤，让loss曲线不再蹦极
已有团队用它训练出能玩转Sokoban解谜的AI，金融领域正在测试自动报告生成——你的LLM准备好升级为「多轮推理大师」了吗？
🚀 快速阅读
RAGEN是专为LLM设计的强化学习训练框架。
- 功能：通过MDP形式化多轮交互，支持完整轨迹优化
- 技术：StarPO框架整合PPO/GRPO算法，采用渐进式奖励归一化策略
RAGEN 是什么
RAGEN是开源的强化学习框架，用于在交互式、随机环境中训练大型语言模型（LLM）推理Agent。基于StarPO（State-Thinking-Action-Reward Policy Optimization）框架，通过多轮交互优化整个轨迹，支持PPO、GRPO等多种优化策略。
RAGEN通过MDP形式化Agent与环境的交互，引入渐进式奖励归一化策略，有效解决了多轮强化学习中的不稳定性。RAGEN的代码结构经过优化，分为环境管理器、上下文管理器和代理代理三个模块，方便扩展和实验。支持多种环境，如Sokoban、FrozenLake等，展示了良好的泛化能力。
RAGEN 的主要功能
- 多轮交互与轨迹优化：通过StarPO框架将Agent与环境的交互形式化为马尔可夫决策过程（MDP），优化整个交互轨迹
- 强化学习算法支持：支持PPO、GRPO和BRPO等多种强化学习算法
- 易于扩展的环境支持：提供添加自定义环境的接口，已支持Sokoban、FrozenLake等环境
- 稳定性和效率提升：通过基于方差的轨迹过滤、引入"评论家"以及解耦裁剪等技术提高训练稳定性
RAGEN 的技术原理
- MDP形式化：将Agent与环境的交互形式化为马尔可夫决策过程（MDP），状态和动作是token序列
- StarPO框架：包含Rollout阶段（生成推理引导的交互轨迹）和Update阶段（优化整个轨迹的预期奖励）
- 优化策略：支持PPO、GRPO等多种强化学习算法，适应不同训练需求
- 渐进式奖励归一化策略：引入基于不确定性的过滤、移除KL惩罚和不对称PPO裁剪等策略
- 模块化设计：采用环境状态管理器、上下文管理器和Agent代理的三模块架构
如何运行 RAGEN
环境配置
bash scripts/setup_ragen.sh
若自动配置失败，可参考scripts/setup_ragen.md进行手动设置
模型训练
基础配置文件为config/base.yaml，包含：
config/ppo_trainer.yamlconfig/envs.yaml
执行训练命令：
python train.py --config-name base
模型评估
python -m ragen.llm_agent.agent_proxy --config-name <eval_config>
需在config/<eval_config>.yaml中设置模型和环境参数
资源
- GitHub 仓库：github.com/RAGEN-AI/RA…
- 项目主页：ragen-ai.github.io/
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦
