X-R1：3090也能训7B模型！开源框架X-R1把训练成本打下来了：10美元训出企业级LLMX-R1 是一个基于强化学

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

💥 “实验室算力荒漠有救了！开源框架X-R1逆袭：4块显卡1小时训出7B模型，成本够买5杯奶茶”

大家好，我是蚝油菜花。当大厂用千卡集群烧钱时，我们找到了破局关键——

👉 博士生为跑实验深夜偷用服务器被导师抓包
👉 创业公司看着天价云账单放弃模型微调
👉 技术博客教程永远以「假设你有A100集群」开头...

今天要介绍的 X-R1框架，正在用强化学习重构训练规则！这个由华人团队研发的开源工具，首次让3090显卡集群实现7B模型高效训练，1小时成本仅需9.9美元。已有Early adopters用它完成：

✅ 32B模型在64G显存环境分布式训练
✅ 企业级对话模型微调成本降低87%
✅ 单卡实现R1-Zero算法的在线采样优化

是时候打破算力垄断了——你的显卡准备好了吗？

X-R1 是什么

x-r1

X-R1 是一个基于强化学习的低成本训练框架，专为加速大规模语言模型的后训练（Scaling Post-Training）而设计。它能够在极低的成本下，使用常见的硬件配置（如4块3090或4090 GPU），在1小时内完成0.5B规模的R1-Zero模型训练，成本低于10美元。

此外，X-R1 支持更大规模的模型（如1.5B、7B、32B等），并提供不同大小的数据集以实现快速训练循环。

X-R1 的主要功能

低成本训练：仅需4块3090/4090 GPU，1小时内完成训练，成本低于10美元。
模型规模支持：支持0.5B、1.5B、7B、32B等不同规模的模型。
数据集：提供0.75k、1.5k、7.5k等不同规模的数据集，用于快速训练循环。
日志记录：记录GRPO在线采样数据到日志文件。
扩展性与灵活性：提供详细的配置文件和训练脚本，方便用户根据需求进行定制。

X-R1 的技术原理

强化学习（Reinforcement Learning, RL）：X-R1 用强化学习优化模型的训练过程。基于定义奖励函数，模型在训练过程中根据奖励信号调整参数，最大化累积奖励。采用GRPO（Gradient-based Reinforcement Policy Optimization）技术进行在线采样，提升训练效率和模型性能。
分布式训练：X-R1 支持分布式训练，利用多GPU并行计算加速训练过程。基于配置文件（如Zero3.yaml），用户可以灵活设置训练环境，实现高效的并行训练。采用DeepSpeed等分布式训练框架，优化内存使用和计算效率。
低成本硬件配置：X-R1 专注于用常见的硬件配置（如4块3090或4090 GPU）进行训练，降低硬件成本。
日志监控：集成Wandb等工具，实现训练过程的可视化监控，帮助用户实时了解训练状态。

如何运行 X-R1

1. 安装依赖

确保你的环境中安装了 CUDA >= 12.4，并创建一个新的 Conda 环境：

conda create -n xr1 python=3.11
conda activate xr1
pip install -r requirements.txt
pip install flash-attn

2. 创建输出目录

mkdir output

3. 配置与训练

3.1 0.5B 模型

对于 0.5B 模型，假设你有 4 块 NVIDIA 3090 GPU。你可以使用以下命令启动训练：

ACCELERATE_LOG_LEVEL=info \
accelerate launch \
--config_file recipes/zero3.yaml \
--num_processes=3 \
src/x_r1/grpo.py \
--config recipes/X_R1_zero_0dot5B_config_peft.yaml \
> ./output/x_r1_0dot5B_sampling.log 2>&1

--num_processes=3：表示使用 3 个进程进行训练，其中 1 个 GPU 用于在线推理引擎（vLLM），以加快 GRPO 采样。
--config recipes/X_R1_zero_0dot5B_config_peft.yaml：指定配置文件，用于 0.5B 模型的训练。

3.2 1.5B 模型

对于 1.5B 模型，配置类似，但需要调整一些参数。假设你有 4 块 NVIDIA 3090 GPU，可以使用以下命令启动训练：

ACCELERATE_LOG_LEVEL=info \
accelerate launch \
--config_file recipes/zero3.yaml \
--num_processes=3 \
src/x_r1/grpo.py \
--config recipes/X_R1_zero_1dot5B_config.yaml \
> ./output/x_r1_1dot5B_sampling.log 2>&1

3.3 3B 模型

对于 3B 模型，训练时间会更长，大约需要 16 小时。你可以使用以下命令启动训练：

ACCELERATE_LOG_LEVEL=info \
accelerate launch \
--config_file recipes/zero3.yaml \
--num_processes=3 \
src/x_r1/grpo.py \
--config recipes/X_R1_zero_3B_config.yaml \
> ./output/x_r1_3B_sampling.log 2>&1

4. 示例：中文数学推理

X-R1 支持中文数学问题的推理，可以通过以下命令启动训练：

ACCELERATE_LOG_LEVEL=info \
accelerate launch \
--config_file recipes/zero3.yaml \
--num_processes=3 \
src/x_r1/grpo.py \
--config recipes/examples/mathcn_zero_3B_config.yaml \
> ./output/mathcn_3B_sampling.log 2>&1

该配置文件专门用于中文数学问题的训练，使用 4 块 NVIDIA 3090 GPU，大约需要 16 小时完成 3B 模型的训练。