小米7B参数推理大模型首次开源！Xiaomi MiMo：数学代码双杀，超越32B巨头

蚝油菜花
267 阅读4分钟

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🚀 「国产模型逆袭！小米7B小钢炮干翻32B巨无霸，技术白皮书揭秘三阶段训练法」

大家好，我是蚝油菜花。当科技大厂还在比拼参数规模时，小米用这个开源模型证明了——小身材也能爆发大智慧！你是否遇到过这些AI推理困境：

  • ∑ 数学题分步解析总在关键步骤「跳步」
  • 💻 生成的代码看似能用，实际藏了三个语法坑
  • ⏱️ 等大模型推理结果时，咖啡都喝完了两杯...

今天解剖的 Xiaomi MiMo ，正在重写推理模型的效率规则！这个7B参数的「逻辑刺客」：

  • ✅ 数学推理开挂：在GSM8K测评中碾压部分32B模型
  • ✅ 代码生成防坑：自动规避常见语法陷阱，可用率提升63%
  • ✅ 训练效率革命：独创三阶段训练法，用25T tokens练就「最强大脑」

已有教育机构用它开发AI解题助手，文末附《7B模型调优指南》——你的推理任务，准备好迎接「小米效率」了吗？

🚀 快速阅读

小米开源的首个推理大模型MiMo突破参数规模限制。

  1. 能力：7B参数实现数学推理与代码生成双重突破
  2. 技术：采用三阶段预训练+强化学习优化框架

Xiaomi MiMo 是什么

Xiaomi MiMo

Xiaomi MiMo 是小米推出的开源推理大模型，通过创新的训练框架在7B参数规模下实现超越更大模型的推理性能。其核心突破在于联动预训练与后训练阶段，专门针对复杂推理任务进行优化。

该模型包含4个版本：基础预训练模型、监督微调模型及两个强化学习版本，均已开源。技术报告显示，MiMo在数学推理和代码生成任务中显著优于部分32B参数规模的竞品模型。

Xiaomi MiMo 的主要功能

  • 数学推理突破：解决多步骤数学问题并提供完整推导过程
  • 智能代码生成：输出可直接运行的代码，支持多种编程语言
  • 高效推理架构：7B参数实现超越部分32B模型的性能表现

Xiaomi MiMo 的技术原理

  • 三阶段预训练：逐步提升训练难度，累计25T tokens训练量
  • 强化学习优化：Test Difficulty Driven Reward算法解决奖励稀疏问题
  • 训练加速系统：Seamless Rollout框架使RL训练提速2.29倍
  • 数据策略创新：Easy Data Re-Sampling稳定强化学习过程

如何运行 MiMo-7B

vLLM 推理

1. 推荐使用我们分叉的 vLLM

我们官方支持使用 MiMo-MTP 进行推理，使用 我们分叉的 vLLM。

示例脚本：

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

conversation = [
    {
        "role": "system",
        "content": ""
    },
    {
        "role": "user",
        "content": "写一篇关于高等教育重要性的文章。",
    },
]

outputs = llm.chat(conversation,
                   sampling_params=sampling_params,
                   use_tqdm=False)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"提示: {prompt!r}, 生成的文本: {generated_text!r}")

print("=" * 80)

2. 或者，你可以注册一个不加载 MTP 参数的 vLLM 加载器

你可以将 registry/register_mimo_in_vllm.py 复制到你的目录中，并通过以下方式导入：

import register_mimo_in_vllm

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    # num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

HuggingFace 推理

示例脚本：

from transformers import AutoModel, AutoModelForCausalLM, AutoTokenizer

model_path = "/path/to/MiMo"
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_path)
inputs = tokenizer(["Today is"], return_tensors='pt')
output = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(output.tolist()[0]))

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

avatar
文章
阅读
粉丝