微软 BitNet：让百亿参数大模型在 CPU 上飞起来

吴琼琼
5 阅读4分钟

微软 BitNet：让百亿参数大模型在 CPU 上飞起来

还在为跑不动大模型而发愁？微软开源的 BitNet 了解一下！用单 CPU 就能跑 100B 模型，推理速度比传统方案快 6 倍，还能省电 80%！

前言

每次想要本地跑个大模型试试是不是都会遇到这个问题：显卡显存不够啊！

别慌，微软 recently 开源的 BitNet 可能就是你的救星。这个专注于 1-bit 大语言模型的推理框架最近在 GitHub 上火得一塌糊涂，一周狂揽 2700+ stars。它能让 100B 参数的模型在你的消费级 CPU 上跑起来，推理速度达到 5-7 tokens/秒——差不多是人类阅读的速度！

今天我们就来好好聊聊这个项目，看看它到底有什么魔力。

什么是 BitNet？

先来简单科普一下。BitNet 是微软提出的一种 1-bit LLM 架构，核心思想是把模型权重从 FP16/BF16 压缩到只有 1.58 bit（也就是 -1、0、+1 三个值）。

等等，1.58 bit 是怎么回事？不是说好 1 bit 吗？

其实这是微软的巧妙设计：虽然权重只用 3 个值表示，但信息论上刚好是 log2(3) ≈ 1.58 bit。这种方案叫做 ** Ternary Weight Network（TWN）**，比纯 1-bit（只有 -1 和 +1）能表达更多信息，同时又比 2-bit 及以上方案省太多内存。

BitNet b1.58 就是这个思路的代表作——权重只有 -1、0、+1 三个状态，模型体积直接缩小 10 倍以上！

bitnet.cpp 到底有多强？

BitNet 项目最核心的部分是 bitnet.cpp，这是官方推出的推理框架。它专门为 1-bit LLM 优化，能在 CPU 和 GPU 上高效运行。

性能数据直接上硬货

根据官方技术报告，bitnet.cpp 在不同平台的表现堪称惊艳：

ARM CPU（如苹果 M 系列芯片）：

  • 推理速度提升 1.37x ~ 5.07x
  • 能耗降低 55.4% ~ 70.0%
  • 模型越大，提升越明显

x86 CPU（Intel/ AMD 桌面处理器）：

  • 推理速度提升 2.37x ~ 6.17x
  • 能耗降低 71.9% ~ 82.2%

最夸张的是：单 CPU 就能跑 100B 参数的 BitNet b1.58 模型，达到 5-7 tokens/秒。想象一下，你没有显卡，照样能跑动一个千亿参数的模型！

新版优化更强

最近一次更新还引入了并行 kernel 实现，额外带来 1.15x ~ 2.1x 的加速。这你受得了吗？

快速上手体验

说了这么多，不如动手试试。BitNet 支持多种模型，最新更新可以直接从 Hugging Face 下载预训练好的 1.58-bit 模型。

环境准备

# 克隆仓库
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet

# 创建 conda 环境（推荐）
conda create -n bitnet-cpp python=3.9
conda activate bitnet-cpp

# 安装依赖
pip install -r requirements.txt

下载模型并运行

# 自动下载模型并量化
huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

支持的模型还挺丰富的：

模型参数x86 CPUARM CPU
BitNet-b1.58-2B-4T2.4B✅✅
bitnet_b1_58-3B3.3B✅✅
Llama3-8B-1.58-100B-tokens8B✅✅
Falcon3-7B-Instruct-1.58bit7B✅✅

💡 小提示：如果你的模型不在列表里，也可以手动指定本地路径。

技术原理解析

BitNet 为啥能这么快？核心在于它的 量化方法 + 定制 kernel。

1. 权重 ternary 化

传统 FP16 权重每个需要 16 bits，BitNet b1.58 只用 3 个值（-1, 0, +1），理论上内存占用减少到原来的 1/10 以上。

2. 查表法优化

bitnet.cpp 的 kernel 基于微软之前在 T-MAC 项目中开创的 Lookup Table 方法。简单说就是把矩阵乘法变成查表操作，避免了大量的浮点运算。

3. 极致并行优化

新版引入了并行 kernel 实现，支持可配置的 tiling 和 embedding 量化，直接在各种硬件上跑满性能。

4. CPU 友好的矩阵乘法

传统 LLM 推理依赖大量 FP16 矩阵乘法，BitNet 改用 INT8 甚至更低的位宽，配合 SIMD 指令集优化，CPU 跑起来照样快。

应用场景

BitNet 这个技术路线特别适合以下场景：

  1. 本地部署：没有高端显卡也想跑大模型
  2. 边缘设备：手机、嵌入式设备上运行 AI
  3. 成本敏感：不想花大钱买 GPU，又想要高吞吐量
  4. 节能需求：数据中心降低能耗，绿色 AI

写在最后

BitNet 的出现标志着 AI 推理效率 进入了一个新阶段。以前我们总觉得"跑大模型必须上 GPU"，但随着量化技术、推理框架的进步，这个观念正在被颠覆。

更重要的是，1-bit LLM 的训练方法也在快速发展。微软的论文《The Era of 1-bit LLMs》证明了从预训练阶段就开始用 1-bit 是可行的。这意味着未来的 AI 模型可能会从出生就是省电模式。

如果你对大模型部署、模型压缩、推理优化这些方向感兴趣，BitNet 绝对值得你花时间研究。GitHub 地址在这里：github.com/microsoft/B…

References:

看完这篇有啥想法？歡迎在評論區聊聊你的 AI 部署经验！

avatar
文章
阅读
粉丝