3T 参数模型怎么跑出 2000 tokens/s？Cerebras 把 59 片晶圆的算术全公开了

lucas_AI
0 阅读1分钟

氛围图

💡 一句话总结：Cerebras 首次把「万亿参数模型怎么跑进晶圆级芯片」的完整算术摊开——59 片晶圆、每层 16GB 权重不挪窝、激活值以每跳 2 微秒在片间流动，跑出 1000-2000+ tokens/s。方案是真的快，但 HN 社区也在追问代价：一片晶圆坏了怎么办？

导语：大模型推理的「内存墙」到底怎么破？

先看一组让人眼馋的数字：Cerebras 的推理云跑 3 万亿参数的开源模型，输出速度 1000-2000+ tokens/s——比读人眨一次眼还快，比大多数 GPU 集群跑同规模模型快一个数量级。做 Agent 开发的人应该深有体会：模型输出慢，工具调用链路就全是等待；推理快 10 倍，整个产品的交互形态都会变。

但「快」背后的账很少有人算得清。一个 3T 参数的模型，光权重就要 TB 级存储，而单颗芯片的片上内存只有几十 GB——这中间差着两个数量级，Cerebras 是怎么填平的？

2026 年 10 月 22 日，Cerebras 发布官方技术博客《How We Deploy Trillion-Parameter Frontier Models on Cerebras》，以月之暗面的开源模型 Kimi K3 为例，把这套算术从量化格式讲到晶圆数量一次讲完。这篇博客随后在 Hacker News 收获 350 分、127+ 条评论，多家科技媒体独立转载。官方自报家底 + 社区逐条验算，正好是最好的交叉核验。

参考来源在前，方便查证

内存账：59 片晶圆是怎么算出来的？

整篇博客的核心其实是一道除法题。先把前提摆清楚：Cerebras WSE-3T 是晶圆级芯片（wafer-scale chip，把通常一整个晶圆切成几百颗小芯片的硅片直接做成一颗「巨芯片」），每片有 44GB 片上 SRAM——注意不是显存，是和计算单元长在一起的片上内存，带宽和延迟完全不是一个量级。

账是这么算的：

  • 算权重：Kimi K3 约 3T 参数，用 4-bit 量化（和 Hugging Face 上的开源实现一致），原始权重约 1.5TB；除以 93 层（69 层线性注意力 + 24 层 dense 全注意力），每层约 16GB。
  • 分晶圆：dense 层要给 KV cache（给每个在途请求缓存注意力的键值的「草稿区」）留空间，每片只放 1 层；线性注意力层只维护固定大小的状态、不需要随上下文增长的 KV cache，每片能放 2 层。69÷2=35 片，加 24 片，总共 59 片晶圆。

这道账最值得在意的不是 59 这个数，而是「每层 16GB < 44GB 片上内存」这个不等式——它意味着每一层都能整体放进一颗晶圆，权重永远不需要移动。博客特别强调了这点：跨晶圆传递的只有激活值（每一步计算的中间结果），走 RDMA over Ethernet（一种允许直接读写远端内存的高速网络协议），每跳约 2 微秒。

Kimi K3 的层结构：69 层线性注意力与 24 层 dense 层，官方博客用这张图说明两类层在内存分配上的不同待遇

流水线：为什么 59 片晶圆不会互相干等？

看到「token 要顺序穿过 59 片晶圆」，很多人的第一反应是：这不就成了流水线上的空转吗？第一片干活时其余 58 片全在等？博客专门澄清了这个误解——答案是经典的流水线填充：每个阶段同一时刻处理的是不同的请求。

官方博客的流水线示意图：权重固定在各自晶圆上，请求的激活值像流水线上的工件一样逐段传递，最后一片产出下一个 token

每个阶段还可以处理一个微批（micro-batch，一小撮请求打包处理），所以在途请求总数 ≈ 阶段数 × 微批大小。微批小，单个请求延迟更低；微批大，总吞吐更高——和 GPU 推理的批处理权衡方向一致，但物理载体完全不同。

值得说的是并发的上限由什么决定：dense 层晶圆的剩余 SRAM。每片 44GB 减去 16GB 权重，剩 28GB 全给 KV cache；按单条 256k 上下文、8-bit KV 的假设，能折算出支持的并发请求数。这也解释了为什么 Cerebras 敢把「上下文长度」做成卖点——KV cache 的地皮是片上无限量供应的，不用像 GPU 那样在 HBM 里精打细算。

社区验算：快是真的，账也是要算的

官方博客发布后，HN 社区的讨论质量相当高，几个焦点都打在了要害上：

  • 故障域（高赞质疑）：GPU 集群坏一个节点，集群可以降级继续跑；Cerebras 是「模型即机架」，一片晶圆故障会拖垮整个系统——而且端到端必须整体在线的流水线没法滚动升级，有评论直问「怎么把一片晶圆安全排空？」官方博客对此没有回应。
  • 功耗验算：有评论按每片 20kW 估算，59 片整机约 1.18 兆瓦；以 1500 tokens/s、190 并发折算约 4.1 焦耳/token，并对比「约等于 10 个 NVIDIA 机架」的功耗。注意这两组数字都是社区推算，官方未公布整机功耗，标 uncertain。
  • 架构辨析：多位评论者指出这是空间排布的流水线并行——权重静止、激活流动；GPU 则是逐层计算再叠加张量并行、专家并行，两者是不同的并行哲学，不是谁取代谁。

各信源在这点上是一致的：媒体转载（LavX News、explainx、Winzheng、remio）对 59 晶圆、3T、1000-2000 tokens/s 的核心数字无出入，无报道质疑官方算术本身；争议全部集中在「代价」一侧——故障域、功耗、以及示意配置与生产配置的差异（博客自己承认生产环境用「更细粒度的更多阶段」，具体配置未披露）。

59 片 WSE-3T 晶圆的互连拓扑：层与晶圆的映射关系和 token 流动的路径，右上角可见总晶圆数 59

把话说明白

把这笔账看全：Cerebras 用「权重量化 + 权重不动 + 晶圆级流水线」三步，把 GPU 架构里最贵的「访存」几乎清零，换来确定性低延迟——这是架构层面的真创新，官方算术经得起社区验算；代价是弹性，故障域大、无法滚动升级、整机功耗兆瓦级，这些决定了它短期只属于对延迟极度敏感的场景（实时 Agent 交互、低延迟交易类），而不是通用云推理的替代品。

对不同的人意味的东西也不一样：做 Agent 产品的，值得把「推理延迟降低两个数量级」纳入产品设计假设——工具调用从等待变成即时，交互形态会跟着变；做推理基础设施的，这篇博客是「内存墙」问题的一份公开答卷，无论最终站 GPU 还是晶圆级路线，算账方法都值得抄；而 Kimi K3 作为例证被点名，也说明开源前沿大模型开始获得非 GPU 推理栈的效率背书——开源模型与专用硬件的互补，这次被具象化了。

参考来源

avatar
文章
阅读
粉丝