最近海外一个本地模型社区贴了个数字，我第一反应是没看清——一张 RTX 5090，扩散式语言模型（dLLM）跑到 2,788 tokens/s。
这个量级，跟你现在能买到的"本地跑大模型"体验不是一个世界。我把这事拆开讲一下它为什么快、以及现在能用到什么程度。
为什么扩散式模型能快这么多
先说清楚背景。你现在本地跑的大模型，绝大多数是自回归的：一个 token 接一个 token 往外蹦，前一个的输出决定后一个。它快不了，因为必须串行。
扩散式（diffusion）模型走的是另一条路：它不用逐 token 生成，而是一次并行更新一批 token（同时把若干位置往"更像合理输出"的方向推）。并行的东西天然比串行的快，这是 2,788 vs 几十/几百 这个数量级差距的根源。
换句话说，快的不是"模型变聪明了"，是生成范式变了——从"一个一个吐"变成"一批一批出"。
落到产品里要注意的三件事
1. 别把"跑得快"当成"能替掉你手上那个"
自回归模型（你现在常用的那套）和扩散模型的能力和生态差得远。快是靠并行换来的，代价是它怎么处理精度、怎么处理可控生成，跟自回归不是一套逻辑。所以这不是"同一个模型加速了"，是"换了一类模型"。你原来基于自回归 prompt 的工程经验，有多少能直接搬过去，得重新测。
2. 实验室数字 ≠ 产品数字
2,788 是在受控条件下测的。进真实产品里，真实数据分布、真实延迟要求、真实成本约束一叠，这个数字会缩水。这不是坏事——能证明这条路走得通就够了。"从 0 到 0.5"比"从 0.5 到 1"难，而它现在证明了自己能跨过 0.5。
3. 盯住"工具链"什么时候成熟
现在你大概率没法直接上手：推理引擎、模型权重、部署工具的配套还在早期。但对你判断"什么时候该动手"有用——当"单卡实时生成"从论文变成 pip install 就能跑，就是信号。在那之前，能做的是一边观察，一边想清楚"我的产品里哪一步是卡在'跑不快'上的"。
我的判断
这事短期不用追，但值得记在脑子里。它把"边缘设备 / 单卡能不能做实时生成"这个悬了很久的问号，往"能"的方向又推了一大截。
等你哪天要做一个"必须即时、但不想全上云"的功能（实时翻译、本地客服、即时内容生成），先回来翻这条——判断标准是那张卡的实时性够不够，而不是模型有多大。
