💡 一句话总结：自回归模型一个 token 一步太慢，「扩散式并行生成」被认为是大模型的未来——但扩散内部又分三个流派（masked / uniform / Gaussian），谁最可并行一直靠跑分感觉。清华的理论工作第一次给出渐近级裁决：被看好的 masked 扩散在特定条件下需要 d 步，而 uniform/Gaussian 只需 √d 步——差距是数量级的，而且原因和大家想的完全不一样。
导语：三种「并行生成」，谁是真的快？
自回归语言模型的宿命：生成 N 个 token 要 N 次前向。扩散语言模型（dLLM）想打破这个宿命——像扩散模型生图那样，多位置同时「去噪」，大幅压缩前向次数。
但 dLLM 内部并不统一，三大流派并存：masked 扩散（从全遮盖开始逐步揭示，Gemini Diffusion 一系）、uniform 扩散（token 在词表上均匀替换）、Gaussian 扩散（连续高斯噪声空间）。每家都说自己可并行，但「可并行」到底指什么、谁更强，一直没有理论标尺——业界比较靠跑分，而跑分混着模型规模、训练数据无数变量。
清华的这项工作给了理论界等待已久的东西：一条渐近级别的分界线。
想看原文？
- 📄 论文：arXiv 2609.20539
它的思路是什么？
- 📏 用「内在复杂度」度量并行性：一段文本真正需要「想」的信息量，可用信息论里的对偶总相关（DTC）度量——高度可预测的文本 DTC 远小于其长度。若采样步数随 DTC（而非长度）缩放，才是真并行
- ⚖️ 两条定理：① uniform/Gaussian 扩散同样可以做到「步数随 DTC 缩放」——此前只有 masked 扩散被证明有此性质，三派在这点上追平；② 但在特定构造的分布上，uniform/Gaussian 只需 √d 次前向，masked 扩散在某些近似 score oracle 下需要 d 次——首个范式分离
- 🧩 机制修正：为什么 masked 慢？流行直觉说「因为它必须一次性承诺 token 值」——错。真正原因是 masked 扩散采样的关键窗口渐近更窄，可并行的操作被挤进更小的时间窗
效果到底怎么样？
- ✅ 追平：三派都能以随内在复杂度缩放的步数采样（定理 1，覆盖 U/G 两派）
- ⚔️ 分离：√d vs d 的渐近差距——在可并行的「最坏情况」上，masked 扩散存在数量级劣势
- 🔍 归因翻转：社区对 masked 劣势的流行解释（承诺性）被证明不是关键，窗口宽度才是
为什么你要关心？
- 🏗️ dLLM 选型的第一把理论尺子：造扩散语言模型的团队，范式选择的依据第一次有了渐近级理论背书——至少「最坏情况并行性」上 U/G 有结构性优势
- 🔬 「跑分」与「渐近」的差距：理论结论的 oracle/分布设定与真实模型有距离——但它划定的边界值得设计实验去逼近验证
- 🧠 直觉也是要审计的：「masked 因为承诺所以难并行」听起来如此合理，却是错的——领域共识性的直觉解释值得定期用理论重新审计
理性看待
冷静看三点：分离定理在特定 oracle 假设与分布族下成立，真实模型的并行差距可能是常数而非数量级；纯理论工作无实验佐证；dLLM 的最终胜负还取决于训练难度、生态与硬件适配。但作为范式之争的第一份理论裁决书，它至少把「感觉 masked 更难并行」变成了「知道 masked 在哪一种意义上更难并行」——这就是进步。
