DeepSeek 今天开源了自用的推理框架,读完全部代码,这是我发现的

315 阅读17分钟

今天(2026 年 10 月 20 日),DeepSeek 突然开源了支撑自家 V4.1 Flash 服务的推理框架 DeepInfer,还一起放出了生产级编解码组件 deepseek-recipe。

平地惊雷,这次小鲸鱼搞了个大动作。

众所周知,DeepSeek 拥有全世界第一梯队的 AI Infra 能力。 之前 DeepSeek 开源了模型,也开源了 DeepGEMM、DeepEP、FlashMLA 这些算子和通信库。我们知道模型长什么样,也能拿到一些很快的零件。 但把这些东西接起来,扛住真实用户的长短请求、缓存命中、流量波动,靠的是中间那套推理系统。它怎么安排计算,怎么搬 KV,怎么避免一群昂贵的卡互相干等着,过去只能靠论文和技术分享来了解。

这次,除了 DeepSeek 在知乎发的

zhuanlan.zhihu.com/p/209556029…

引擎核心和协议处理也有了可以对照读的代码。对于我们做推理基础设施的人,能看到这些设计怎样落到实现里,价值不言而喻。

官方披露,单一集群每天服务 155 万亿 Token;平均输入长度 77K,输入缓存命中率 96%,平均首字延迟 400ms。[1] 一边接这么长的上下文,一边让用户不用等太久,里面肯定不只是几个矩阵乘法算得快。

我在维护 Mooncake,在 vLLM 社区承担很多工作,之前也在基模厂。 看到消息后把报告和两个仓库对着读了一遍,主要追了缓存、调度、窗口重放和流式协议这几条线。

有几个地方很有意思:他们愿意用约 100 PiB SSD 保存长期 KV,却不愿意把一类窗口状态也存进去;草稿模型一次猜五个 Token,调度器不一定全验;连工具输出里一个标签究竟算文字还是控制符,都有专门的处理。

下面就从这些细节讲起。

刚才花两小时码了本文。全文约 4800 字,阅读时间约 16 分钟,建议先 点赞收藏 后阅读。

KVCache:有的留七天,有的只留三分钟

DeepSeek 给长期 Block KV 准备了约 100 PiB 的 SSD 存储。Agent 流量的缓存可以留三天,Chatbot 留七天。

但另一种同样叫 KVCache 的东西,SWA KV,连 SSD 都没进。它留在产出机器的内存里,线上 TTL 大约三分钟,命中率超过 98%。找不到了,就重算。

乍看有点奇怪。既然已经建了这么大的存储集群,为什么偏偏不存它?

答案在两类缓存的使用方式里。Block KV 对应可复用的历史前缀,一段内容可能过了几天还会被命中;SWA 是滑动窗口注意力的状态,主要服务活跃会话紧接着的几轮交互。会话结束或继续推进以后,旧窗口的价值很快就掉下来了。

两者都存几天,SSD 就会一直存着那些已经不太可能再用到的窗口。

官方披露,V4 的 SWA 持久缓存曾经占掉近一半持久 KV 容量,却没有换来相称的命中收益。完全不存、缺了就精确重建,又太贵。到了 V4.1,他们才把它改成现在这套:内存短期留存,缺失时做有限窗口回放。[1]

也就是说,V4 那套保存策略不完全是为了复用收益,有一部分是在替昂贵的精确重算兜底。等重算方式变了,这部分 SSD 才能省下来。只看缓存命中率,很容易漏掉这层关系。

添加图片注释,不超过 140 字(可选)

重算也有区别。SWA 每层只看附近 128 个 Token,但上一层的输出还依赖更早的输入,层数越多,精确恢复需要追溯的范围就越长。报告给出的 Decoder 例子是 20 层,要覆盖最后 2560 个 Token。

部署报告里的 V4.1 方案只回放最近 128 个,并且把回放时的注意力也截在这段里面。得到的是近似状态。

不落盘以后,省掉的写入和容量会变成重算开销;再把重算范围截断,才把这部分计算也压下去。代价是恢复出的状态有差异,这个差异会不会影响任务结果,得靠质量回归来回答。

V4.1 的 Causal Encoder-Decoder 架构给了这件事额外空间:Decoder 的 Block KV 能由 Encoder 末层 hidden state 投影得到,Decoder 再补自己的 SWA 状态。结合有限回放,官方称总 Prefill 计算量近乎减半。换一个模型,没有相同的结构,收益就不能照搬。

如果真要接这项优化,我会把长工具链和代码修改任务放进回归集。标准问答得分没掉,不能自动推出跑几十轮工具也没问题。反过来,也别误解成“只回放 128 Token,所以模型只记得最后 128 Token”。长期 Block KV 仍在被复用,丢弃的是精确恢复窗口状态所需的那部分计算。

具体落到代码,并没有一个写死的“只算 128”。prepare_tensor_input_v4.cpp 用 data_len - keep_tokens 算保留区间的下界,再和滑窗下界、有效状态下界取交集。截断开关默认是 off,README 推荐显式设为 compact、保留 140 个 Token;C++ 还会检查保留长度至少覆盖窗口加最大回退余量。因此报告里的 128 窗口、134 个位置的 SWA ring,以及这里的 140,不能混着改。[2][8]

再看 mask 和 compact 两条分支,也不只是名字不同。mask 保留所有 query 行,只收窄 SWA 能看到的范围;compact 会在 Encoder/Decoder 边界 gather 出保留的 hidden states 和 residual,让后面的 consumer 层少处理这些行。两种模式的可见域可以相同,计算量却不同。想省掉后半段的计算,不能只改 attention mask。

仓库的等价验证脚本正是在对比这两种实现,既比元数据,也支持比固定轨迹上的 logprob。它没有证明有限回放与完整精确重建等价。[3]

添加图片注释,不超过 140 字(可选)

把 KV 放到远端,先解开的其实是路由问题

本地缓存有个挺烦的矛盾:有缓存的机器很忙,空闲的机器没缓存。

请求往有缓存的地方送,可能要排队;往空闲机器送,可能要重算几万 Token。两种选择各有各的浪费。

DeepSeek 把长期 Block KV 放到独立的 3FS 集群,让任意 Prefill 引擎都能命中任意前缀。于是报告里直接写了:DP 组间不做前缀亲和路由。

路由不用再追着本地前缀跑,可以直接比较各台机器的计算负载。计算实例缩掉了,或者节点坏了,已经落盘的 Block KV 也不会跟着消失。

剩下的问题是读它要花多久。

报告给出的存储峰值聚合读带宽是 10 TiB/s,写带宽约 850 GiB/s,面向约 112 KiB 的 KV 块优化。数据以 10+2 纠删码保存,读的时候并发找 11 个节点,拿到任意 10 份就返回。多读一份,买的是少等一个慢节点的机会。

命中路径也拆得很细。先做前缀匹配,这一步在路由前,躲不开;再异步把 KV 从 3FS 读到宿主机共享内存;最后逐层换入 HBM,尽量与计算重叠。报告说细粒度块拷贝下 CUDA copy engine 的表现不理想,所以换入使用 GDR,由 RDMA 网卡搬数据,不占 SM。[1]

这些带宽和搬运方式,是远端缓存能成立的前提。如果自己的网络吃不下这批读取,省下的 Prefill 时间就可能变成等数据的时间。工作集不大、本地命中又高的服务,没必要只因为看了这份报告就改存储架构。

By the way,KV 能留三天,也不等于 Agent 自动有了三天记忆。消息历史还是应用自己维护,缓存只是让相同前缀不用再算。把这两件事混在一起,接入时会闹出完全不同的问题。

添加图片注释,不超过 140 字(可选)

那张 1.5M Token/s 的表,应该怎么看

如果暂时把 96% 理解成按输入 Token 加权的命中率,并假设统计窗口一致,会得到:

1,500,000 × 4% = 60,000

恰好对应官方表里的含缓存与不含缓存吞吐。不过原图没有说明命中率如何加权,这个式子只能帮助理解,不能冒充统计核验。

1.5M 包含了缓存复用的输入,拿它去比另一个引擎的从零计算吞吐,会算出一个没意义的倍数。可这部分复用也不是虚的,Agent 每轮带回来的旧历史,确实不需要全部再算一次。

添加图片注释,不超过 140 字(可选)

我更关心命中率掉一点会怎样。在按 Token 加权、输入总量不变的假设下,96% 掉到 95%,未命中输入从 4% 变成 5%,增加了四分之一。实际 Prefill 成本还受长短请求和调度影响,但这已经足以解释为什么高命中率系统会认真计较那一个百分点。

所以报告说 Chatbot 缓存要留七天,我不会只把它看成一个“大容量”卖点。官方观察到,留三天左右会让 Chatbot 命中率下降约 0.5%~1%。对于已经很高的命中率,这点下降可能对应不小的重算压力。多留几天到底值不值,要把额外存储和少做的计算放在一起比较。

还有两个数字我不想混着讲。每天 155 万亿 Token 是官方的服务吞吐表述,不是每天新生成这么多输出;每卡每小时 38 美元是按谷价、不考虑波峰波谷的收入口径,也不是利润。把那套 SSD、网络和预留容量的账单拿来,才能继续谈赚多少。

DSpark:草稿猜五步,验证不一定验五步

DeepSeek 的 DSpark 一次可以生成 5 个草稿 Token,但上线时不一定全验。

原因很直观:越往后的草稿,越依赖前面连续通过。假设每一步条件接受率都为 0.8,走到第五步的概率量级是 0.8⁵≈0.328。这只是解释原理的例子,不是论文实测值。

后几个位置很难被接受的请求,继续验证它们,可能不如把预算分给另一个请求。

在 csrc/engine/mtp_varlen.hpp 里,调度器用 Confidence Head 的接受率估计计算预期收益,再结合 profile 出来的硬件曲线选择预算。最能说明它在干什么的是这几行:

const double time_ms = baseline_ms + slope_ms * graph_size + sampler_ms;
const double cur_throughput = cur_expected / time_ms;
if (cur_throughput > best_throughput) {
    best_throughput = cur_throughput;
    best_bsz = cur_bsz;
}

分子是预期有效 Token 数,分母把前向计算、负载修正和采样耗时一起算进去。Confidence Head 给出逐位置置信度后,代码先做前缀累乘,再用于选预算,和前面的连续接受例子对应得上。运行中的计时反馈会修正估计;如果没有性能曲线,就退回验证现有的全部草稿。[4]

还有个运行时细节:默认最多生成 5 个草稿,不代表默认开了变长验证。后者要显式设置 DEEPINFER_ENABLE_MTP_VARLEN=1;正常初始化中,还要有 CUDA Graph 路径的性能曲线,才会做上面这次预算搜索。

官方的线上比较里,变长验证相对固定验证 5 个 Token,吞吐提高约 6%。我会把它理解成在已经有投机解码的基础上,进一步少花一部分不划算的验证时间,而不是投机解码的全部收益。

这里还有个时序问题。DeepInfer 让 CPU 调度与 GPU 执行重叠,CPU 开始排下一步时,最新的置信度可能还没回来。等它回来再排,就又多了一次同步。

开启异步调度和变长验证以后,CPU 先用较早的置信度确定总预算。对于与上一批有交集的请求,GPU 再修正逐请求长度:先按 remap 取置信度并累乘,再用并行排名计数选出预算内的位置。不开异步调度时,逐请求长度可以直接在 CPU 上分配,不需要走这条修正路径。[4]

生产部署报告里的 Prefill 调度也在估算工作量:按未命中长度 q 和已计算前缀长度 c 拟合代价,给每步一个时间预算,再反解 chunk 大小。Decode 路由则同时考虑请求数和 KV 总长度。这里讲的是线上调度方案,不能仅从开源调度器的上述几行代码推出整套跨实例负载均衡都已包含。[1]

添加图片注释,不超过 140 字(可选)

recipe:同样的标签,为什么有的算文字,有的算控制符

这次一起开源的 deepseek-recipe,负责把 Messages、Chat Completions、Responses 转成统一对话,再变成模型的输入。输出则反向解析成正文、思考内容和工具调用。Rust 实现,有 Python 绑定。[5]

这部分不只是给 JSON 字段改名。结构和内容怎么区分,是个很具体的问题。

比如模型正在给你讲 DeepSeek 的协议,正文里写了 <|User|>。或者一个工具返回的文件,刚好有一段 。这些字是普通内容,还是能让解析器切换状态的标记?

recipe 在构建 prompt 时就记下显式插入的 special token 区间,没有等整段字符串拼完再去猜。PromptTokenizer::new 里有这么两行:

let mut plain_tokenizer = tokenizer.clone();
plain_tokenizer.with_added_vocabulary(AddedVocabulary::new());

它为普通文本准备了一份去掉 added vocabulary 的 tokenizer。区间之间的文本用这份副本编码,显式 special 区间再映射回对应 ID,最后按顺序拼起来。协议转换进来的用户、工具普通文本,即使自己写出了同样的标签,也不会因此升级成控制 Token。

这里也不是一律清除所有消息里的特殊内容。图片占位符会显式插入,assistant 历史里指定的 grounding 标记也会保留。约束的是普通文本不能仅凭拼写自行获得结构身份,调用方主动构造的显式标记仍是另一回事。[6]

输出端也保留这个区别。后端交给它的是 Token ID 时,真正的 special token 会单独解码,并带上 is_special_token 标记。模型用普通 Token 拼出来的同样文字,仍然是文字。

添加图片注释,不超过 140 字(可选)

不过,源代码里也有一条很具体的边界:如果调用方送进来的是纯文本 chunk,已经没有原始 Token 身份了,解析器就只能按拼写匹配。上游把信息拍平了,下游不能再凭空猜回来。[6]

这也只处理控制 Token 层面的混淆,不会让模型免疫自然语言提示注入。工具结果里直接写一句诱导操作的话,不需要任何特殊 Token。权限和执行约束还得做。

再往下翻,流式解析用到了 KMP。

一个标签可能被切成两段,一个 UTF-8 字符可能要等下一个 chunk 才完整。解析器把已经匹配的进度留在 matched_len 里,下一段来了接着走;已经确定的正文及时吐出去,不必等完整响应,也不必每次从头扫描积累起来的文本。[7]

普通 function 工具的名称会先缓存在 tool_name_buffer,读到结束引号后才一次发出。随后参数按片段转换:字符串做 JSON 转义,非字符串保留原始文本,不必每来一小段就解析完整对象再序列化。

转换器也不负责把截断的 JSON 修完整。仓库有一个测试,故意让工具参数停在 {"a": "tru,预期就是保留半截参数和 Length 结束原因。看见 tool call 就执行的调用方,接到这里会出问题。[7]

读这一块时,很容易理解为什么相同权重换个网关,工具调用表现可能就变了。结构标记、chunk 边界、结束原因,哪一处处理不同,应用接到的东西就不同。

添加图片注释,不超过 140 字(可选)

我自己会抄哪些设计,不会直接抄哪些配置

先讲清楚当前交付范围。DeepInfer 的 README 明确写着,这次开放离线推理核心。完整服务仍需要 KV 系统、Vision Encoder / Prefill / Decode 分离部署,以及跨 DP 副本的负载均衡,后面这些没有全部包含在仓库里。[2]

官方报告解释了原因:这些部分与内部基础设施耦合较深。所以读源码时,得把引擎具备的能力和上线所需的整套服务分开。

当前支持范围也很具体:NVIDIA SM100、Huawei Ascend 950,外加对应的 Linux、编译器和 CUDA/CANN 环境。离线 benchmark 的 Prefill 是 4 张 SM100,Decode 是 64 张;Decode 图的固定 nextn=3,也别跟线上一次出 5 个草稿的变长策略混起来。

而在生产方案里,Decode 的 EP 做到 64~128,确实有助于把专家侧 batch 做大,但故障域也跟着变大。一张卡坏了,整个实例可能都得退出。报告给出的办法是容量冗余、请求重新路由,以及缩容时迁移剩余请求和 KV。甚至重启时会按拿到的健康卡数重新决定 EP 大小。

对大规模服务团队,这次源码和报告能提供很多具体参照,特别是模型结构如何反过来影响缓存与调度。对做 Agent 产品的小团队,我反而建议先看 recipe,以及自己的上下文到底怎样破坏或保留了前缀复用。那可能比重新部署一套大 EP 引擎更快产生收益。

README 也交代了来路:DeepInfer 最初主要基于 vLLM,并借鉴了 SGLang 和 TensorRT-LLM。这次可以仔细读的是,它围绕 V4.1 改了哪些地方,以及这些改动在别的模型上还剩多少价值。

读完以后,我最想拿真实流量验证的,其实是缓存掉点时的表现:热缓存下很快,冷启动、扩缩容、SWA 缺失时还能不能守住延迟;近似回放省下的计算,会不会在某类长工具任务上变成重试。

这部分还没有我自己的测量结果,后续能跑到哪一步,就写到哪一步。

这篇先把我读到的几个关键设计串起来。接下来几天,我会继续完整梳理 DeepInfer 和 deepseek-recipe 的代码,沿调用链补上具体实现、配置差异和测试,陆续写成一系列技术分析。

我新建了一个仓库:​AI Infra Notes。这篇和后续分析会先更新在那里,之后也会放其他 AI Infra 项目的技术分析和源码笔记,不只写 DeepSeek。

资料与阅读范围

线上数字与集群设计均来自 DeepSeek 的公开披露,不是我的压测。

[1] ​DeepSeek V4.1 Flash 大规模推理部署实践。含线上统计原图与离线曲线。

[2] ​DeepInfer README,8b161497。开放范围、硬件与运行参数。

[3] ​YoCo mask/compact 验证。

[4] ​MTP 变长调度;​GPU 侧预算分配。

[5] ​deepseek-recipe README,935817c6。

[6] ​Tokenizer 文档;​输入编码实现。

[7] ​流式解析器;​流式解码器。

[8] ​YoCo 截断元数据;​层边界的 compact 操作。

发布公告:​DeepSeek 开源推理框架:走向真正普惠的未来。