DeepSeek 把推理框架也开源了，这次动的才是真奶酪10 月 20 日下午，DeepSeek 官宣：内部推理框架 D

10 月 20 日下午，DeepSeek 官宣：内部推理框架 DeepInfer 全面开源，Apache 2.0 协议，代码直接上了 GitHub。同步开源的还有生产级 Token 编解码组件 deepseek-recipe，MIT 协议。

很多人扫一眼新闻就划走了：「哦，又开源了个东西。」

这次不一样。用 21 世纪经济报道的说法，DeepSeek 是全球头部大模型企业里，第一个把自己「原生实际运行的推理框架」开放出来的。

01 模型权重和推理框架，差着一整个成本结构

先解释一下这件事为什么大。

过去几年，开源大模型已经不稀奇。Meta 开源了 Llama，DeepSeek 自己开源了一堆模型，还有 TileLang 编译工具、推理算子库。

但这些东西解决的都是「模型能不能用」的问题。

推理框架解决的是另一个问题：同一颗模型，用不同的引擎去跑，每 Token 的成本可以差出一个数量级。

打个比方。模型权重像一份菜谱，谁都拿得到。但你的餐厅能不能赚钱，取决于后厨怎么排班、怎么备菜、怎么让三个厨师不打架。推理框架就是那个后厨调度系统，是 AI 服务里长期不透明的成本黑箱。

以前的行规是：模型权重给你，后厨不给看。MaaS 厂商只开放权重、不开放推理框架，官方 API 的收入就是这么保住的。

DeepSeek 把后厨摊开了。

02 官方数据拆一拆，38 美元是个什么概念

DeepSeek 公布了一组基于 DeepInfer 跑 DeepSeek V4.1 Flash 的数据：

单集群日吞吐 155 万亿 Token。平均首字延迟 400 毫秒。生成速度 230 Token/秒，代码场景能到 300 Token/秒。每 GPU 每小时收入 38 美元，按波谷电价折算约 253.8 元。

38 美元这个数字被很多人低估了。海外科技投资研究员测算，结合 96% 的缓存命中率、单卡吞吐和顶规 GPU 每小时 1.5 到 4 美元的租赁成本，DeepInfer 对应的推理毛利率可能落在 84% 到 96% 之间。

这不是说 DeepSeek 躺着赚钱。它证明的是另一件事：推理服务的成本大头不在算力本身，在调度算力的方式上。

同样的 GPU，用 vLLM 或 SGLang 跑，和用 DeepInfer 跑，产出的有效 Token 不在一个量级。推理框架是那个决定「一颗 GPU 到底能产出多少」的乘数。

现在这个乘数开源了。

03 对三类人，意味着三件不同的事

第一类，API 用户。

短期看不到变化，但中长期利好价格。云厂商用 DeepInfer 部署 DeepSeek 模型，成本能贴近官方水平。第三方供给多了、便宜了，官方 API 的价格就有下探压力。东方财富的报道里甚至提到，负载调度合理的情况下，大规模云厂商的调用成本存在低于官方原生的可能。

第二类，想私有化部署的企业。

这是最直接的受益者。以前私有化部署开源模型，推理这块要么用社区引擎自己调，要么买商业方案，性能和官方 API 差一截。现在官方生产环境同款框架直接可用，还支持分布式推理、推测解码、SWA Bounded Replay、结构化输出。

尤其值得注意的一点：DeepInfer 同时兼容英伟达和华为昇腾。一套代码跨两个硬件生态，对算力采购正在向国产平台倾斜的企业，这是很实际的选项。

第三类，其他大模型公司。

DeepSeek 等于把行业的遮羞布掀了。你们付给 API 的钱里，有一大块不是付给模型智能的，是付给效率损耗的。接下来其他厂商要不要跟进开放推理框架，会变成一个很难回避的问题。

04 想上手的人，从这里开始

两个仓库，直接可看：

DeepInfer：github.com/deepseek-ai/DeepInfer

deepseek-recipe：github.com/deepseek-ai/deepseek-recipe

recipe 这个组件值得单独说一句。它是生产级 Token 编解码组件，和 DeepSeek 官方 API 的处理逻辑完整对齐，保证你自部署的服务拿到和官方一致的编解码体验。这种「连边角料都对齐」的开源姿势，在头部大模型公司里是头一回。

另外 DeepSeek 在知乎发了完整技术报告，想看原理的可以去翻。

顺带一提，支撑这套框架的 DeepSeek V4.1 Flash（20261017 版）刚在 AI 评测平台 Arena 登顶 Agent Arena 开源模型第一，总榜第 11，单任务成本中位数只有 0.2 美元。框架开源加模型登顶，一前一后，节奏很明显。

05 我的判断

模型能力的差距在缩小，成本的差距在拉大。接下来一年，大模型竞争的主战场会从「谁的模型更聪明」转向「谁的 Token 更便宜」。

DeepSeek 把推理层开源，表面上是大公无私，本质是把战场从模型层拉到自己最擅长的效率层。它赌的是：当所有模型的智力都差不多时，效率就是护城河。

这个判断对不对，看半年后各家 API 的价格单就知道。

参考资料：

相关阅读：我平时会把这类值得追的 AI 动态和工具整理在 ai345，按场景分类，找工具、追动态不用到处翻。