当大模型推理破1000 TPS,软件这个“预制菜”我就先扔了

0 阅读9分钟

“50 TPS 就已经是人类肉眼阅读的极限了。
那剩下多出来的 950 TPS,到底是给谁准备的?”

最近,大模型推理速度的跑分卷到了一个让人有些生理不适的临界点。

6 月 9 日,小米发布了 MiMo-V2.5-Pro-UltraSpeed。在万亿参数(1T)的超级尺度上,他们通过 MoE 的 FP4 量化和 DFlash 投机解码,在通用 GPU 上把推理速度直接拉到了 1000 tokens/s

没过几天,Cerebras 的 Gemma 4 31B 也在自家的晶圆级芯片上跑出了 1800 TPS 的魔幻数据。甚至连还没用上的GPT-5.6 Sol,也被泄露圈爆出在特定硬件上能稳稳压住 750 TPS。

朋友圈和技术群里,第一时间的反应大多是玩梗自嘲: “AI 吐字比我眨眼还快,我这双肉眼,已经配不上现在的科技进化了。”

兄弟,如果你觉得 TPS 提升只是为了让你读得爽,那真是把 AI 当成电子榨菜了。

50 TPS 就已经足够把人类的阅读带宽塞满。多出来的 950 TPS 堆在那里,绝对不是为了让你看书不转圈的。小米在技术博客里藏了一句非常硬的话:

“在万亿参数尺度上,突破 1000 TPS 绝不仅仅是打字机变快了,
它带来的是 AI 应用范式的底层颠覆。”

这个颠覆的底层逻辑其实非常朴素:1000 TPS 不是写给人类读的,它是给设备“刷像素”用的。

当生成速度越过这个物理奇点,我们用了几十年的、固态的“软件”概念,要开始解体了。


01 / 深度溯源:软件其实是“生成慢”时代的妥协产物

咱们今天先聊个严肃的、不那么泡沫的概念:Malleable Software(可塑软件)

这是硅谷顶级实验室 Ink & Switch 和独立研究者 Geoffrey Litt 摸索了数年的命题。他们认为,计算机诞生之初的承诺,本该是提供一种像“数字粘土”一样的介质,用户可以根据当下的意图,随时随地重塑它的逻辑和形态。

但很遗憾,最后我们得到的是一堆“电器”——在远方大厂里被设计好、密封打包、分发给你的 App。你只能在开发者给你留出的几个可怜的旋钮(比如“设置-暗黑模式”)里调整。如果功能不爽?你唯一能做的就是提交反馈,然后祈祷产品经理下辈子能看到。

为什么“粘土”没成,“电器”成了?
因为在过去半个世纪里,“重塑”的成本太高,速度太慢。

为了让你能点个外卖,程序员团队得写几个月代码,画 UI,调接口,测试打包,再通过 App Store 发送给你。你作为用户,得下载、注册、更新、学习那个臃肿的菜单在哪里。

因为“现场捏一个功能”在物理上是不可能的,所以我们被迫接受了“工业预制菜”。

App Store 本质上是人类历史上最庞大的一堵功能围墙。我们被困在别人的逻辑里,还要假装那是现代科技的便利。

但现在,这面墙的根基被 1000 TPS 的加特林直接轰烂了。

02 / 100ms 与 1000 TPS:拆掉围墙的两个硬核参数

ChatGPT Image 2026年7月6日 17_01_22.png

要让软件从固态变成液态,需要两个物理参数同时交汇:

第一个是 100ms 的 FTTB(首字延迟/TTFT)。
在人机交互的物理定律里,100ms 是人类大脑对“因果关系”感知的红线。低于 100ms,你会觉得设备是“随动”的,就像手指划过屏幕,画面立刻跟过来。一旦超过 100ms,大脑就会本能地跳出潜意识:我在等这个机器响应。

第二个是 1000 TPS 的流式生成。
一个现代化的 UI 界面,为了画出合理的按钮、布局和交互跳转,背后需要极其臃肿的描述代码(比如 Tailwind CSS、React 组件)。在 50 TPS 的时代,写完这些代码需要一两分钟;但在 1000 TPS 下,只需要 3 到 5 秒

[ 💡 核心洞察:当 100ms 延迟配合 1000+ TPS,

数字世界里“生成”的速度,历史上第一次追上了“加载”的速度。]

Cerebras 曾在他们最新的技术博客里算过一笔账:为了突破 1000 TPS,需要约 140 TB/s 的内存带宽。一旦越过这个物理坎,AI 在你手里就不再是一个“陪你聊天的文科生”,而是一个实时现场施工的赛博工匠

你不再需要去应用商店下载一个 500MB 的 App。只要你开口说出你的意图,设备在 100ms 内就会开始吐字,并在 3 秒内,在你的屏幕上凭空“喷绘”出一个瞬时交互界面。

订完票,买完单,这个界面就随风而逝了。它不占你一字节的内存,不需要你半夜起来更新版本,更不可能偷偷读取你的相册和定位。

03 / 双环重塑:让“修改软件”像“使用软件”一样快

ChatGPT Image 2026年7月6日 17_03_14.png

Geoffrey Litt 曾提出过一个著名的双环交互模型。这能完美解释,为什么只给你一个对话框的 AI 交互是多么的违反人性:

内环(Inner Loop) 是你的日常操作:点击、滑动、排序、调整数值。这部分必须是 GUI(图形界面),因为肉眼扫视和手指点击的效率是极高的。你不可能跟 AI 聊着天去调色。

外环(Outer Loop) 是当你发现这个工具缺少某项功能时,去修改、升级这个工具本身的形态。在过去,外环是软件大厂和程序员的专利。

而 1000 TPS 的大闸一旦拉开,外环的反馈周期直接被压缩到了内环的级别。

以前,你要给你的文档编辑器加一个特定的“实时字数统计和庆祝横幅”插件,可能需要等社区开发者写出来,或者自己去配置环境写几天代码。但在 2025 年,前沿研究者 Andy Matuschak 做过一个惊人的实验:他用 AI Agent,在 3 分钟内,为自己定制出了数个极其冷门、全世界只有他一个人会用的 Obsidian 插件。

当“重塑软件”的反馈变成了秒级,软件的“固态资产”形态就彻底瓦解了。你拿到的,是不折不扣的“液态交互”。

04 / 工业化实证:Google A2UI 正在给流体交互“修路”

如果你觉得这只是象牙塔里的极客狂欢,那你就太低估商业大厂的嗅觉了。

Google 已经悄悄推出了 A2UI(Agent-to-UI)协议,目前已经迅速迭代到了 v0.9。这个协议不干别的,专门规定了一件事:当 AI 想在用户的设备上凭空变出一个界面时,双方应该怎么打交道。

A2UI 最聪明的地方在于,它不传输未经审计、容易跑飞的原始代码,而是传输“意图与声明式数据”。本地客户端像一个备好了各种乐高积木的沙箱,Agent 只需要以毫秒级的速度发出指令:“用这组航班数据,渲染那个带有‘靠窗’标识的订票组件。”

这就解开了一个极其致命的死结:安全与责任。

在液态交互时代,最恐怖的安全漏洞叫“UI 注入(UI Injection)”。万一恶意的 Prompt 诱导 AI 现捏了一个钓鱼界面,把你的身份证和密码当场发回了黑客服务器,你连哭都找不到地方。Google 在 A2UI 协议和 Cloud 规范里反复强调的“最小权限 UI 模型”,就是在防这一手。

我们在退回“流体世界”之前,大厂已经开始在河道两侧浇筑防汛大坝了。

05 / 上下文:软件消失后的新“操作系统”

如果满屏幕的 App 图标和软件大厂都消失了,那我们的数字生活靠什么来维系?

答案是:上下文工程(Context Engineering)。

过去,你被各种 App 绑架,是因为你的偏好、身份、历史记录散落在它们的数据库里。你为了不弄丢出行习惯,只能一辈子用携程、用滴滴,忍受它们的广告和弹窗。

未来,这些最私密的数据会汇聚成一段持续流动的上下文。这段上下文,才是你真正的“数字灵魂”和“操作系统”。它知道你花生过敏,知道你出门习惯带伞,知道你喜欢安静,知道你其实并不喜欢任何花哨的转场动画。

当推理速度跨过 1000 TPS 的门槛,AI 就可以在每一毫秒的交互中,从这段庞大的上下文里,精准抽取出你当下最需要的碎片,在 100ms 内,为你现捏一个最懂你的、瞬时存在的软件。

以前,是人类在绞尽脑汁地去学习、适应软件;
未来,是软件在以 1000 TPS 的轰鸣声,实时学习如何服务于你的意图。

06 / 写在最后:别了,预制菜时代

在这个“万物皆可实时生成”的时代,我们正在经历一场从“固态”到“液态”的范式大转移。

以前我们觉得买个软件是买了一份资产、一个产权。以后你会发现,所谓的软件,不过是 AI 在 1000 TPS 的高带宽公路上,为了你这个瞬间的需求,随手撒下的一抹像素和微光。

那些还在开会讨论“App 活跃留存率”、“年度装机量”的老板们,可能得抬头看看天了。

在这个时代,与其卷 App 的边界有多深,不如卷你离用户的真实意图有多近。

软件的物理形态可能还没彻底消失,但“被软件定义”的冷酷时代,真的快到头了。

本文首发于公众号【把酒聊AI】,欢迎来这里,和我一起在深夜聊聊技术本质。