前几年大家聊 AI，最爱问的一句话是：你到底是做模型的，还是做应用的？
到了 2026 年，这个分法已经越来越不够用了。
因为今天的大模型产业，早就不是“上面一个模型，下面一堆套壳应用”这么简单。它更像一条很长的价值传导链：从芯片、网络、编译器，到训练和推理系统；从模型架构、后训练和推理能力，到 Agent runtime、数据知识层、世界模型、安全治理，最后才落到真正赚钱的产品和行业场景里。Gartner 预计 2026 年全球 AI 支出将达到 2.52 万亿美元，同比增长 44%；与此同时，微软、亚马逊、谷歌和 Meta 这几家超大厂，2026 年合计计划在数据中心、芯片和其他 AI 基础设施上投入大约 6350 亿美元。这个行业，已经不是“一个模型公司带一堆应用创业公司”的规模了，而是一整套新的计算工业。
所以这篇文章，我不想再按“模型层、应用层”那种太松的方式来讲。我想换一个更贴近工程现实的视角：AI 行业到底是怎么从底到顶搭起来的；每一层的技术原理是什么；从业者需要懂什么；现在最难的未解问题在哪；未来最可能爆发的价值又在哪。
一、先别急着谈 Agent，先看清 AI 这栋楼到底是怎么盖起来的
如果非要给今天的 AI 产业画一个结构图，我会把它分成几层：
最底下是算力基础设施，解决的是“模型到底跑在哪、怎么跑得动”；再往上是训练与推理系统，解决的是“这么大的模型怎么训、怎么服务”；中间是模型本体，包括架构、多模态、长上下文、后训练和推理能力；再往上是Agent runtime 与数据知识层，也就是让模型真正接入世界、接入企业系统、接入现实工作流的那一层；更前沿的是世界模型、具身智能、AI for Science；贯穿全局的横梁则是安全、评测、治理、商业化。这套分层，比“做模型还是做应用”更接近真实世界，因为现实里的价值，不是从一个 prompt 里直接冒出来的，而是从整条链路一层一层传导出来的。
也正因为这样，今天判断一个方向有没有前途，不能只看它离模型有多近，而要看它是不是卡在价值传导链的关键瓶颈上。很多看起来“不性感”的方向，比如 AI 编译器、推理调度、文档解析、Agent 安全，反而正在变成决定产品能不能落地的胜负手。
二、算力基础设施：AI 产业真正的地基，不是 FLOPS，而是“系统吞吐”
所有关于大模型的故事，最后都绕不开一个物理问题：算力从哪来，带宽从哪来，功耗和成本怎么扛住。
到 2026 年，NVIDIA 仍然在训练和推理市场里保持着接近“90% 以上”的份额，但裂缝已经出现了。不是因为谁突然造出了全面更强的 GPU，而是因为云厂商和大客户已经不满足于只买通用 GPU 了，他们开始自己做面向推理经济学的 ASIC，或者推动 AMD、Intel、定制芯片一起进入更大的供给池。微软公开发布的 Maia 200 就很典型，它不是为了炫技，而是明确围绕推理成本和 token 生成效率来设计；AMD 也在和 Meta 推进大规模部署，目标同样不是“做一张比 GPU 更神的卡”，而是把整套 rack-scale AI 基础设施做出来。与此同时，中国市场因为出口限制和本地替代压力，国内厂商在中国 AI 加速服务器市场的份额已经抬升到大约 41%，华为是其中最强的本土玩家。
这里最容易被误解的一点是：很多人一聊芯片，就只盯着 TFLOPS。可真实世界里，训练和推理的上限，往往并不由算力峰值决定，而是由显存容量、显存带宽、互联拓扑、集群网络、故障恢复和软件栈成熟度决定。 NVIDIA 这两年为什么一边推 GPU，一边又狂推网络、交换、光子互联？原因很直接：模型已经大到单卡性能不是主要矛盾，跨卡通信、KV cache 搬运、集群级吞吐才是。NVIDIA 在 2026 年继续把 Spectrum-X、Quantum-X 和光子互联当成重点，就是因为万卡、十万卡级系统里，网络已经和算力一样重要。
所以，做这一层的人，真正需要的知识并不是“会调一个 CUDA demo”那么简单，而是要横跨计算机体系结构、并行计算、网络、操作系统、调度系统、性能分析。你得明白为什么 HBM 带宽会卡死 attention，为什么 all-reduce 会吃掉训练效率，为什么一个看似没什么的尾延迟会把整个推理集群的 SLA 拖垮。这个方向的门槛高，但也最硬，因为它决定的是整个行业的生产函数。
三、训练与推理系统：今天最值钱的，不是模型多大，而是“每个有效 token 要花多少钱”
很多人对大模型的理解还停留在“训练很难，推理就是调接口”。这在 2024 年就已经不成立了，到 2026 年更不成立。
训练侧的核心问题，早就不是“把模型堆起来”了，而是如何把参数、梯度、优化器状态、激活、KV cache 这些巨大的内存和通信开销，拆散到整个分布式系统里。DeepSpeed 的 ZeRO 和 PyTorch 的 FSDP，本质上都在做这件事：不要让每张卡都完整拷贝一份模型状态，而是把它们尽可能分片、按需聚合，换内存为吞吐。没有这种分片思想，今天很多大模型根本训不起来。
推理侧更有意思。过去很多人把推理优化理解成“让模型跑快一点”，但现在它已经直接决定商业模式能不能成立。FlashAttention 把 attention 变成 IO-aware 的算法问题，尽量减少高带宽显存和片上 SRAM 之间的来回搬运；speculative decoding 用一个更小的 draft model 先猜几个 token，再让大模型并行校验，从而在不改变最终分布的前提下提速；vLLM 把 PagedAttention、continuous batching、chunked prefill 这些机制工程化，解决的就是服务高并发、多租户、长上下文时的吞吐问题。NVIDIA 甚至把 Dynamo 这种面向 LLM 推理的开源 serving runtime 推出来，专门做 prefill/decode 解耦、KV cache offload、动态 GPU 调度和 LLM-aware routing。你会发现，推理已经不是“模型部署”的尾巴，而是一个独立的系统工程学科。 (arXiv)
这一层最核心的技术原理，其实就一句话：把“每个请求的计算过程”重写成“整个集群的资源调度问题”。 也就是说，推理优化不再只关心单次 latency，而是同时关心吞吐、尾延迟、缓存命中、批处理效率、租户公平性、功耗、成本和故障恢复。真正做这一层的人，需要补的是分布式系统、GPU kernel、服务架构、性能建模和容量规划，而不只是模型 API。
现在这层最难的几个问题也很明确：长上下文仍然昂贵，KV cache 是显存黑洞，多模型/多租户并发下的资源隔离还不够好，推理成本的下降速度也没有行业预期那么线性。换句话说，今天 AI 行业最缺的，不是再多一个会写 prompt 的人，而是能把推理系统做成“工业级供电网络”的人。
四、模型本体：Transformer 还没死，但它已经不是 2023 年那个 Transformer 了
如果你把 2026 年的主流模型拉出来看，会发现一个非常明显的事实：顶级模型的竞争，已经不再是单纯堆参数了，而是在“稀疏化、多模态、长上下文、推理能力”这几个方向上一起卷。
先说架构。MoE 已经不再是某些研究团队的偏好，而越来越像大模型时代的主流工业解法。Meta 的 Llama 4 明确走的是多模态 MoE 路线；Qwen3.5 也公开提到自己采用了原生多模态、早期融合，以及结合 sparse MoE 与线性注意力/状态空间思想的混合架构。MoE 真正解决的问题，不是“让模型显得更大”，而是把参数容量和每次推理的实际激活计算解耦：总参数可以很大，但每个 token 只唤醒部分专家，这样容量和成本之间才有工程上的平衡点。 (AI Meta)
再说多模态。2024 年很多多模态模型其实还是“先有文本模型，再拼视觉编码器”，更像缝合工程。到 2026 年，一个非常强的趋势是原生多模态：从训练一开始就做跨模态统一表征，而不是后面对齐。Apple 关于原生多模态 scaling 的研究直接指出，早期融合并不天然比后期融合差，行业里“先分开训练再拼起来一定更优”的直觉并不牢靠。Gemini 2.5 把“原生多模态 + 长上下文 + thinking + tool use”打包成一代产品能力，Qwen3.5 也把早期融合写进了技术路线里。这意味着模型不再只是“能读图”的文本模型，而是在朝统一认知系统演进。 (Apple Machine Learning Research)
然后是长上下文。长上下文不是把 context window 从 32K 改成 128K 那么简单，它真正挑战的是 attention 的计算复杂度、显存占用、检索准确性和“到底有没有真正在利用这些 token”。DeepSeek V3.2 引入的 Sparse Attention，就是在长上下文场景里做更稀疏、更有选择性的注意力计算，目的不是为了学术新意，而是为了把“长文本能力”从宣传词变成真正可承受的服务能力。 (arXiv)
这一层的知识要求，也比很多人想得更宽。你需要懂 Transformer、注意力机制、稀疏路由、表示学习、多模态对齐、长序列建模、评测方法。而未解问题同样很多：MoE 的路由稳定性和专家负载均衡还远没完美；多模态训练里模态间干扰依然存在；长上下文到底是“真理解”还是“近处 token 依赖 + 检索假象”，评测上仍然有大量水分。今天模型本体的价值，不再只体现在“通用问答强不强”，而体现在它能不能支撑后面整条产业链的系统能力。
五、后训练与推理能力：大模型真正的跃迁，越来越像“把思考过程也工程化”
如果说预训练决定了模型“知道什么”，那后训练和推理时策略，决定的就是模型“会不会做事”。
这几年行业一个非常大的认知变化是：模型能力并不完全由预训练时刻决定，推理时投入更多计算、做更好的后训练，也能显著拉高上限。 DeepSeekMath 提出的 GRPO，本质上是在强化学习阶段用 group-relative 的方式估计优势，省掉了传统 actor-critic 里的 critic 模型，降低了训练资源开销；DeepSeek-R1 更是把“纯 RL 拉推理能力”这件事推到了行业中心。另一边，OpenAI 把 o3、o4-mini 这类 reasoning model 明确定位成“训练来思考更久、并能更好地使用工具”的模型，强调的是 inference-time reasoning 和 tool-use 训练。关于 test-time scaling 的一系列综述也在讲同一件事：预训练数据和参数扩张的边际收益在下降，把计算预算搬到推理时，正在成为新的能力扩展方式。 (arXiv)
这背后的技术原理，其实可以理解成一句话：让模型不只是“直接给答案”，而是“先规划、再尝试、再验证、再修正”。 这和我们以前熟悉的 prompt engineering 不是一回事。以前 CoT 更多还是“让模型把思路写出来”，现在很多最强模型在系统层面已经把这种规划、反思、工具调用、观察反馈耦合到了一起。Gemini 2.5 明确把自己定义成 thinking model，OpenAI 则把 tool use 和 reasoning 一起往前推。
但这一层也有非常现实的问题。第一是奖励错配：模型可能学会的是“迎合评分器”，而不是更真实地解决问题；第二是推理过程是否忠实：它写出来的思考链，不一定就是它真正用来做决定的内部过程；第三是成本：思考越多、采样越多、验证越多，token 成本就越高。所以后训练和推理优化的未来，不会只是“让模型多想一会儿”，而是要把思考预算、工具调用、验证策略和业务 ROI 一起联合优化。
六、Agent：它不是“模型外面套一层流程”，而是在模型之上长出来的运行时系统
很多人到现在还在说一句话：Agent 不就是套壳吗？
这句话在简单 demo 上成立，但在 2026 年的工业实践里，已经明显不够了。
原因很简单：一旦模型不再只是“回答一个问题”，而是要读状态、做规划、调用工具、操作界面、等待观察结果、继续下一步动作，它面对的就不是一个静态文本任务，而是一个真实运行时环境。Anthropic 把 MCP 定义为 AI 工具和数据源之间安全双向连接的开放标准；Google 推 A2A，强调的是 agentic application 之间的互操作；OpenAI 则把 computer use 明确做成了一个动作-观察循环：模型给出下一步操作，系统执行，截屏，再把环境状态返回模型继续决策，并且要求高风险动作必须有人在环确认。你会发现，Agent 的本质不是“模型多会聊天”，而是“模型在受约束的 runtime 里能不能稳定闭环完成任务”。
这也是为什么我一直觉得，今天的 Agent 工程更像一种新的“应用操作系统”。它要处理的事情包括：工具注册与权限、上下文窗口与状态压缩、任务拆解、观察-行动循环、失败重试、回滚、人审节点、审计日志、沙箱隔离、外部系统接入、策略路由。这里面真正有价值的，不是把 prompt 写得多花，而是把模型接入现实世界时的那一整套约束和控制面设计出来。
所以搞 Agent 的人，真正需要补的知识，常常不是再学一个框架，而是要补工作流编排、系统设计、权限模型、可观测性、异常恢复、业务建模和安全。这就是为什么“搞 Agent”并没有掉到鄙视链底层，反而越来越像 AI 时代的主航道：因为模型能力正在商品化，而 runtime、工具链和业务系统编排，才是最后能兑现价值的那部分。
七、AI 编程：真正被重构的，不是写代码这件事，而是软件工程的组织方式
再往前一步看，你会发现 AI 编程也在走同样的路。
GitHub Copilot 的 coding agent 已经不是“自动补全几行代码”了，而是能在 GitHub Actions 环境里研究仓库、提出计划、改代码、发 PR；Anthropic 的 Claude Code 明确宣传自己能跨文件改动、运行测试，并把工程师的重心往架构和编排上推；OpenAI 的 Codex 也在强调云端隔离环境、并行任务和更完整的软件工程闭环。这里最值得注意的变化不是“AI 会不会取代程序员”，而是软件开发已经开始从“人工逐行实现”转向“人类定义约束、AI 在约束内执行” 。
所以今天 AI coding 最核心的知识，并不是某个编辑器插件怎么用，而是：怎样设计一个让 AI 能安全交付代码的 harness。 包括需求切分、代码库上下文组织、测试覆盖、静态检查、权限隔离、环境复现、评测集、回滚策略。这也是为什么我越来越觉得，AI 编程的终局不是什么“人人都不用学编程了”，而是低层实现门槛下降，但架构设计、质量控制、系统边界意识会变得更贵。
Stanford AI Index 也能从侧面说明这一点：像 SWE-bench 这样的软件工程基准，在很短时间内从几乎不可用跃升到很高水平，说明“代码生成”已经不是玩具能力了。可这并不意味着真实生产环境就简单了，反而意味着我们更需要把软件工程里那些过去靠资深工程师脑内经验扛住的东西，显式工程化出来。
八、数据与知识层：RAG 还在，但它早就不只是“切块+向量库”了
很多人提到企业 AI，还停留在一句话：上个 RAG 不就行了。
问题是，到 2026 年，真正能跑起来的 RAG，和早期那种“切 chunk、算 embedding、丢到向量库里检索”的做法，已经不是一个物种了。
第一，文档本身就没那么简单。企业知识里有 PDF、表格、图片、扫描件、邮件、网页、数据库记录、工单、代码、流程图、知识图谱……这些内容并不是“一串连续文本”。Unstructured 这类体系为什么会越来越重要？因为它强调的是基于文档结构元素而不是手工分隔符做 chunking，并且在复杂表格、图片和版面理解上引入高分辨率解析和 VLM 路由。换句话说，RAG 的第一步不是检索，而是先把知识正确地变成机器可检索、可溯源的结构。
第二，检索本身也在演进。GraphRAG 之所以值得关注，不是因为它名字新，而是因为它把文本抽取、网络分析、LLM 总结和问答串成了一个端到端系统，开始把“知识之间的关系”也纳入检索。传统向量检索擅长找语义相近，图式检索擅长找关系链路。很多复杂企业问题，其实恰恰是“你得跨多个实体、多个事件、多个文档做多跳推理”，这时候只有 embedding 远远不够。
第三，合成数据开始补位。随着预训练和后训练对高质量数据的需求越来越大，自然世界里“捡数据”的方式越来越接近上限。世界经济论坛和智源的趋势报告都提到，合成数据正在从边角料变成训练和测试的重要供给源，尤其是在高质量企业样本、机器人、自动驾驶、低资源领域里意义越来越大。真正的变化不是“AI 生成一些假数据”，而是数据不再只是被采集，也开始被制造；而制造过程本身，又必须有严格的质量控制和分布校验。
这一层的从业者，最该补的不是“哪家向量库更快”，而是信息检索、文档智能、数据工程、知识表示、评测与可追溯性。今天企业 AI 的真正壁垒，很多时候不是模型，而是有没有把企业内部知识变成一个可管理、可更新、可审计、可被 Agent 消化的“上下文系统”。
九、世界模型与具身智能：真正重要的不是视频生成多逼真，而是 AI 能不能预测“下一步世界会怎样”
这几年一个很热的词叫世界模型。热归热，但它到底解决什么问题？
我更喜欢一个更直白的说法：从 next-token prediction，走向 next-state prediction。 智源 2026 年的趋势判断，把这个转变说得很清楚：如果模型只是预测下一个词，它本质上还是语言统计机器；如果模型开始预测世界的下一个状态，它就要学会因果、时序、动力学、交互和行动后果。这个差别非常大。
NVIDIA 把 Cosmos、Isaac、GR00T 一起往前推，也是在围绕这个方向布局。因为机器人、自动驾驶、工业操作这些场景，不是“说得像”就够了，而是必须在行动前先做内部模拟：我抓这个物体会不会滑，车走这条轨迹会不会撞，机械臂从这个角度下去会不会卡死。世界模型的价值，不在于它能生成一段多像真的视频，而在于它能不能成为控制与决策之前的脑内仿真器。
但这层也正因为难，才最有想象力。因为视频模型会“看起来像”，不等于它真的学会了可行动的世界规律；仿真里学会了，不等于能稳定迁移到真实世界；而行动条件下的状态预测，又比无条件生成难得多。所以这一层真正需要的人，往往要同时懂生成模型、控制、机器人、仿真系统、因果建模和不确定性评估。它离 AGI 也许仍然很远，但离“让 AI 真正进入物理世界”已经很近了。
十、AI for Science：AI 不只是提效工具，它开始参与“提出假设—筛选候选—加速实验”这条科学链路
再往更前沿看，AI for Science 已经不是一句空口号了。
Stanford AI Index 2025 里一个很重要的信号是：AI 在科学和医疗相关能力上继续快速提升，部分基准甚至已经表现出超过人类专家的单项能力；另一方面，NVIDIA 这类平台型公司也在把 BioNeMo、Earth-2 这种面向生物、化学、天气和地球系统的基础模型产品化。Earth-2 的意义尤其典型：它不是“做一个更炫的天气视频”，而是用 AI 在更短时间里做危险天气 nowcasting，并在某些风暴动力学模拟上取得比传统物理方法更快、更便宜的结果。
这背后说明一件事：AI 在科学里的角色，正在从“帮你查文献、写摘要”，升级成“帮你缩短假设到验证之间的回路”。它最有价值的地方，不是代替科学家，而是把候选空间搜索、实验优先级排序、分子和材料筛选、气象模拟这些原本很慢的过程压缩掉一大截。可同样要看到，这一层比普通 AI 应用更怕“看起来对”。因为科学场景里，可重复性、实验验证、误差边界和不确定性表达 比炫耀 demo 重要得多。
所以 AI for Science 这层的门槛，不只是模型，还包括学科知识、实验系统、自动化平台和严谨评测。这类方向很可能不会最先出现在短视频热搜里，但它们能产生真正高壁垒、强复利的价值。
十一、安全与治理：没有“刹车系统”，Agent 和企业 AI 迟早会翻车
AI 行业有一个很现实的问题：能力越强，攻击面越大。
这件事在 Agent 时代尤其明显。因为传统聊天模型出错，很多时候只是“胡说八道”；但当模型可以读邮箱、改表单、点按钮、调系统、调用 API 时，错误就可能直接变成业务事故。OWASP 已经把 agentic AI 的风险整理成了一套 Top 10 框架；NIST 也给生成式 AI 做了更具体的风险画像；微软和 OpenAI 则都在反复强调 prompt injection、工具滥用、数据泄露和高风险动作的人审确认。OpenAI 的 computer use 文档里甚至明确建议：使用隔离容器和浏览器、限制可访问域名和动作、对认证/支付/删除这类高影响步骤强制确认、把页面内容视作不可信输入。
所以今天企业里真正成熟的 AI 系统，已经不可能只靠“模型挺聪明的”来上线了。它一定要有权限边界、操作审计、人工兜底、可观测性、评测基线、回滚机制和红队测试。这不是保守，而是因为一旦 AI 能调用工具，它就不再只是“回答器”，而是一种半自动执行体。执行体没有刹车系统，迟早出事。
十二、商业现实：AI 不会因为很热就自动赚钱，真正值钱的是“把能力变成可控交付”
最后再说回商业层。
今天市场上最容易把人带偏的一个错觉是：只要 AI 很强，商业化自然会发生。现实恰恰相反。Gartner 一边预测到 2026 年底，40% 的企业应用会嵌入 task-specific AI agents；另一边又判断，到 2027 年底，超过 40% 的 agentic AI 项目会因为成本不清、价值不明、风险控制不足而被取消。这个判断我觉得非常靠谱，因为它说明行业已经从“AI 能不能做”进入了“AI 做了以后，是否真的划算、可管、可复用”的阶段。
也就是说，未来最值钱的公司和团队，未必是参数最多的，也未必是喊 AGI 最响的，而是那些能把模型、数据、工具、工作流、安全、评测、成本结构 整成一个可持续系统的人。模型本身会越来越像标准件，真正拉开差距的是系统编排、行业 know-how、数据上下文和落地能力。
这也是为什么，到了 2026 年，“搞 Agent 的人”不但没有掉价，反而越来越关键。因为 AI 的价值，不是在 benchmark 里产生的，而是在一个个真实任务里被兑现的；而把 benchmark 上的能力，变成可交付、可审计、可扩展、可盈利的系统，这正是 Agent、数据层、推理系统和安全治理这些方向共同在做的事。
结尾：如果你今天还在 AI 产业里找自己的位置，我会给你一个很直接的判断
如果你偏底层，去看芯片、网络、编译器、推理系统，这条线门槛高，但会越来越硬。MLIR、TVM、ROCm 这类东西看着不出圈，实际上却是异构算力时代的基础设施。
如果你偏模型，别只盯着参数量和预训练，真正值得下注的是多模态、稀疏架构、长上下文、后训练和推理时能力扩展。这几条线，决定了模型会不会从“会说”变成“会想、会看、会做”。
如果你偏应用和工程，我反而觉得你的机会最大。因为未来最缺的不是“再会调一个 API”的人，而是能把模型接进真实业务的人：会做 Agent runtime、会做企业知识层、会做评测、会做安全、会做系统编排的人。 Gartner 一边看好 task-specific agents 的普及，一边警告项目大规模失败，本质上就在说明：这不是一个“会不会上模型”的问题，而是一个“能不能把系统做对”的问题。
所以回到开头那个段子。
2026 年，最不该自卑的，恰恰就是那个说“我就是搞 Agent 的”的人。
因为今天 AI 行业最稀缺的，已经不是单点能力，而是把整条能力链串起来的人。谁能把模型、数据、工具、推理、安全和业务流程真正焊成一个系统，谁才最接近这个时代的核心价值。
