AI 应用架构的隐性壁垒:编码被抹平之后,工程判断力为何更稀缺

41 阅读17分钟

为什么 AI 应用落地看起来简单,实际做起来却问题很多

本文是项目的实践梳理——一个面向个人成长与人际沟通场景的多租户 AI 应用。项目一路做下来,我最深的体会是:让 AI「跑起来」不难,难的是让它真正「高效、稳定、可靠」,而这背后的能力,不是编码,是判断力。

这是 AI 应用工程化系列的第一篇,讨论编码被抹平之后,真正稀缺的判断力。


一个反直觉的判断

最近一个月,我与 AI 协作开发了一个面向个人成长与人际沟通场景的多租户 AI 应用:41 张表、5 个智能体、完整的七角色权限体系、191 个自动化测试。代码主要由 AI 协作生成,我负责定方向、做判断、做验证。

项目做到后半程,我越来越清晰地意识到一个反直觉的判断:这个项目里最难的,往往不是让 AI 把代码写出来,而是想清楚"什么是对的",以及确认"AI 写的到底对不对"。


一、编码被抹平了,但工程化没有

在传统软件时代,技术壁垒是真实存在的。会写高并发、懂分布式、能调数据库性能——这些能力稀缺,稀缺就是壁垒。一个不懂技术的人,再有想法也落不了地。

但 AI 时代正在改变这个前提。编码能力正被 AI 快速拉平。 一个没有编程背景的创业者,也可以借助 AI 协同开发,在较短时间内搭出一个可运行的复杂应用。项目代码主要由 AI 协作生成,我负责定方向、做判断、做验证。

所以"技术不是壁垒"这句话,在"编码"这个层面,是成立的。但我想在这里做一个精确化,因为它太容易被误读成"技术不重要"。"技术"这个词要拆开看:

  • 编码能力(写函数、调 API、搭框架)——可被 AI 替代,不再是壁垒;
  • 工程化能力(验证是否真的生效、边界在哪、怎么降级、怎么监控、怎么评测)——当前仍主要由人来承担,而且是最容易被低估的那个。

这两者的区别,用一句话概括:编码决定"写不写得出来",工程化决定"做不做得对、跑不跑得稳"。

我在这个项目里踩的坑,也几乎都不是"不会编码",而是"只会编码、不会工程化"。

那"工程化能力"具体是什么?我把它拆成五项当前仍需人来把关的事:验证(真开浏览器、真连真实库,而不是编译通过就结束)、边界(这个功能在什么输入下会失效)、降级(主模型挂了、向量库慢了,怎么兜底不阻断主流程)、监控(Token、耗时、成功率有没有埋点)、评测(改完 prompt,质量到底是涨了还是跌了)。这些工作更多是"做判断",而非单纯"写代码"。


二、工程化,说到底是一套判断力

关于 AI 应用的效果,我有一个自己的理解——它不是四个要素相加,而是相乘:

效果 = 数据 × 业务场景 × LLM × 工程化

乘法意味着:某个关键项长期缺失或接近失效,整体效果就会被明显拉低。 这解释了一个看似矛盾的现象:为什么"有数据、有场景、接了大模型,效果还是差"?一个重要原因是:工程化会显著影响其他三项能否兑现。

但"工程化"这三个字很空。落到实处,它是一整套环环相扣的体系:评测体系、RAG 体系、智能体编排、存储与引擎适配层、可观测体系,再加上和具体业务强耦合的那部分逻辑——每一块都是大工作量、满地的脏活累活,细节更多。很多人只看到"接个模型"这一环,看不到后面这一整套。这恰恰是不少公司高估自己技术能力的原因:对整个 AI 应用体系缺了系统化、工程化的认知,于是既低估了工作量,也低估了"哪个环节认知不清,就会走弯路、达不到预期"的风险。

本质上,AI 应用是一个复杂的、与业务强耦合的工程。它不是一个"调 API"的动作,而是一套由多个环节组成的体系;其中某个环节认知不清,都可能走弯路,或者达不到预期。这也是为什么"接个模型"看起来简单,实际落地却问题很多。

那"工程化"的内核是什么?我的体会是四个字:判断力——"这个功能真的生效了吗""边界在哪""降级了吗""怎么验证"。它穿着工程的外衣,内核是系统判断。

下面我用三个真实案例,说清楚"判断力"到底指什么。

案例一:跨会话长期记忆——"算出来了" ≠ "用上了"

项目里有个功能叫"跨会话长期记忆"——AI 能从历史对话中提取用户提到的事实,比如"最近在准备考试""偏好更简洁的回答",并在新会话里自动带回。这个功能设计得很漂亮:萃取、召回、卸载三个生命周期,向量去重,TTL + LRU 淘汰。

代码写完了,单元测试绿了,功能"实现了"。但真开浏览器一测,却发现:AI 没有体现出跨会话记忆。

排查发现两个问题:

第一,编排层短路。 记忆、摘要、历史这些上下文工程的产物,只注入到了"倾听者"节点,而这个节点的 prompt 要求它"只输出一句情绪判断"。最终生成回答的"建议者"节点,只收到一句情绪标签,收不到记忆。算出来的东西,在到达最终回答之前被压扁了。

第二,LRU 卸载误杀。 记忆召回时没有更新"最后命中时间"字段,而卸载任务用"最后命中时间为空"判断"很久未命中",结果大量记忆被误判为过期归档。

这两个问题都不是编码语法问题。第一个是"数据流理解"问题,第二个是"字段有读取路径、却缺少写入逻辑"的工程判断问题。它们都没有被现有单元测试覆盖,因为单测通常只验证函数返回值,很难验证"整条链路是否真的把数据用上了"。

最后是怎么发现的?真开浏览器、真登录、真发消息、真看 AI 的回答。 这是工程化的验证闭环,不是编码能力能替代的。 fig1-memory-failure.png

第一类断点发生在编排层——记忆进入中间节点后被压成情绪标签,最终生成节点收不到;

第二类断点发生在生命周期——召回命中后没有更新 last_hit_at,卸载任务把有效记忆误判为过期。这类问题可能被现有单元测试漏掉,却会在真实链路中暴露。

案例二:安全兜底——安全靠结构保证,不靠模型自觉

AI 应用最贵的是"信任",最危险的是"失控"。项目的多智能体编排里,有一个决定性的设计:"安全员"恒为第一节点,用 LangGraph 的固定边连接,而不是让主 Agent 动态决定"什么时候调用安全员"。

为什么?因为如果安全拦截靠模型"自觉",一旦主模型判断失误或被提示词注入带偏,安全员就可能被跳过。对高风险用户输入,更稳妥的做法是把它固定为第一个执行节点,并避免被动态委派绕过。

说实话,我一开始也纠结过要不要上 Deep Agents 的动态委派——它看起来确实更"智能",让主 Agent 自己决定什么时候调用谁。但真要落地时我想通了:安全这件事,不能赌规划器每次都判断对。宁可编排笨一点、固定一点,也要让安全员固定为第一节点、不可绕过——动态委派把安全变成了概率,而不是确定保证。

这个决策靠的不是编码能力,是对"模型不可靠"的深刻认知。安全靠结构保证,不靠模型自觉。

案例三:评测归因——诊断标志不能混进质量分

第三个案例,关于"怎么量化 AI 答得好不好"。项目做评测时,一开始把"是否触发高风险兜底"(safety_hit)这个诊断标志,当成质量分一起平均——结果正常的"未触发"记 0 分,每道题被系统性拉低 0.15~0.2 分。

我一开始也觉得 safety_hit 该算进去,毕竟"触发高风险兜底"听起来就是"答得不好"。后来才想通:"是否触发"和"答得好不好"是两回事。前者是诊断标志,后者才是质量分。混在一起,评测分数就容易被系统性拉偏。这个判断的意义在于:AI 应用里,很多"看起来该算进去"的指标,其实是不同维度的东西——把它们分开,是评测能否可信的前提。

这三个案例,一个考的是"数据流判断"(算出来的东西有没有实际用上),一个考的是"安全判断"(靠结构还是靠自觉),一个考的是"评测判断"(诊断标志和质量分要分开)。你会发现,它们都不是"会不会写代码"的问题,而是"在具体的约束里,知不知道该怎么选"。

但判断力有一个致命的特点:它是隐形的。编码的成果看得见——一个功能、一个接口,做完就是做完了。判断的成果看不见——它藏在"为什么这么选""边界为什么设在这"里,等代价显形时,往往已经是上线之后。就像盖房子,砖瓦(代码)看得见,地基(判断)看不见,房子塌了才意识到地基的重要。AI 只负责帮你搬砖,不负责帮你设计地基。


三、判断力最难的地方:把智能体当概率系统

上面三个案例,分别考验"数据流判断""结构安全判断"和"评测口径判断"。但判断力最难的地方,其实在更底层——怎么理解智能体和传统软件的本质差异。

传统软件是确定性系统:输入 → 逻辑 → 输出,主要依靠分支和测试覆盖可预见路径。

智能体是概率性系统:输入 → 推理 → 可能不确定的输出。同样的输入,可能得到不同的输出。

这个本质差异,决定了研发范式的显著不同:

维度传统项目智能体
本质确定性概率性
边界可穷举不可穷举
验收功能验收评估集 + 回归(质量是否达标)
迭代改代码 → 测 → 上线模型/版本/Prompt/RAG 策略/编排等 → 跑评测集 → 看指标 → 分析 → 迭代

我把这个最容易犯的错叫"维度错配":用"功能验收"去验收"概率系统"。 功能验收是二值的——过了还是没过。但智能体的质量是连续的——共情度、准确率、幻觉率、安全率。用二值标准要求连续系统,结果就是:要么"测不出问题"(因为能跑),要么"过度承诺"(因为没量化)。

这也是我在传统软件开发里养成的自信,到了 AI 应用上反而成了盲区:那种自信来自"确定性可被穷举"——覆盖可预见分支后,就倾向于认为工作完成。但 AI 应用很难穷举全部路径,更接近一个质量分布。只用穷举思维做概率系统,自信越足,盲区可能越大。

这个"维度错配"的后果,比想象中严重。用功能验收去验收 AI,要么测不出问题(因为能跑、有输出),要么过度承诺(因为没量化)。更可行的解法,是给 AI 应用换一套验收范式:评估集 + 回归——不问你"能不能跑",问你"跑得对不对、稳不稳、省不省"。

举一个具体的例子:AI 回答"根据《民法典》第 X 条……",语气斩钉截铁,但其实这条法律并不存在——这是幻觉。如果你用"功能验收"去看,它"跑通了、有输出、还很流畅",你会觉得没问题;但用户一旦照着做,就可能造成损失。功能验收不易测出幻觉,评估集(比如专门放一批"AI 容易编造的领域问题")更容易把它暴露出来。


四、所以,真正的壁垒是认知、判断力、系统思维

看完这些,可以回答最初的问题了:如果不是编码,也不是工程技能本身,更深一层的壁垒是什么?

是三样东西:认知、判断力、系统思维。AI 可以大量承担编码,但这三样目前仍很难由它替代;它们也很难靠临时查资料补上。

  • 认知:理解模型的能力边界。认知不是"知道大模型很强",恰恰相反,是知道它哪里不强——它擅长语言、共情、归纳、改写;它不擅长精确计算、事实一致性、长期逻辑链;它的输出是概率性的,不是确定性的。案例二的"安全员固定边",靠的就是这种认知。

认知落到工程上,是一连串具体的架构决策:因为知道模型会幻觉,所以要用 RAG + 溯源,让 AI 的回答"有据可查";因为知道模型可能被提示词注入带偏,所以安全员更适合用固定边、避免依赖规划器自觉;因为知道模型输出具有概率性,所以需要置信度双阈值熔断——过度自信时软化、置信度不足时转人工。这些决策更多取决于"是否理解模型的不可靠边界",而非单纯代码能力。

  • 判断力:知道什么该做、什么不该做、先做哪个。知道什么时候不该用 LLM(安全拦截用 AC 自动机,0 次模型调用),知道什么功能用户感知不到,知道什么时候停。案例一和案例二,靠的都是判断力。

判断力不是知识,是"在具体场景里知道该做什么选择"。同一件事,在不同场景下答案可能相反:该不该用 RAG?取决于你的知识库有没有这块内容;该不该上多智能体?取决于是否需要结构化的安全保证。判断力难,就难在它没有标准答案,通常需要在具体约束里权衡。

  • 系统思维:把智能体当系统,而不是单个功能。这是更关键的一条——用分布思维,而不是穷举思维。

这三样东西,其实是层层递进的:认知是底——你得先知道模型哪里不可靠,才谈得上做判断;判断力是核——知道了边界,还得在具体场景里做出更合适的选择;系统思维是顶层——把智能体当系统看,才能让前面两点稳定地复用,而不是每次都重新踩坑。三者合起来,才更可能构成 AI 时代的壁垒。

为什么这三样很难只靠资料补齐?因为它们是"隐性知识"——往往要在具体的坑里长出来,也很难被写成通用教程。教程能告诉你"RAG 有双路召回",但"你的知识库该不该分租户域"更依赖你自己的业务;教程能告诉你"要用 LLM-as-Judge",但"诊断标志不能混进质量分"更依赖你踩过的坑。这就像手艺,看一百遍视频,不如自己上手做坏一次。

传统工程师的自信,来自"确定性可被穷举"——覆盖可预见分支后,就倾向于认为工作完成。但 AI 应用很难穷举全部路径,更接近一个质量分布。概率系统的输出通常难以完全穷举,往往要借助评估集逼近它的质量分布。所以做 AI 应用,心态要从"我测完了"变成"我在持续逼近"——这套认知上的转变,也是系统思维这一层更难的地方。


五、当 AI 替你写代码,判断力更贵了

还有一个 AI 时代特有的变化,让判断力变得更贵:你不再是"写代码的人",而是"管 AI 写代码的人"。 以前你的判断力用在"产品怎么做",现在还要用在"AI 做得对不对"——AI 会偷懒、会幻觉、会把"编译通过"当"做对了"、会凭印象下结论。管住它,靠的还是判断力,只不过对象从产品换成了 AI 本身。关于怎么管住 AI,我会在另一篇《AI 协同开发的工程化治理:从 Spec 评审到真实验证》里展开。

最后还有一个更宏观的判断:这套工程方法论是通用的。换个业务、换种语言、换个平台,上下文工程、RAG、评测归因、安全兜底这些环节的主流程基本不变,变的只是业务逻辑。所以我把踩坑的方法论从具体业务中抽出来,沉淀成一套跨语言、跨平台、跨业务通用的技能和方案。业务会换,但工程判断力是能反复复用的资产——这,也正是它作为壁垒的底气。

还有一个更关键的问题:判断力能不能也外包给 AI?我的答案是:当前很难。因为判断力的前提是"承担后果"——你做的判断错了,代价通常由你承担。AI 可以帮你列出选项、帮你推演风险,但"拍板"这件事,最终责任通常仍要由人来承担。这不是单纯的技术问题,也是责任问题。


结尾:人定方向,AI 落成

回到开头那个反直觉的判断:编码不再是壁垒,但工程化仍然是;单纯的编码技术不再是优势,认知、判断力与系统思维才是。

这篇文章不是要否定技术,恰恰相反,它是要把"技术"这个词拆开——编码能力可以被 AI 大量替代,关键判断仍主要靠人承担。

这个项目的实现主要由 AI 协作完成,但"安全员采用固定边""置信度双阈值""关键上下文产物直连消费节点"——这些决策,主要靠判断力,而不是编码能力。

AI 时代最舒服的分工是:人定方向、做判断、做最终验证;AI 落实现、整理文档、补候选测试。 但方向定得对不对、判断做得准不准、验证做得实不实——这些,AI 替不了你。

写这篇文章,我想让你带走的其实就一句话:当编码不再是壁垒,你要练的不是写得更快,而是判断得更准。 技术会变、模型会换、框架会迭代,但"想清楚什么是对的、确认做得对不对"这个能力,AI 目前很难替你补上。

而这,才是更难被替代的壁垒。


本文基于「清风明月」项目的工程实践整理与思考,供参考。