从可运行到可演进:AI 应用架构的六项核心工程能力

13 阅读16分钟

从上下文工程、RAG、安全兜底,到评测归因、分层解耦与数据飞轮

本文来自一个面向个人成长与人际沟通场景的多租户 AI 应用的实践梳理。项目一路做下来,我最深的体会是:让 AI「跑起来」不难,难的是让它真正「高效、稳定、可靠」。这篇把其中最吃人的六个工程深水区逐个拆开,每项都结合实际决策和踩坑。

这是 AI 应用工程化系列的第二篇,逐一拆解六个产品工程深水区。


AI 应用不是"模型 + 界面",是一张四层地图

AI 应用不是"模型 + 界面",而是一个四层深度耦合的系统:

image.png

四层里,接入层、数据层是相对"通用"的成熟技术,难点大多集中在中间的 AI 能力层。我把这一层的难题归纳成六个"深水区"——它们不是某类业务的专利,而是多数 LLM 应用都会遇到的共性工程范式:

#深水区解决的通用难题为什么"光写对代码还不够"
1上下文工程长对话失忆、注意力衰减、跨会话共享、Token 爆炸产物"算出来了" ≠ "用上了",中途可能被压扁而无法到达消费端
2RAG 工程领域知识怎么可靠注入 → 召回准、不幻觉、可溯源召回、精排、溯源任一环出问题,都可能影响专业性与可信度
3安全兜底AI 不能"越界乱说、泄露隐私"靠模型自觉,还是靠结构保证,天壤之别
4评测与归因怎么量化"AI 答得好不好"诊断标志混进质量分,会系统性扣错分
5分层解耦怎么"切换引擎/存储不改业务"抽象层形式正确 ≠ 实质生效,坑都藏在工厂里
6数据飞轮怎么让系统"越用越好"有飞轮设计 ≠ 有真实燃料

这六块是"AI 应用开发的深水区"——项目做到"能用"之后,要"好用、可维护、可持续进化",都绕不开它们。下面逐个拆开,每一个都用项目的实际决策和踩坑来说明:这一层考验的不只是写代码,更是判断。

更重要的是,这套工程体系具有通用性。换个业务、语言或平台,上下文工程、RAG、安全兜底、评测归因、分层解耦、数据飞轮这六个业务工程深水区,主流程基本不变,变的只是业务逻辑与领域知识;可观测不在六个之列,而是横切这六项能力的底层能力。正因如此,这个项目做到一半时,我做了一件比"把它做完"更有价值的事——把踩坑的方法论从具体业务中抽出来,沉淀成一套跨语言、跨平台、跨业务可迁移的工程方法(规范驱动开发、评审推演、存储与引擎适配、评测归因……)。业务会换,但这些工程方法是可以反复复用的资产。

可观测的难点,不在于有没有日志,而在于关键字段是否在系统设计之初进入数据管道。核心 LLM 调用应记录耗时、Token 和状态,关键检索应留痕,成本宜按租户归集,出问题时要能回溯到具体环节。数据没埋,成本看板、降级统计等功能就很难做出来;埋点补得越晚,返工成本越高。


深水区一:上下文工程——让 AI "记得住"

长对话有几个经典困境:失忆(聊久了忘掉前面说过什么)、注意力衰减(上下文越长,模型越抓不住重点、中间的内容容易被忽略)、跨会话共享(这次说的,下次还记不记得),以及 Token 爆炸(历史全塞进去,成本线性飙升甚至超窗)。上下文工程要同时解决这几件事,靠的是"优先级组装 + 摘要压缩 + Token 预算 + 长期记忆"这一整套。

关键在组装的优先级——越靠前的越"稳定、昂贵、不可丢",越靠后的越"新鲜、便宜、可丢弃":

graph LR
    subgraph 上下文组装优先级从高到低
        M[长期记忆<br/>Top-3 事实] --> S[会话摘要<br/>chat_sessions.summary]
        S --> W[滑动窗口<br/>最近 10 条对话]
        W --> E[情绪判断<br/>倾听者产出]
        E --> C[问题核心<br/>分析者产出]
        C --> Q[用户问题<br/>永不截断]
    end

跨会话记忆则靠三个生命周期运转:萃取(定时扫描未活跃会话,LLM 提取事实)、召回(每次提问按相似度取 Top-3 注入)、卸载(时间、命中率、重要度三重淘汰)。

把整个上下文管理拆开,是这么一张架构:

image.png

左边是跨会话:历史会话被定时萃取出事实、写进 user_memories;右边是当前会话:超阈值就摘要压缩、否则滑动窗口保留。它们和 RAG 知识一起,在建议者节点汇成最终回答,再经 StreamTask 流式投递——生成和投递解耦,客户端断连也不丢、可重连。这张图看着简单,但每一个箭头背后都是脏活。

可这些听着漂亮,落下去大多是"不炫技、但需要做对"的脏活累活:摘要压缩要管住幂等边界(只压上次摘要之后的新消息,LLM 失败就不推进边界);记忆萃取要管住增量边界和语义去重(否则定时任务反复跑会萃出一堆重复记忆);卸载要靠时间、命中率、重要度三重标准慢慢淘。这些大多不是"调一下模型"能解决的,而是老老实实的工程。

项目踩过的坑是:为什么"记忆"和"摘要"都算出来了,用户却感知不到? 因为优先级组装这张图,落到编排层时断了——记忆只进了"倾听者",而倾听者的任务是"输出一句情绪判断",实际输出回答的"建议者"只拿到那句情绪标签。

"算出来了"不等于"用上了"——关键的上下文产物应直连最终消费节点,避免被中间节点"压扁"。这是数据流判断,不是语法问题。


深水区二:RAG 工程——让 AI "答得专业"

通用知识可以由预训练兜底,但领域知识(自我成长与关系相处的专业内容、公司内部文档)通常需要 RAG 注入。RAG 的难题不是"能召回",而是"召回得准、不幻觉、可溯源"。

项目采用四段管线,具体可以拆成下面四个环节:

image.png

这套管线的思路,是把"召回"当成一个逐步收窄的漏斗:

  1. 双路召回与相关性过滤(漏斗最宽处):Chroma/Milvus 负责"语义相近",FTS5/BM25 负责"字面精确";两路各取 Top-K 后,再把 score 低于阈值的切片砍掉,避免把明显无关内容带进后续计算。
  2. RRF 融合:把两路结果按排名融合成一个候选池(Top-10),避免偏信单一来源。
  3. 交叉编码器精排:用更贵但更准的模型重新打分排序,这是漏斗里最精准的一层。
  4. MMR 多样性精选:从精排结果里挑 Top-3,既看与问题的相关性,也看彼此之间的差异,避免三条切片重复表达同一件事。

每一层都在收窄、都在提纯,最终只把 3 条最相关的切片注入分析者——既保证"答得专业",又控制 Token 和噪声。

另一个同样重要、却最容易被忽略的是溯源。项目中的切片在切分时就带上了页码、多级标题(章节/小节)、表格序号,所以 AI 回答时能明确标注"这个观点来自哪篇文档、哪个章节"——前端展示引用来源,评测则用基准答案去核对"该召回的切片到底召回了没有"。没有溯源,AI 答得再像,你也不敢信。

说这些,其实想点破一个被"调模型"掩盖的事实:RAG 的成本大头,往往不在那几次检索调用,而在前面一堆看不见的脏活累活——把 PDF、Word、PPT、Excel、CSV,甚至图片(走 OCR)解析成干净文本,去掉排版噪声;图片要抽文字、表格要跨页合并、多级标题要保留层级;再切成带章节标题、页码、表格序号的切片,一条条向量化。项目支持多种格式、上百个切片,光这套预处理就占了知识库功能的大半工作量。而且"垃圾进、垃圾出":切片质量不过关,后面的漏斗、重排和溯源都会受到影响。


深水区三:安全兜底——让 AI "不失控"

AI 应用最贵的是"信任",最危险的是"失控"。对需要处理高敏感用户输入的应用,这类场景尤其需要谨慎:一次漏判可能带来严重后果。

项目设置了五道防线:① AC 自动机(输入侧,先于大模型调用,0 次模型调用)→ ② AI 网关(限流 + 主备降级)→ ③ 置信度双阈值熔断 → ④ 输出侧 AC 兜底 → ⑤ 紧急求助提示。

而其中一个关键设计,是多智能体编排的第一节点:

stateDiagram-v2
    [*] --> SafetyAgent : 用户输入
    SafetyAgent --> EmergencyEnd : ❌ 命中红线
    SafetyAgent --> EmpathyAgent : ✅ 安全通过
    EmpathyAgent --> AnalysisAgent : 共情并识别情绪
    AnalysisAgent --> AdvisorAgent : RAG 召回 + 生成建议
    AdvisorAgent --> CheckConfidence : 自评置信度
    CheckConfidence --> NormalOutput : ✅ 0.6 ≤ c ≤ 0.9
    CheckConfidence --> RegenOrHuman : ❌ c < 0.6
    CheckConfidence --> SoftenOutput : ❌ c > 0.9
    NormalOutput --> [*]
    SoftenOutput --> [*]
    RegenOrHuman --> [*]
    EmergencyEnd --> [*]

注意:"安全员"恒为第一节点,用 LangGraph 的固定边连接,而不是让主 Agent 动态决定"什么时候调用安全员"。

为什么?因为如果安全拦截靠模型"自觉",一旦主模型判断失误或被提示词注入带偏,安全员就可能被跳过。对这类红线场景,更稳妥的做法是把它固定为第一个执行节点,并避免被动态委派绕过。

这个决策靠的不是编码能力,而是对"模型不可靠"的深刻认知。安全靠结构保证,不靠模型自觉——这是做严肃 AI 应用时值得反复提醒自己的原则。

说实话,我一开始也纠结过要不要上 Deep Agents 的动态委派——它看起来确实更"智能",让主 Agent 自己决定什么时候调用谁。但真要落地时我想通了:安全这件事,不能赌规划器每次都判断对。宁可编排笨一点、固定一点,也要让安全员固定为第一节点、不可绕过——动态委派把安全变成了概率,而不是确定保证。


深水区四:评测与归因——让 AI "可量化"

传统软件验收是二值的(过了/没过)。AI 的质量是连续的(共情度、准确率、幻觉率、安全率)。用二值标准验收连续系统,结果就是要么"测不出问题",要么"过度承诺"。

所以需要一套评测体系:评估集 + LLM-as-Judge 打分 + 分层归因(定位问题在检索层/模型层/规则层)+ 锚点校准。

项目在评测上踩的坑,几乎都是"看起来对、实际错":

  1. 诊断标志混进质量分:多轮场景把"是否触发高风险兜底"(safety_hit)这个诊断标志当质量分一起平均,正常未触发 = 0,把每道题系统性拉低 0.15~0.2 分。
  2. 基准答案按场景共用:一个场景 5 道不同主题的题共用同一句基准答案,多数题目的召回、精确率和 MRR 接近 0。
  3. 召回匹配用"前 20 字精确子串":基准答案措辞稍变就判 0。
  4. 综合分混入检索指标:答案满分但检索失败也只给 0.4,掩盖了"答案对但检索差"和"答案差但检索好"是两种不同问题。

这几个坑里,最让我纠结的是第一个——我一开始也觉得 safety_hit 应该算进质量分,毕竟“触发高风险兜底”听起来就是“答得不好”。后来才想明白:是否触发安全兜底,和回答质量本身是两回事。把正常未触发记成 0 再参与平均,反而会系统性拉低所有正常回答的得分。

更典型的结构性错误,是把不同维度的数据压进同一个平均分。安全命中是诊断信号,召回率、精确率与 MRR 衡量检索质量,LLM-as-Judge 分数衡量生成质量。三者混算后,“答得好但检索差”和“检索好但答得差”可能得到相近的综合分,报告看似精确,结论却不可信。指标应先分维度、再汇总:诊断指标单独看,检索质量单独看,生成质量单独看,最后才按明确的业务口径做综合判断。

评测体系和裁判本身也需要校准。LLM 裁判可用平均偏差(Bias)+ Pearson 相关性 + MAE 三件套判断:偏差反映系统性偏高或偏低,Pearson 反映人工分与 Judge 分的排序是否一致,MAE 衡量绝对分差。只看其中一项,都可能把“分数接近”误判成“裁判可靠”。没有这套评测,每一次 Prompt 改动、模型切换,都像是在黑盒里掷骰子——你以为改好了,其实只是换了一个方向的偏。

评测报告与归因

综合平均分 0.84、主要归因类型、指标得分与归因分布、难度分层。"答得好不好"被量化成了可对比、可归因的指标,而不是一句"我觉得还行"。

但评测只回答了一半:"答得好不好"。剩下的一半是**"为什么答得不好"**——这就是归因。

没有归因,你拿到一个 0.45 的综合分,只知道"有问题",却不知道该改哪:是知识库没这块内容(检索层)?是召回了但模型没用上(模型层)?还是 prompt 或规则写错了(规则层)?只能一个个试,排查效率极低,边界也不清楚。

项目把归因做成了两个维度:一类回答"错在哪"(知识缺失、上下文错配、幻觉、逻辑错误),一类回答"哪个环节"(无问题、召回、分块、重排、多样性、生成)。每个低分用例都能落到"问题出在哪一层、哪个环节",改的时候直接命中,而不是全链路瞎找。

举个例子。有一道文档问答的评测题,溯源命中率是 0。归因先指向「召回」,但顺着检索日志往下查,发现切片在「分块」时就没带上章节标题——基准答案要匹配的正是这个标题,对不上,所以召回、溯源全 0。根因在「分块」,不在「召回」。

这就是归因的价值:它不把问题停在"分低了"这个表面,而是穿透到"哪一环出了事"。否则你会盯着召回调参数,调半天也没用,因为根子在分块。

说到底,归因是把"排查问题"从"凭感觉"变成"有边界"。项目越大,这个边界越值钱——它决定了你是改一次就中,还是改十次还摸不到门。


深水区五:分层解耦——让系统"可切换"

业务代码如果直接依赖向量库、关系库、缓存、模型等具体实现,一旦要换引擎往往就要全局重构。所以项目立了一条约束:核心存储与 AI 引擎统一经"抽象接口 + 工厂"获取,常规切换尽量只改 .env 并安装对应驱动,不侵入业务代码。

image.png

但抽象层恰恰是"最容易被形式正确欺骗"的地方。我们踩过一个隐蔽的坑:缓存工厂每次新建实例、而不是返回单例——结果语义缓存、RAG 缓存跨请求不共享,代码形式上"走了工厂",缓存实质却失效了。

更典型的,是统一调用屏障被自己掏空:项目约定"核心模型调用原则上经过 AI 网关"(统一限流、降级、计量),但摘要压缩、记忆萃取这两个功能一开始直接 ModelFactory.resolve() 绕过网关——没有限流、没有 PII 脱敏、没有 Trace。规则写在文档里,实现时却被绕过了。

"经工厂获取"是形式,"单例、降级、计量生效"才是实质。 抽象层不会替你保证正确,它只是把正确的责任集中到了更容易被审的地方。


深水区六:数据飞轮——让系统"越用越好"

功能固定的工具与能够持续进化的系统,区别在于有没有一个持续运转的数据飞轮:

graph LR
    CUser[C端用户] -->|点踩 & 填写原因| Feedback[反馈工单]
    Feedback -->|管理员处理| Check{是否 Bad Case?}
    Check -->|是| EvalCase[沉淀为评测用例]
    EvalCase --> EvalRun[一键触发评测]
    EvalRun --> LLMJudge[LLM-as-Judge 打分]
    LLMJudge --> Attribution[分层归因报告]
    Attribution -->|定位检索/模型/规则层| Fix[优化 Prompt / 知识库 / 模型]
    Fix -->|版本发布| CUser

飞轮画出来很漂亮,但项目早期确实断在过"燃料":前端点踩按钮一度是纯 mock,没有调用后端接口;流式消息用的是临时假 ID,难以溯源。 我一度也以为飞轮转起来了,直到有天点开反馈工单表——是空的。整个飞轮有设计,却没有真实数据。

数据飞轮最容易断的地方,往往不是流程设计,而是“燃料”有没有进入数据管道。完整闭环应当是“线上反馈 → 沉淀黄金集 → 评测回归 → 优化发布”;从用户点踩、有效消息 ID、工单落库,到评测沉淀和版本发布,每一段都要接通。任何一处断了,飞轮都转不起来。

因此,不能把数据飞轮当成一个单独的评测功能来建设。评测只是飞轮中的一段。数据飞轮看起来像一个模块,实际是横切全系统的数据管道:前端要接线,后端要落库,消息要能溯源,优化结果还要能回到线上。


结尾

这六个深水区,每个单独看都像"能跑",组合起来才更接近完整的 AI 应用。它们的共同点是:代码写对了也往往不够,很大程度还要靠判断力——清楚每个环节的边界、知道坑在哪、怎么验证。这也是为什么"接个模型"简单,实际落地却问题很多。

回头看,这六个深水区其实是同一条主线的六个切面:上下文工程管"记得住",RAG 管"答得准",安全兜底管"不失控",评测归因管"可量化",分层解耦管"可切换",数据飞轮管"能进化"。它们彼此咬合——上下文工程的产物要喂给 RAG,评测归因的结果要回灌进数据飞轮;某个环节松动,整条链都可能受影响。这也是为什么 AI 应用是一个"强耦合的工程",而不是"六个孤立的模块"。

如果你也在做 AI 应用,我的建议是:别急着上模型,先把这六个深水区在心里过一遍——哪一块你有清晰的方案,哪一块还是"先接上再说"。心里有谱,落地才不慌。

这篇文章里,我没有展开"选什么模型""怎么写 prompt",因为对系统能否长期演进来说,六个深水区里那些"不炫技、但需要做对"的工程往往更关键。


本文基于项目工程实践整理与思考,供参考。