AI Agent 演示惊艳,一进生产就不好用:POC 成功 ≠ 生产可用
一个 AI Agent,演示里 94 分,一进生产掉到 30 分。代码一行没改。
SAP 这周把这层窗户纸捅破了,原话是:"POC 非常成功,领导都非常高兴,说我们就去干吧。可真正做起来,效果完全不一样,数据不准确,其他问题也都出来了。"
总结就是:POC 成功 ≠ 生产可用。演示测的是环境,不是 Agent。
发生了什么
SAP 在活动上点破了企业 AI 落地的"最大幻觉":演示和真实生产,是两码事。
蔡彦斌那句不用翻译,句句扎在做过 AI 落地的人身上:POC 时大家都高兴,真干起来数据不准确、别的问题全冒出来。
他归纳了三个原因:
- 数据孤岛与规则不一致 → Agent 难理解真实业务上下文
- 行业大模型缺企业级微观知识 → 无法支撑具体决策
- POC 成功 ≠ 生产可用 → 工程化需解决异常处理与跨系统协调
问题出在哪
不是 Agent 不行,是环境没给它"生产级"的条件。
拿一个最普通的"发票报销 Agent"看就懂了。演示和生产跑的是同一份代码,变的只是喂给它的料:
- 数据类:演示里金额、税率、报销规则都在一个系统里、对得上;生产里数据散在 3 个系统,专票抵扣规则没人写进提示,金额一栏还经常空着。
- 知识类:演示时模型"恰好"懂你的报销规则;生产里它不懂你们公司"这张专票能不能抵扣"这种企业级微观知识。
- 异常类:演示时接口秒回;生产里税局接口偶尔超时,没人兜底。
演示环境干净,所以它顺。生产环境脏,所以它掉分。掉的分不是 Agent 丢的,是环境没给那三样:数据打通与规则对齐、企业级微观知识、异常兜底。
亲手验一下
下面写了个能跑的对照:同一个发票报销 Agent、同一套逻辑,放进两个环境各跑 2000 张发票。演示环境(数据干净/规则对得上/模型懂/接口稳),生产环境(数据不完整 25%/数据打架 15%/缺微观知识 20%/超时 10%)。纯标准库,不联网,直接跑:
"""Agent 演示惊艳,一进生产就不好用:POC 成功 ≠ 生产可用。
事件:SAP 直指企业 AI 落地最大幻觉。蔡彦斌:"POC 非常成功,领导都非常高兴,
说我们就去干吧。可真正做起来,效果完全不一样,数据不准确,其他问题也都出来了。"
原因拆解(SAP 归纳):
1. 数据孤岛与规则不一致 → Agent 难理解真实业务上下文
2. 行业大模型缺企业级微观知识 → 无法支撑具体决策
3. POC 成功 ≠ 生产可用,工程化需解决异常处理与跨系统协调
这篇用同一个"发票报销 Agent"对照:演示和生产跑同一套逻辑,只是环境给的
数据/规则/知识/异常不同。失败模式对得上 SAP 说的三原因:
数据类 = 数据不完整 + 数据打架(对应原因1)
知识类 = 缺企业级微观知识(对应原因2)
异常类 = 接口超时(对应原因3)
为让数字稳定,各跑 2000 张发票(单次抽样方差太大)。
纯标准库,不联网。用法:python3 demo_vs_prod.py
"""
import random
from bisect import bisect
N = 2000 # 每个环境跑的张数(跑得多,百分比才稳)
class Env:
"""一个环境:给 Agent 什么样的数据、规则、知识、异常率。"""
def __init__(self, name, data_gaps, data_conflicts, missing_knowledge, timeouts):
self.name = name
self.data_gaps = data_gaps # 数据不完整(演示干净、生产脏)
self.data_conflicts = data_conflicts # 数据打架:金额与税率表对不上
self.missing_knowledge = missing_knowledge # 缺企业级微观知识
self.timeouts = timeouts # 上游接口超时
def failure_map(self):
"""失败模式 → [0,1) 上的区间,按 SAP 三原因归四类。"""
return [
("数据不完整(脏数据)", self.data_gaps),
("数据打架(规则不一致)", self.data_conflicts),
("缺企业级微观知识", self.missing_knowledge),
("接口超时", self.timeouts),
]
def run(env, n=N, seed=7):
"""跑 n 张发票:同一套 Agent 逻辑,环境决定它顺不顺。
每张发票抽一次签:落在某失败模式区间就失败,落在失败总区间之外才算成功。
"""
rng = random.Random(seed)
labels = [name for name, _ in env.failure_map()]
cuts, acc = [], 0.0
for _, rate in env.failure_map():
acc += rate
cuts.append(acc)
reasons, ok = {}, 0
for _ in range(n):
x = rng.random()
i = bisect(cuts, x)
if i < len(labels):
reasons[labels[i]] = reasons.get(labels[i], 0) + 1
else:
ok += 1
return ok, n, reasons
def show(env, label):
ok, n, reasons = run(env, n=N)
rate = round(ok * 100 / n)
print(f"【{label}】")
print(f" 环境: {env.name}")
print(f" 数据不完整 {env.data_gaps:.0%} | 数据打架 {env.data_conflicts:.0%} "
f"| 缺微观知识 {env.missing_knowledge:.0%} | 超时 {env.timeouts:.0%}")
print(f" 跑 {n} 张发票 → 成功 {ok} 张,成功率 {rate}%")
if reasons:
print(" 失败归因:")
for why, cnt in sorted(reasons.items(), key=lambda x: -x[1]):
print(f" {why}: {cnt} 张")
print()
def main():
print("=" * 70)
print("演示 vs 生产 · 同一个报销 Agent,环境决定它顺不顺")
print("=" * 70)
print("""
背景:SAP 直指企业 AI 落地最大幻觉。"POC 非常成功,领导都非常高兴,
说我们就去干吧。可真正做起来,效果完全不一样,数据不准确,其他问题也都出来了。"
关键:不是 Agent 不行,是环境没给它"生产级"的条件。
同一张发票,两个环境喂给 Agent 的料不一样:
演示: 金额 1280.00 元 | 税率表对得上 | 报销规则在提示里 | 接口秒回
生产: 金额一栏空着 | 3 个系统税率对不上 | 专票抵扣规则没人写 | 税局接口超时
""")
demo = Env("演示环境", data_gaps=0.00, data_conflicts=0.01,
missing_knowledge=0.02, timeouts=0.02)
prod = Env("生产环境", data_gaps=0.25, data_conflicts=0.15,
missing_knowledge=0.20, timeouts=0.10)
show(demo, "演示:POC 那套")
show(prod, "生产:真正跑起来")
print("=" * 70)
print("结论:")
print(" 同一个 Agent、同一套逻辑,环境不同,成功率天差地别。")
print(" → POC 成功 ≠ 生产可用:演示测的是环境,不是 Agent。")
print(" → 生产上线先补三样:数据打通与规则对齐、企业级微观知识、异常兜底。")
print("=" * 70)
if __name__ == "__main__":
main()
我本地跑了一遍(Python 3.12,无依赖、不联网),实际输出:
======================================================================
演示 vs 生产 · 同一个报销 Agent,环境决定它顺不顺
======================================================================
背景:SAP 直指企业 AI 落地最大幻觉。"POC 非常成功,领导都非常高兴,
说我们就去干吧。可真正做起来,效果完全不一样,数据不准确,其他问题也都出来了。"
关键:不是 Agent 不行,是环境没给它"生产级"的条件。
同一张发票,两个环境喂给 Agent 的料不一样:
演示: 金额 1280.00 元 | 税率表对得上 | 报销规则在提示里 | 接口秒回
生产: 金额一栏空着 | 3 个系统税率对不上 | 专票抵扣规则没人写 | 税局接口超时
【演示:POC 那套】
环境: 演示环境
数据不完整 0% | 数据打架 1% | 缺微观知识 2% | 超时 2%
跑 2000 张发票 → 成功 1880 张,成功率 94%
失败归因:
接口超时: 49 张
缺企业级微观知识: 47 张
数据打架(规则不一致): 24 张
【生产:真正跑起来】
环境: 生产环境
数据不完整 25% | 数据打架 15% | 缺微观知识 20% | 超时 10%
跑 2000 张发票 → 成功 602 张,成功率 30%
失败归因:
数据不完整(脏数据): 540 张
缺企业级微观知识: 375 张
数据打架(规则不一致): 299 张
接口超时: 184 张
======================================================================
结论:
同一个 Agent、同一套逻辑,环境不同,成功率天差地别。
→ POC 成功 ≠ 生产可用:演示测的是环境,不是 Agent。
→ 生产上线先补三样:数据打通与规则对齐、企业级微观知识、异常兜底。
======================================================================
2000 张发票,跑得明明白白:演示 94%,生产 30%。同一份代码。
说到底
- 同一个 Agent、同一套逻辑,环境决定它顺不顺。 代码没变,变的只是数据、规则、知识、异常。
- POC 成功 ≠ 生产可用。 演示测的是环境,不是 Agent;别把"演示很顺"当"生产能上"。
- 生产上线先补三样: 数据打通与规则对齐、企业级微观知识、异常兜底。
- 最该问的一句: "POC 里它顺,是因为环境干净,还是因为它真行?"
我做 AI 可靠性,生产里的 Agent 可靠性就看"换到真实环境还顺不顺":别用演示环境的结果,当生产的承诺。
你有没有见过"演示 94 分、生产 30 分"的 Agent?欢迎在评论区聊聊:你的 AI 落地,POC 很顺,上线后是先栽在数据、还是先栽在"它不懂你公司的规矩"? 被"演示很顺"坑过的人,最知道环境有多重要。
关注我,AI 可靠性系列会一直写下去;也欢迎来 AIHCC 看看行为管控这条线。
代码说明:示例基于 Python 3.10+,纯标准库、无第三方依赖、不联网;文中输出为本地实测结果(Python 3.12.2)。演示/生产跑的是同一套"发票报销 Agent"逻辑,环境参数(数据不完整、数据打架、缺企业级微观知识、接口超时四类失败模式的概率)决定成功率;每张发票抽签落入某失败区间即失败,落在失败总区间之外算成功,故成功率 = 1 − 各失败率之和。为让百分比稳定,各环境跑 2000 张。失败归因按 SAP 归纳的三类原因(数据类/知识类/异常类)统计。"演示测的是环境,不是 Agent"是全文核心。蔡彦斌原话及三原因,引自 InfoQ 11-17 报道。
#AI #AI智能体 #可靠性 #POC #企业AI落地 #生产环境