Agent 演示惊艳,一进生产就不好用:POC 成功 ≠ 生产可用

0 阅读8分钟

AI Agent 演示惊艳,一进生产就不好用:POC 成功 ≠ 生产可用

一个 AI Agent,演示里 94 分,一进生产掉到 30 分。代码一行没改。

SAP 这周把这层窗户纸捅破了,原话是:"POC 非常成功,领导都非常高兴,说我们就去干吧。可真正做起来,效果完全不一样,数据不准确,其他问题也都出来了。"

总结就是:POC 成功 ≠ 生产可用。演示测的是环境,不是 Agent。

发生了什么

SAP 在活动上点破了企业 AI 落地的"最大幻觉":演示和真实生产,是两码事。

蔡彦斌那句不用翻译,句句扎在做过 AI 落地的人身上:POC 时大家都高兴,真干起来数据不准确、别的问题全冒出来。

他归纳了三个原因:

  • 数据孤岛与规则不一致 → Agent 难理解真实业务上下文
  • 行业大模型缺企业级微观知识 → 无法支撑具体决策
  • POC 成功 ≠ 生产可用 → 工程化需解决异常处理与跨系统协调

问题出在哪

不是 Agent 不行,是环境没给它"生产级"的条件。

拿一个最普通的"发票报销 Agent"看就懂了。演示和生产跑的是同一份代码,变的只是喂给它的料:

  • 数据类:演示里金额、税率、报销规则都在一个系统里、对得上;生产里数据散在 3 个系统,专票抵扣规则没人写进提示,金额一栏还经常空着。
  • 知识类:演示时模型"恰好"懂你的报销规则;生产里它不懂你们公司"这张专票能不能抵扣"这种企业级微观知识。
  • 异常类:演示时接口秒回;生产里税局接口偶尔超时,没人兜底。

演示环境干净,所以它顺。生产环境脏,所以它掉分。掉的分不是 Agent 丢的,是环境没给那三样:数据打通与规则对齐、企业级微观知识、异常兜底。

在这里插入图片描述

亲手验一下

下面写了个能跑的对照:同一个发票报销 Agent、同一套逻辑,放进两个环境各跑 2000 张发票。演示环境(数据干净/规则对得上/模型懂/接口稳),生产环境(数据不完整 25%/数据打架 15%/缺微观知识 20%/超时 10%)。纯标准库,不联网,直接跑:

"""Agent 演示惊艳,一进生产就不好用:POC 成功 ≠ 生产可用。

事件:SAP 直指企业 AI 落地最大幻觉。蔡彦斌:"POC 非常成功,领导都非常高兴,
说我们就去干吧。可真正做起来,效果完全不一样,数据不准确,其他问题也都出来了。"

原因拆解(SAP 归纳):
  1. 数据孤岛与规则不一致 → Agent 难理解真实业务上下文
  2. 行业大模型缺企业级微观知识 → 无法支撑具体决策
  3. POC 成功 ≠ 生产可用,工程化需解决异常处理与跨系统协调

这篇用同一个"发票报销 Agent"对照:演示和生产跑同一套逻辑,只是环境给的
数据/规则/知识/异常不同。失败模式对得上 SAP 说的三原因:
  数据类 = 数据不完整 + 数据打架(对应原因1)
  知识类 = 缺企业级微观知识(对应原因2)
  异常类 = 接口超时(对应原因3)

为让数字稳定,各跑 2000 张发票(单次抽样方差太大)。
纯标准库,不联网。用法:python3 demo_vs_prod.py
"""

import random
from bisect import bisect

N = 2000  # 每个环境跑的张数(跑得多,百分比才稳)


class Env:
    """一个环境:给 Agent 什么样的数据、规则、知识、异常率。"""

    def __init__(self, name, data_gaps, data_conflicts, missing_knowledge, timeouts):
        self.name = name
        self.data_gaps = data_gaps            # 数据不完整(演示干净、生产脏)
        self.data_conflicts = data_conflicts  # 数据打架:金额与税率表对不上
        self.missing_knowledge = missing_knowledge  # 缺企业级微观知识
        self.timeouts = timeouts              # 上游接口超时

    def failure_map(self):
        """失败模式 → [0,1) 上的区间,按 SAP 三原因归四类。"""
        return [
            ("数据不完整(脏数据)", self.data_gaps),
            ("数据打架(规则不一致)", self.data_conflicts),
            ("缺企业级微观知识", self.missing_knowledge),
            ("接口超时", self.timeouts),
        ]


def run(env, n=N, seed=7):
    """跑 n 张发票:同一套 Agent 逻辑,环境决定它顺不顺。

    每张发票抽一次签:落在某失败模式区间就失败,落在失败总区间之外才算成功。
    """
    rng = random.Random(seed)
    labels = [name for name, _ in env.failure_map()]
    cuts, acc = [], 0.0
    for _, rate in env.failure_map():
        acc += rate
        cuts.append(acc)
    reasons, ok = {}, 0
    for _ in range(n):
        x = rng.random()
        i = bisect(cuts, x)
        if i < len(labels):
            reasons[labels[i]] = reasons.get(labels[i], 0) + 1
        else:
            ok += 1
    return ok, n, reasons


def show(env, label):
    ok, n, reasons = run(env, n=N)
    rate = round(ok * 100 / n)
    print(f"【{label}】")
    print(f"  环境: {env.name}")
    print(f"  数据不完整 {env.data_gaps:.0%} | 数据打架 {env.data_conflicts:.0%} "
          f"| 缺微观知识 {env.missing_knowledge:.0%} | 超时 {env.timeouts:.0%}")
    print(f"  跑 {n} 张发票 → 成功 {ok} 张,成功率 {rate}%")
    if reasons:
        print("  失败归因:")
        for why, cnt in sorted(reasons.items(), key=lambda x: -x[1]):
            print(f"    {why}: {cnt} 张")
    print()


def main():
    print("=" * 70)
    print("演示 vs 生产 · 同一个报销 Agent,环境决定它顺不顺")
    print("=" * 70)
    print("""
背景:SAP 直指企业 AI 落地最大幻觉。"POC 非常成功,领导都非常高兴,
说我们就去干吧。可真正做起来,效果完全不一样,数据不准确,其他问题也都出来了。"
关键:不是 Agent 不行,是环境没给它"生产级"的条件。

同一张发票,两个环境喂给 Agent 的料不一样:
  演示: 金额 1280.00 元 | 税率表对得上 | 报销规则在提示里 | 接口秒回
  生产: 金额一栏空着     | 3 个系统税率对不上 | 专票抵扣规则没人写 | 税局接口超时
""")

    demo = Env("演示环境", data_gaps=0.00, data_conflicts=0.01,
               missing_knowledge=0.02, timeouts=0.02)
    prod = Env("生产环境", data_gaps=0.25, data_conflicts=0.15,
               missing_knowledge=0.20, timeouts=0.10)

    show(demo, "演示:POC 那套")
    show(prod, "生产:真正跑起来")

    print("=" * 70)
    print("结论:")
    print("  同一个 Agent、同一套逻辑,环境不同,成功率天差地别。")
    print("  → POC 成功 ≠ 生产可用:演示测的是环境,不是 Agent。")
    print("  → 生产上线先补三样:数据打通与规则对齐、企业级微观知识、异常兜底。")
    print("=" * 70)


if __name__ == "__main__":
    main()

我本地跑了一遍(Python 3.12,无依赖、不联网),实际输出:

======================================================================
演示 vs 生产 · 同一个报销 Agent,环境决定它顺不顺
======================================================================

背景:SAP 直指企业 AI 落地最大幻觉。"POC 非常成功,领导都非常高兴,
说我们就去干吧。可真正做起来,效果完全不一样,数据不准确,其他问题也都出来了。"
关键:不是 Agent 不行,是环境没给它"生产级"的条件。

同一张发票,两个环境喂给 Agent 的料不一样:
  演示: 金额 1280.00 元 | 税率表对得上 | 报销规则在提示里 | 接口秒回
  生产: 金额一栏空着     | 3 个系统税率对不上 | 专票抵扣规则没人写 | 税局接口超时

【演示:POC 那套】
  环境: 演示环境
  数据不完整 0% | 数据打架 1% | 缺微观知识 2% | 超时 2%
  跑 2000 张发票 → 成功 1880 张,成功率 94%
  失败归因:
    接口超时: 49 张
    缺企业级微观知识: 47 张
    数据打架(规则不一致): 24 张

【生产:真正跑起来】
  环境: 生产环境
  数据不完整 25% | 数据打架 15% | 缺微观知识 20% | 超时 10%
  跑 2000 张发票 → 成功 602 张,成功率 30%
  失败归因:
    数据不完整(脏数据): 540 张
    缺企业级微观知识: 375 张
    数据打架(规则不一致): 299 张
    接口超时: 184 张

======================================================================
结论:
  同一个 Agent、同一套逻辑,环境不同,成功率天差地别。
  → POC 成功 ≠ 生产可用:演示测的是环境,不是 Agent。
  → 生产上线先补三样:数据打通与规则对齐、企业级微观知识、异常兜底。
======================================================================

2000 张发票,跑得明明白白:演示 94%,生产 30%。同一份代码。

说到底

  • 同一个 Agent、同一套逻辑,环境决定它顺不顺。 代码没变,变的只是数据、规则、知识、异常。
  • POC 成功 ≠ 生产可用。 演示测的是环境,不是 Agent;别把"演示很顺"当"生产能上"。
  • 生产上线先补三样: 数据打通与规则对齐、企业级微观知识、异常兜底。
  • 最该问的一句: "POC 里它顺,是因为环境干净,还是因为它真行?"

我做 AI 可靠性,生产里的 Agent 可靠性就看"换到真实环境还顺不顺":别用演示环境的结果,当生产的承诺。


你有没有见过"演示 94 分、生产 30 分"的 Agent?欢迎在评论区聊聊:你的 AI 落地,POC 很顺,上线后是先栽在数据、还是先栽在"它不懂你公司的规矩"? 被"演示很顺"坑过的人,最知道环境有多重要。

关注我,AI 可靠性系列会一直写下去;也欢迎来 AIHCC 看看行为管控这条线。


代码说明:示例基于 Python 3.10+,纯标准库、无第三方依赖、不联网;文中输出为本地实测结果(Python 3.12.2)。演示/生产跑的是同一套"发票报销 Agent"逻辑,环境参数(数据不完整、数据打架、缺企业级微观知识、接口超时四类失败模式的概率)决定成功率;每张发票抽签落入某失败区间即失败,落在失败总区间之外算成功,故成功率 = 1 − 各失败率之和。为让百分比稳定,各环境跑 2000 张。失败归因按 SAP 归纳的三类原因(数据类/知识类/异常类)统计。"演示测的是环境,不是 Agent"是全文核心。蔡彦斌原话及三原因,引自 InfoQ 11-17 报道。

#AI #AI智能体 #可靠性 #POC #企业AI落地 #生产环境