凌晨两点,我们差点被自家的RAG系统搞垮

41 阅读7分钟

那是连续第三个凌晨接到紧急电话。值班同事的声音在发抖:“系统又出错了,客户的报关单金额少了12万……”

我冲到电脑前,看到系统给出的建议:一批进口精密仪器,报关价值竟然只有实际价格的三分之一。客户在电话里暴怒:“你们的人工智能,是不是人工制造的智障?”

从明星项目到烫手山芋

半年前,我们这个智能报关系统还是公司的明星项目。老板在行业大会上展示时,台下掌声雷动。我们团队六个人,用最好的算法,训练了最全的行业知识库——三千多份文档,涵盖所有报关流程。

Demo跑得漂亮极了。随便问什么商品,系统都能迅速给出归类建议、监管条件、税率计算。我们甚至收到了投资意向。

然后现实给了我们一记重拳。

上线第一周,错误率高达23%。不是小数点错位,就是税率用错,最严重的一次,系统建议客户用三年前就废止的监管证件,导致整批货被扣在海关。

撕开光鲜的表面

我们开始排查,发现问题比想象中严重:

知识库是个大杂烩

那三千份文档里,有扫描不清的老文件,有格式错乱的表格,还有从论坛上扒下来的过时经验分享。更糟的是,同一份文件可能有七八个版本,系统随机挑一个就用。

业务逻辑太复杂

报关这事儿,一个商品编码差一位,整个申报流程就全变了。同一批货,走海运和走空运,需要的单证完全不同。我们的系统只会字面匹配,稍微复杂点就开始胡言乱语。

政策变得太快

今天海关发新规,明天税务调税率。我们设了专人每天更新,但永远慢半拍。

那段时间,我手机不敢离身。最怕听到两种声音:凌晨的电话铃声,和客户在群里@我的提示音。

转机:换个思路

连续加班三个月后,团队快要崩溃了。算法工程师小张说:“我们像在漏水的船上修甲板,这边补好那边漏。”

转机来得偶然。在一个行业交流会上,我认识了做ZGI平台的老陈。听我吐槽完,他没讲什么大道理,只说:“明天来我办公室,带你们看看另一种做法。”

第二天,我们带着最头疼的问题去了。老陈打开ZGI的后台:“传一份你们最乱的报关手册。”

我们传了。十分钟后,报告跳出来:

  • 41处前后矛盾的条款

  • 19份过期两年以上的文件

  • 34个重要表格解析失败

  • 87份文档建议优先清理

我看着报告,手心冒汗——原来问题从一开始就埋下了。

重新开始的三十天

我们决定推倒重来。

第一周: 清仓 式整理

所有文档过一遍ZGI的数据清洗。结果触目惊心:近三分之一的文件需要重新找,五分之一的要手动校正,还有一批可以直接删除。

业务部的报关主管老李被我们请来坐镇。五十多岁的老报关员,戴着老花镜一份份核对:“这个HS编码注释去年更新过……这份海关公告已经废止了……”

他说:“你们之前做的系统,就像让新手背了本旧字典去考试,怎么可能不挂科?”

第二周:先定规矩再谈智能

这次我们不追求“全自动”了。用ZGI的规则引擎,先把明确的业务逻辑固化下来:

商品价值超50万 → 必须人工复核

涉及危险品 → 自动触发三级检查

保税区业务 → 调用专用流程库

这些规则配好就能用,不用等模型训练。上线第一天,基础问题的准确率直接到95%。

第三周:让AI做它擅长的事

在规则的基础上,我们才加入AI能力。现在的逻辑是:

规则能处理的,绝不让AI插手

规则处理不了的,交给AI建议

AI的建议,必须和规则交叉验证

比如客户问:“这批化工原料的运输要求?”

系统先走规则:查危险品分类、包装规范、运输资质

再让AI理解具体描述

最后综合输出:“建议按普货运输,理由:1.浓度低于危险品标准 2.符合豁免条件 3.上月有成功案例”

第四周:小步快跑

我们选了五个资深报关员试用。每天下午五点开复盘会,一个个案例过。

“今天系统对‘暂时进出口’和‘修理物品’区分不清,这个得加规则。”

“税率查询很准,但没说明是暂定税率,需要补充。”

问题一个个冒出来,一个个解决掉。

现在:从救火队到护航者

系统运行半年后,变化是实实在在的。

上周有个复杂案例:一批设备要从上海经三个保税区到成都,涉及加工贸易和一般贸易两种方式。

放在以前,系统要么给模糊答案,要么直接报错。

现在系统的处理有条不紊:

  1. 识别为复合业务,自动拆解
  2. 每个环节匹配对应规则
  3. 调用实时接口验证监管条件
  4. 生成详细指引,标注依据来源
  5. 最后提示:“该业务需跨关区协调,建议提前与成都海关沟通”

客户回复:“比我们十年经验的报关员考虑得还周全。”

给同行的经验:少走弯路

如果你也在做RAG项目,这几点经验可能有用:

先做减法再做加法

我们第二版系统,只覆盖最常见的一百个问题。但这一百个的准确率做到了99.5%。这比什么都能答、什么都答错强得多。

业务人员必须深度参与

老李现在每周都来技术部坐半天。他说:“我以前觉得你们搞技术的在玩魔术,现在才知道,你们是在盖房子。我懂业务,你们懂技术,咱们得一起画图纸。”

规则是骨架,AI是血肉

明确的业务规则是基础,AI用来处理规则覆盖不到的复杂情况。这个顺序不能倒。

监控要像呼吸一样自然

我们设了三级预警:准确率低于96% → 提示检查,低于92% → 自动降级为纯规则模式,低于88% → 暂停服务。有这个安全网,才敢让系统处理真实业务。

选对平台事半功倍

ZGI给我们最大的价值,不是某个神奇功能,而是一套完整的方法论。从数据清洗到规则配置,从模型训练到监控迭代,每一步都有清晰的路径。这让我们的开发效率提升了不止三倍。

写在最后

现在系统稳定运行,准确率保持在98.7%。凌晨的紧急电话从每周三次降到三个月一次。老板不再问“什么时候能完全自动”,而是问“能不能复制到其他业务线”。

上周开年会,老李举杯时说:“现在这系统,就像我带过最好的徒弟——基础扎实,做事认真,拿不准的知道问,有风险的懂得报。”

我听着,心里五味杂陈。我们曾经那么追求“智能”,却忘了最智能的系统,是知道自己的边界在哪里。

那个总在凌晨响起的手机,现在安静地躺在桌上。我偶尔会看看它,想起那些焦头烂额的日子。然后继续写代码,改规则,优化流程。

技术人的路就是这样:没有一劳永逸的解决方案,只有不断迭代的优化过程。每一次错误都是学费,每一次修复都是积累。

而最好的系统,不是永远不犯错,而是错了知道怎么改,改了不再犯同样的错。

这条路,我们还在走。但至少现在,走得踏实多了。