没有万能的AI“万金油”:用3个框架规避AI失败风险

70 阅读8分钟

大量企业AI项目失败并非技术问题,而是战略失误。关键在于:AI无标准化产品(SKU),需应用于具体业务挑战。避免“科学实验陷阱”,从核心业务问题出发,评估数据质量,并验证现有指标。采用“3盒方法”:1.明确业务问题;2.评估数据质量;3.验证现有指标。RAG聊天机器人是成功案例。

译自:There’s No SKU for AI: A 3-Box Framework to Avoid AI Failures

作者:Pete Johnson

数字令人警醒。一份广受关注的 MIT 报告显示,95% 的企业生成式 AI 试点未能带来有意义的财务影响。与此同时,兰德公司发现,超过 80% 的 AI 项目失败——这是常规 IT 项目失败率的两倍。而 标普全球报告称,公司目前正在放弃 42% 的 AI 项目,而前一年仅为 17%。

但关键在于:这些不是技术失败。它们是战略失败。

AI 没有 SKU

走进今天的任何一个企业软件会议,你都会看到供应商兜售“AI 解决方案”,就好像他们正在销售笔记本电脑或办公椅一样。其隐含的信息是,AI 是一种你可以购买、插入并期待奇迹发生的即插即用产品。这种将 AI 商品化的观点——将其视为你可以从目录中订购的库存单位 (SKU)——正是许多项目失败的原因。

现实情况是,AI 没有 SKU,因为 AI 不是一个正在寻找问题的解决方案。它是一种强大的工具,需要周密地应用于具体、明确定义的业务挑战。大多数失败并非因为 AI 模型不够先进;而是因为组织正在以错误的方式来处理 AI。

科学实验陷阱

许多 失败的 AI 项目 从一开始就没有明确的投资回报路径。它们是伪装成业务举措的科学实验。数据科学团队对新模型感到兴奋,领导层听说了 AI 的变革潜力,于是突然有一个六位数的预算用于一个 AI 试点项目,其成功标准模糊不清,例如“提高效率”或“增强客户体验”。

这些(注定失败的)项目遵循一种可预测的模式:令人印象深刻的演示,最初的热情,数月的开发,不断增长的成本,最终在没有人能够指出具体业务影响时被悄然放弃。MIT 的研究证实了这一点,发现购买的 AI 工具成功率为 67%,而内部开发的成功率仅为三分之一,这主要是因为供应商解决方案附带了更清晰的用例和与特定业务成果相关的成功指标。

避免恐慌性购买

AI 项目未能产生有意义价值的另一个途径是,当指令来自企业层级真空地带时。“我们需要一个 AI 战略”的指令可能导致恐慌性购买。

例如,一家资金雄厚的金融服务机构收到一项任务,并立即购买了最新的 GPU 服务器来满足它。然而,直到服务器运抵其数据中心后,该组织才意识到自己没有考虑如何利用它来解决业务问题。相反,它认为仅购买 GPU 服务器就足以完成上级的任务。

有更好的方法……

更好的框架:3 盒方法

聪明的组织不从 AI 开始寻找应用,而是颠倒过来。以下是一个解决 AI 失败根本原因的框架:

盒子 1:从你的主要业务问题开始

列出你的组织面临的 10 个最大挑战。不是技术挑战,而是业务挑战。考虑收入增长、成本降低、客户满意度、员工生产力、风险管理或运营效率。这些应该是让你的高管夜不能寐的问题,而不是让你的开发人员兴奋的技术难题。

这种“问题优先”的方法可以确保你解决的是重要的问题。正如兰德研究中引用的一个高管所说:“当 AI 项目专注于所使用的技术而不是解决预期最终用户的实际问题时,它们通常会失败。”

盒子 2:评估你的数据质量

在这些主要问题中,哪些拥有良好、干净、可访问的数据?这就是大多数 AI 项目遇到现实考验的地方。事实上,CDO 研究表明,数据质量问题是主要障碍,43% 的组织将其视为 AI 成功的首要障碍。

对于 AI,“垃圾进,垃圾出”仍然是至理名言。如果你的客户数据分布在六个不同格式的系统中,或者你的运营数据不完整、不一致或被锁在一个古老的 SQL 数据库中,再复杂的建模在一个独立的向量数据库中也无法挽救你。拥有最佳数据的那些问题将成为你最好的 AI 候选者,不是因为它们是最重要的问题,而是因为它们是当前技术最容易解决的问题。

盒子 3:验证现有指标

在拥有良好数据的主要问题中,哪些已经有了明确的业务指标?这一点至关重要,因为它决定了你在部署 AI 解决方案一段时间后是否能够证明 ROI。如果你无法衡量问题的当前状态,你就无法在实施 AI 后展示改进。

寻找那些你已经跟踪了解决时间、准确率、每笔交易成本或客户满意度分数等指标的问题。这些现有的衡量框架将成为你的成功标准,并有助于避免那些导致许多 AI 项目失败的模糊目标。

RAG 聊天机器人示例:完美的 3 盒契合

许多早期的 AI 成功案例都围绕着为支持工单系统(如 IT、HR 或面向客户的团队所使用的系统)实施检索增强生成 (RAG) 聊天机器人。让我们看看内部用例,它完美地符合这三个盒子:

盒子 1 — 明确的业务问题:员工支持请求消耗大量时间和资源。IT 和 HR 团队花费数小时回答有关密码重置、福利注册、软件访问和政策解释的重复性问题。这直接影响了生产力和员工满意度。

盒子 2 — 良好的数据:你的工单系统已经包含数千个已解决的工单,其中包含问题、答案和解决方案路径。内部网站通常包含常见问题的答案,但员工很少查看它们。你的知识库、政策和文档提供了可以有效为 RAG 系统提供信息的高质量、结构化信息。

盒子 3 — 现有指标:你已经衡量了工单量、首次呼叫解决率、平均解决时间以及员工满意度分数。这些将成为你的 AI 成功指标。

这种方法的优点是它是面向员工的,而不是面向客户的,这在你学习的过程中降低了风险。员工比付费客户更能容忍偶尔的 AI 缺陷,错误的答案通常只会导致沮丧,而不是收入损失。

实施现实检验

即使采取了这种严谨的方法,也要记住成功并非必然。根据 Gartner 的数据,研究表明只有 48% 的 AI 项目能够投入生产,而平均需要八个月才能完成。但是,通过遵循三盒框架,你可以大大提高成功的几率,确保:

  • 你正在解决一个真实的业务问题(而不是一个寻找螺丝刀的锤子)。
  • 你的数据基础能够支持解决方案。
  • 你可以衡量并证明成功。

前进的道路

AI 项目的高失败率并非对技术的否定;它们是对实施战略的警示。将 AI 视为万能药或商品购买的组织将继续加入 95% 的失败统计行列。那些将其视为需要精心应用于明确定义的问题的强大工具的组织,将发现自己属于成功的 5%。

下次有人向你推销“AI 解决方案”时,问问他们它解决了你的哪些主要业务问题,需要什么数据,以及你将如何衡量成功。如果他们无法清晰地回答这三个问题,你就可能遇到了另一个潜在的科学实验。

AI 没有 SKU,因为 AI 不是一个产品;它是一种能力,需要战略、准备和纪律才能成功部署并实现有意义的业务成果。那些做得对的组织并非拥有最先进模型的组织;它们是那些拥有最清晰问题和最佳数据来解决它们的组织。

从你的问题开始,而不是你的可能性。你的投资回报率会感谢你!

免责声明: 此处表达的观点属于作者,不应被视为 MongoDB 的官方立场。