没有指标规范,企业AI为何会「破功」?

3 阅读6分钟

企业AI因缺乏指标规范而受阻。智能指标层通过标准化数据定义,为AI系统提供可靠基础,是释放AI真正价值的关键。

译自:Why enterprise AI breaks without metrics discipline

作者:Ritish Chugh

随着AI在职场中基于各种用例日益普及,它有望通过提供长期利益来支持组织,包括更快的产​​品迭代、运营效率、客户支持成本优化、更快的数据研究以及整体员工生产力的提升。

科技公司在AI采用方面处于领先地位,其次是银行、电子商务、医疗保健和保险等。这些公司正在测试各种概念验证(POC),以了解AI如何帮助支持其业务和生产力用例。

虽然代理式AI系统的测试进展迅速,但许多公司仍然难以看到持续且值得信赖的影响来证明投资的合理性。这种观点并非完全基于期望的模型性能、可用的token数量或扩展系统的基础设施。相反,它基于更根本的企业级数据定义设置问题,用于训练这些系统。

当团队间数据定义不一致时——例如,不同地区的团队对净收入、活跃用户或绩效营销费用有不同的定义——AI系统往往会继承模糊性,并且往往不可靠、无效。除非解决这个基础问题,否则AI系统因缺乏信任而无法获得用户采纳。

什么是智能指标层?

其核心是,智能指标层是一个基础语义系统,它规范了指标及相关维度如何被人类和机器共同定义、计算、聚合、切片、治理和解释。它是一个单一的真相来源,使领导层、分析师、商业智能(BI)工具和AI系统围绕一致的定义和计算逻辑保持一致。

它与传统数据模型的根本区别在于,业务上下文、计算、所有权、数据治理和验证检查都嵌入到指标本身中,这使得AI系统训练和解释速度更快,也使分析师和BI系统使用这个单一真相来源进行工作变得简单得多。这种语义清晰度使指标具有持久性,并有助于AI的准备就绪。

为何没有它AI采纳会失败

垃圾输入,垃圾输出。AI系统喜欢干净的数据抽象。当公司内部指标缺乏一致的定义时,模型可能会对同一个问题返回相互矛盾的答案。

对于依赖高度准确报告数据的财务等团队来说,准确性和一致性至关重要。当指标定义和底层数据在没有可追溯性的情况下发生变化时,财务报告可能会变得脆弱。这种跨地区或跨货币报告的不一致可能导致公司的监管风险,最终可能面临巨额罚款,更不用说品牌形象受损和股东信心下降。

AI在无法清晰定义其核心数据抽象的业务推理方面表现不足。

智能指标层架构

智能指标层通常由以下相互关联的核心组件组成:

  • 语义定义:独立于底层数据源的标准化业务定义。
  • 计算和逻辑层:Git版本控制的计算逻辑。
  • 治理和所有权:明确定义团队对指标和数据刷新服务级别协议(SLA)的责任,制定数据保留和弃用中央政策。
  • 血缘和元数据:可见上游数据源和下游指标在报告中的使用情况。
  • AI赋能:AI系统可以训练和参考以输出一致答案的结构化元数据。

这些同步的关键组件将源自不可靠输出的数据转化为经过审查且值得信赖的指标。

对企业的影响

投资智能指标层作为AI系统基础的组织将相对更快地看到切实的成果。这包括报告生成和分析采纳的周转时间更快、A/B测试和产品迭代更快、可靠且可审计的监管报告、因数字不一致而向领导层上报的情况减少,以及由于AI生成解释导致数据深度挖掘而提高的整体信任度。

通过强大的语义层,指标成为持久性资产,而不是仪表板中嵌入的脆弱虚拟数据集和查询。[代理式AI系统]被限制在明确定义的语义边界内,从而减轻了错误信息的风险,同时增强了组织对数据的信任。

让指标为AI做好准备

随着我们继续看到分析从被动式仪表板发展,基于对话的AI代理依赖于必须由机器解释的指标。这超越了公式,还包括清晰的上下文、结构化定义和约束。这些共同定义了指标和维度之间的关系、上下文定义以及关于适当使用的防护措施。

当AI系统有明确的指标使用和上下文指南时,它们可以更有效地使用。因此,智能指标系统是代理式AI系统、对话式分析和AI决策系统的先决条件,对整体语义对齐至关重要。

实施路线图

构建智能指标系统不需要重新设计数据仓库设置。相反,可以从集中式方法开始:

  • 建立所有现有指标的数据字典,并按业务关键程度从高到低进行分类。
  • 标准化指标定义,由相应的上游数据模型支持并定义其所有权。
  • 定义经过审查的计算逻辑,进行版本控制和CI/CD跟踪。
  • 增加数据治理、SLA数据刷新和数据质量检查。
  • 逐步将指标与BI和代理式AI工具集成。

这里的根本目标是循序渐进地构建核心基础,而不是一开始就追求完美。

关键要点

企业AI的采纳并未迅速发展,并非因为公司无法获得最新模型,而是因为指标定义不一致。智能层提供了AI系统交付可靠和可信信息所需的语义数据基础。

随着组织不断从仪表板转向对话式分析和自动化决策系统,智能指标层必须作为基础架构。这项投资将有助于释放AI的真正价值,不仅基于市场表现最佳的模型,更是通过对业务关键绩效指标清晰、一致和共享的理解来实现。