增强分析（Augmented Analytics）——理解增强分析我们将从解析第1章中介绍的增强分析（AA）定义开始，将

我们将从解析第1章中介绍的增强分析（AA）定义开始，将其拆解为关键组件。接着，我们将深入介绍这个概念，特别是如何赋能分析用户。你将了解AA是什么、它对业务的好处、它的局限性以及如何将其应用于工作流程。你还会发现AA如何应对不同类型的偏见。最后，我们将介绍一些使AA成为可能的核心技术。

不要跳过这一章！它为本书的其余部分奠定了基础。

定义

回顾一下，我们对AA的定义是：

增强分析意味着通过提供技术来为人们增加价值，从而为他们提供所需的分析杠杆，以更好地完成手头的业务任务。

让我们逐一拆解这五个关键组件：

1. 人员

虽然大多数AA定义都以技术为驱动，但我们认为AA本质上是关于人的。它通过建立在人类与机器之间固有差异的独特优势之上，使人们更加成功：我们的独特经验、创造力和智慧。根据这个定义，没有人的参与的过程永远不能真正算作AA过程。

2. 技术

虽然人是AA的驱动力，但技术是实现AA的基础。我们将讨论用于AA的不同类型的技术，包括（但不限于）人工智能（AI）和自动化。

3. 分析杠杆

AA帮助人们获得难以从数据中独立发现的见解。它提供的杠杆通常包括以下四种：

改善分析思维过程
分析更多数据
更快地分析数据
更好地预测

AA的分析杠杆取决于上下文，包括手头的任务和用户的分析成熟度及数据素养。AA不是一刀切的解决方案；它专注于可以提供价值的特定任务、问题或机会。诀窍在于找到恰到好处的“剂量”来增强人类决策过程，而不是取代或压倒它。我们称之为“找到甜蜜点”：不是太多，也不是太少，而是刚刚好。就像为旅行选择合适的交通工具：有些旅行需要飞机，而有些则可能只需自行车。

4. 业务任务

我们从业务的角度看待AA。AA帮助在给定的工作流程中完成一个业务任务——即一个有价值的任务，通常试图回答一个业务问题或帮助解决一个业务问题。这一点很重要，因为现实世界中的业务数据通常是混乱、矛盾且难以理解的。AA将这些事实视为规则，而非例外。

5. 更好的方式

AA提供的分析杠杆必须为人们提供一种更好的方式来完成他们的业务任务。如果没有“更好”，使用AA就没有意义。“更好”可以有多种含义，但通常归结为更快地完成业务任务和/或获得更可靠、偏见更少的见解。我们将在本章后面进一步扩展这两个观点。但我们必须强调：AA不是为了取代人类，而是为了赋能他们用数据做出更好的决策。

“技术过度”确实存在。如果你把高度增强的AI技术暴露给分析技能或数据素养较低的人，他们可能会产生低质量的结果。例如，如果你给一个从未查看过静态报告的销售人员提供大量客户销售数据和最新的AutoML工具，他们可能会感到迷茫。如果他们产生了结果，可能会“自动驾驶”般地进行，而没有进行必要的批判性思考来评估预测是否实际上有效和有用。更重要的是，研究表明，过度依赖技术进行决策可能会降低人们的批判性思维能力和整体智力。

找到正确的“甜蜜点”可能一开始会很困难。本书的一个目标就是帮助你找到它。

增强分析的五个I

我们认为，描述有效的增强分析（AA）的有五个关键特征：洞察力、集成性、隐形性、不可或缺性和包容性。让我们来了解这些特征意味着什么：

洞察力 AA具有洞察力。它不是简单地呈现原始数据，而是提供基于这些数据派生的智能、可操作的洞察。AA应能从过去的数据中学习，识别模式，并预测趋势。这种智能意味着用户不仅获得信息，还获得了可操作的知识——这种知识可以带来更好的商业成果。这就是知道有多少人访问你的网站和理解他们为什么访问、何时最可能访问以及你可以做些什么来增加这些数字之间的区别。

集成性 AA不能存在于孤岛中。为了真正有效，它需要无缝集成到企业现有的工作流程、工具和业务流程中。一个集成的系统确保数据一致可靠，并且可以在公司内部轻松访问。

考虑营销和销售团队之间的合作，这两个团队都严重依赖分析。使用集成的分析工具有助于确保两个团队使用相同的数据，减少差异并增强他们的协作。这可以减少或消除基于洞察得出的数据分析和采取行动之间的差距。

隐形性 最好的技术是那些用户甚至意识不到自己在使用的技术。这就是AA中的隐形性的本质。AA应该深入融入日常任务和例程中，使用户感觉不到他们在使用一个外部工具。这确保了平滑的采用，并最小化人们对新工具的抵抗。就像拼写检查在你打字时自动纠正错误，使过程无缝，AA应该在幕后工作，提供洞察和解决方案，而无需用户主动发起或指令。

不可或缺性 对于公司来说，要在大规模上采用任何技术，该技术必须被视为不可或缺的。它应该如此有益，以至于用户无法想象在它存在之前的时光——就像人们现在每天依赖他们的智能手机一样。这意味着AA需要提供持续的价值，无论是以节省时间、更好的洞察还是改进决策的形式。随着用户看到AA的具体好处，它成为他们日常例程的重要部分。

包容性 采用AA转变的是整个组织及其中的每一个人，而不仅仅是精通数据的人。这是第一次，每个人都可以参与数据分析。我们将在本章的其余部分更深入地探讨这一点。

为什么这些特征如此重要？很简单：实践已经表明，如果你的组织没有至少实现这五个中的三个，你将无法实现自发的大规模采用。

克服传统分析方法的局限性

几十年前，数据分析主要意味着处理描述性BI解决方案，提供的洞察容易理解。然而，随着技术能力的成熟，组织需要更复杂的解决方案来获得竞争优势。模拟、分类算法、复杂的决策相互依赖性和预测性预测都承诺帮助我们（而且确实如此），但它们难以理解和接受。

传统的分析方法无意中促成了数据专家与其他人之间的分裂，将数据分析变成了一个排他的领域。这种分裂通常使业务专业人员——他们推动日常运营和战略决策——处于劣势。尽管他们可以在一定程度上使用分析工具，但当深入到更复杂的解决方案时，他们可能面临障碍。新的分析解决方案提供深入的洞察，但这些工具的复杂性要求积极参与以及一定程度的数据素养，这常常阻碍业务专业人员将工具无缝整合到他们常规的工作流程中。结果是，业务人员经常与决策过程脱节。

数据素养和员工赋能在一定程度上解决了这个问题，但完全效果有限！大多数人可能并不想主动地数据驱动，不是因为他们原则上不喜欢它，而是因为它意味着分心、努力和变化。

这就是AA介入的地方。根据我们的定义，它不仅仅是现有分析能力的扩展：它是我们在组织层次如何处理分析的范式转变。它将分析嵌入到业务人员每天用来做决策的工具和流程中，以微妙、直观和不显眼的方式。为了使数据驱动的行动成为一种习惯，人们需要被暴露于它；目标是通过帮助他们做出更好、更明智的决策，使人们隐性地数据驱动。为此，我们必须将分析“注入”到他们的行动中，而他们并不显式意识到这一点，或至少不会干扰或分散他们的注意力。

这种无缝整合意味着分析成为熟悉环境中决策的自然部分，而不是日常任务的外部、常常笨重的附加物。这是关于增强而不是改变工作流程，使数据洞察对每个人都可访问和可操作，无论他们的数据素养如何。只有当我们通过增强连接分析、人员和工作流程时，我们才能实现数据流利，这是分析成熟度的最终阶段（图3-1）。每个成熟度级别都需要关注特定的使能因素，以达到下一个级别。增强工作流程为最终阶段铺平了道路。

第5章将更详细地解释如何做到这一点。但作为一个快速预览，这里是我们所说的增强工作流程以及它们是如何实现的。

增强工作流程

增强工作流程描述了一个使用AA增强的业务流程，能够满足用户的需求。这种增强往往是通过分析、自动化和人工智能（AI）实现的。

举个例子。想象一位销售经理正在与市场部的一些同事讨论新的销售策略。这次对话的默认过程可能是通过Microsoft Teams聊天。在这次对话中，销售经理意识到他们需要一些数据来做出更好的决策：例如，知道应该优先考虑哪个销售活动。

在传统的分析设置中，这个问题需要销售经理要么向数据团队询问，要么从自助式BI系统中提取数据，这取决于组织的分析成熟度。然而，在一个增强的工作流程中，销售经理可以简单地召唤一个AI驱动的市场KPI助手进入Teams聊天来帮助回答问题。无需离开当前的工作流程，因为所需的信息直接被拉入。这个过程主要是由AI（在这种情况下是生成性AI）处理对话，以及通过增强的框架引擎提供特定业务对象的实际数据和洞察。

增强框架

增强框架是一个概念，为特定用户角色在特定工作流程中提供相关信息。它在正确的地点提供正确的数据，恰到好处的时刻。这一概念对于启用各种类型的业务流程增强至关重要。

在这个例子中，公司将定义一个扩展框架（一个活动ID列表）并将其发送到框架引擎。框架引擎将返回这些活动的一组定义好的性能指标作为工作流程的输出。

增强框架严重依赖于根据定义的框架处理数据的框架引擎。例如，框架引擎可以基于存储的特定活动的属性通过传递一个活动ID来生成全面的活动描述的自然语言。生成性AI可能发挥作用，但这个特定的增强框架示例主要关于自动化：大规模可靠的数据处理。因此，引擎主要用于基于结构化数据的计算执行洞察，我们将在第6章中详细解释。

增强分析的好处

通过增强工作流程，分析用户无需：

意识到他们的信息需求
知道在哪里找到这些信息
获取所需信息
深入处理或分析信息
必要时将信息主动纳入工作流程

唯一的要求是知道如何解释信息以有效地利用它，如图3-2所示。

增强分析丰富工作流程的好处包括：

简化复杂数据分析

增强工作流程简化了分析复杂数据的过程，并使得没有专业数据分析技能的用户也能访问数据。这不仅仅是提供描述性洞察或可视化，还包括自动数据处理、预测分析能力以及帮助解读复杂的相互依赖关系。这些工作流程提供的预测性洞察可以用于更加战略性的决策。

将分析整合到日常工作流程中

将分析直接整合到商业用户每天已经在使用的工具和系统中，是关键能力。这种无缝整合意味着分析用户可以利用数据洞察，而无需显著改变他们的工作方式。通过使分析更易于访问，增强分析释放了数据，允许更广泛的员工参与并从数据驱动的洞察中受益。

改善决策制定

增强分析工具能够进行定制，以确保提供的洞察与不同分析用户的具体需求和角色相关，增加分析的实际价值。这能揭示可能不明显的洞察和模式，提供新的视角并帮助战略规划。此外，自动化数据分析的各个方面可以减少人为错误和偏见的风险，从而获得更可靠、更准确的洞察。

提高时间效率、提升生产力和标准化

自动化许多数据分析方面的工作节省了时间，增加了商业用户的生产力。这使他们能够专注于解读洞察和做出决策，而不是搜集信息和执行数据分析的机械操作。此外，增强工作流程确保所有知识工作者都能以相同的努力获得信息，无论他们愿意付出多少努力做出最好的决策。这在决策制定中创造了更大的连续性，无论涉及到谁。

培养数据驱动的文化和素养

广泛使用增强分析通过使数据成为决策过程的核心部分，培养了数据驱动的文化，贯穿各级职责。虽然增强分析不要求用户成为数据专家，但其用户友好的性质有助于组织采纳新的洞察并通过让更多员工以可管理的方式接触数据来提高整体数据素养。

鼓励业务层面的人工智能互动

这是一个新的维度，侧重于人工智能的互动，这在增强分析的通常定义中限于分析专业人员和人工智能之间针对专业任务的互动。然而，在这里，转变关于人工智能在增强分析中如何与商业用户互动以增强他们的能力。示例包括会话界面、智能推荐和根据用户查询和行为响应的自适应学习系统。

分析杠杆帮助人们生成他们可能无法自行生成的洞察

由于不确定性、对数据或信息环境的不熟悉，或者仅仅是缺乏时间，人们可能无法自行生成这些洞察。应用这种分析杠杆可以为用户带来多个优势。这一部分将详细查看其中的一些优势。

增强分析为非专家用户提供更好的体验

具有直观界面的增强分析工具允许商业用户轻松获取和理解洞察，即使他们缺乏数据分析的专业知识。即使是传统的商业智能功能，如描述性和诊断性分析，也不再需要专门知识（如SQL）了！商业智能领域现在由彻底改进的仪表板主导，即使是数据素养较弱的人也能理解KPIs。然而，这种方法已不再足够：企业需要目标驱动的数据分析来有效传达他们的故事。增强分析增强了这些分析能力。

这种改进的体验不仅限于分析用户。更多技术专业人员也可以从中受益。随着新IDE的出现，开发人员、报告设计师和数据分析师可以无缝整合领域特定语言和模型，并带有智能功能，以帮助他们更高效地管理和分析信息。

容易访问的云和数据库系统以及无代码/低代码工具革新了增强的可行性，并帮助商业专业人员做出明智的决策。这些资源甚至比使用流行编程语言（如R、Python和Julia）的专业分析软件更加用户友好。

自动化集成提供更全面的洞察

增强分析可以帮助企业处理日益增长的数据量和复杂性，使它们能够从各种来源处理数据，包括数据库、电子表格和云系统。格式、结构和元数据的变化可能使分析这些数据成为挑战。

自动化分析工具可以整合这些不同的数据源，创建数据的统一视图，并从所有可用来源获得洞察。这些工具通常通过智能解读元属性实现这一点：描述数据集基础结构和语义的信息。自动化这种整合避免了手动干预，并扩展了数据的范围。

凭借其快速处理大量和复杂数据集的能力，增强分析可以帮助揭示难以或不可能识别的隐藏模式或关系，尤其是对于不习惯分析数据的人来说。这些洞察在识别新的市场机会或可能影响业务运营的问题时至关重要。

增强分析提供更快、更高效的洞察

如果你的公司能够迅速且高效地做出明智的决策，并且能比竞争对手更快地接收、准备、分析和采取行动，你就可以在他们还没反应过来之前关闭提案、项目或交易。你可能会惊讶地发现，大型、外部可见的用例并不总是速度产生差异的地方。优化内部流程以更快的执行速度，这才是你可以显著提高生产力和节省成本的地方。

大约80%的从数据中获得洞察的任务是重复性的。这些任务包括导入、准备、清洗和丰富数据以及识别异常和填补缺失值。这意味着只有20%的任务致力于产生有价值的洞察。尽管大多数企业都承认这个问题，但只有大约10%的人认为他们已经有效地解决了这个问题。改善小型内部流程的效率，如简化工作流程、自动化任务和消除不必要的延迟，可以对组织效率产生重大累积效应。

当然，速度本身并不是所有差异的决定因素。根据普华永道的一项研究，应用增强分析的组织更有可能按预期做出决策，总体进展的速度可能快五倍。

效率描述了努力与（在最好的情况下，有价值的）结果之间的比率。当机器能以比人类更少的努力完成任务时，这就是高效的。处理非常大的数据集不仅对人来说效率低下，简直是不可能的。

估计最佳的分析执行环境往往很困难，需要大量的实践经验。不是所有的分析师都能做得好，更不用说业务用户了。增强分析配置运行时间是根据过去的经验计算或估算的，以确保当前分析的最佳操作设置。

标准化减少人为错误和偏见，获得更好的洞察

虽然治理过程可以定义一致的手动执行规则，但增强分析可以一致地将相同的方法应用于每个数据集。例如，保险公司的基本KPI是其综合比率或利润率。这必须使用一致的方法和方法计算并向所有利益相关者呈现，没有解释或关于这些关键指标的起源、血统、含义或准确性的疑问的余地。不同方可能对结果有不同的看法，尤其是在细节上，因此保持方法论的一致性至关重要。一旦实施、测试并部署，增强分析将以相同的方式运行，适用于所有利益相关者。

增强分析工具可以显著减少人为错误或偏见的风险，特别是与技术、统计或专业知识不足有关的风险。通过使用机器学习算法和预测模型，增强分析帮助企业更准确地预测未来的结果，如客户行为、市场趋势或销售预测。在微观层面上，你可以例如分析所有客户交易，预测客户进行另一次购买的可能性或分析流失的可能性，而不仅仅依赖于聚合度量。在宏观层面上，你可以使用增强分析分析时间序列数据或行为群集，以获得有关市场细分或行业趋势的洞察。此外，标准化的自动化过程可以确保执行中的受控变化是具有约束力的，如当模型应用更改的参数时，同时允许系统根据需要自动扩展其计算能力。

另一个例子是处理数据不足的问题。有时观察结果不完整，个别属性缺失，或者由于某些其他原因可用数据不足。来自不同领域的分析师使用不同的方法论并出于不同的目的分析数据。他们可能会被诱惑使用启发式方法、假设或填补，而不是使用未调整的可用数据。在许多用例中，这是恰当的，但使用不同的方法论可能会导致不同的调整，最终产生的发现可能无法追溯到相同的起点。

通常建议以集中和自动化的方式增强不足的数据质量，以便后续分析可以依赖一致的基础。然而，自动化的数据准备和改进过程也可能容易出错和偏见，这可能导致不准确的结论。（我们将在“克服偏见”中更详细地讨论偏见。）此外，当团队有不同的分析需求时，集中数据管理可能会限制他们的创造力和创新。考虑使用集中和分散的方法来清洗数据。

增强分析工具更易于扩展

随着组织随时间积累越来越多的数据，他们需要分析大数据集并进行更复杂的分析以获得有价值的洞察。增强分析工具旨在扩展以满足这些不断增加的需求，而不影响性能。此外，可扩展性让你扩展数据分析，使数据驱动的洞察在整个组织中可用。

增强分析触及更远的领域，产生意想不到的洞察

手动分析需要大量的计划和组织：否则，由于我们的资源有限，人们倾向于执行最有可能产生我们给定任务结果的分析。使用增强分析的主要优势是获得意外的额外洞察。增强分析可以生成业务甚至没有考虑过的洞察，或者对于手动分析来说不可行的洞察。机器可以在其分析中尝试比人类更多的迭代和排列。如果它没有提供你想要的洞察或信息，你可以拒绝它并探索下一个细节。

足够的技能和经验，甚至可能是良好的直觉，可以帮助你专注于最佳结果，但总会有在高效达到结果与执行最全面分析之间的权衡。总的来说，增强分析的业务价值在于其帮助人们通过快速准确地处理大量数据，揭示可能不立即显而易见的洞察，从而做出更好、更快、更明智的商业决策的能力。

克服偏见

我们所有人都有认知偏见，这些偏见影响我们如何看待世界、处理信息和做决策。当你处理数据时，这些偏见（以及额外的方法论偏见）可能难以导航。例如，用户通常严重固守问题的解决方案空间——也就是说，他们已经有了一个解决方案，并且在未开放考虑其他可能性的情况下进行分析。他们的偏见和先入为主的观念可能导致他们忽视重要的洞察或解决方案。

同时运用人类专家和自动化可以帮助减轻数据分析中的偏见。在本书中，我们将强调结合两者的洞察驱动方法对于充分发挥分析的潜力至关重要。

在许多情况下，幕后运行增强分析的自动化分析可以帮助管理自然人类的偏见并避免错误。然而，并非所有的偏见都可以通过技术手段克服。

我们已经建立了一个指数，显示专家支持和自动化通过克服偏见可以潜在改善结果的程度，如图3-3所示。几乎所有的偏见都可以通过人类专家或自动化来解决，这是令人鼓舞的。

增强分析在解决幸存者偏见、选择偏见和确认偏见方面特别有效。增强分析可以计算多种数据排列并提供研究人员可能忽略的洞察。这种方法帮助你探索不太显著的特征，从而发现重要的趋势。利用更广泛的属性也有助于发现意想不到的观察结果，而不受主观信念或直觉的影响。

为了避免其他偏见，如历史偏见，你需要对问题和数据有深入的理解。商业专业人员了解他们特定领域的复杂性和细微差别。

为了理解自动化分析如何减轻偏见，重要的是了解不同类型的偏见，并理解它们如何影响人们对分析的思考、使用和处理方式，这最终可能导致我们误解重要发现。以下是一些最常见偏见类型的简要概述：

可得性偏见 可得性偏见是我们倾向于偏爱易于获取的信息或数据的倾向。虽然处理你能获取的信息很容易，但你可能会遗漏信息，从而对你试图解决的问题给出不准确的描述。意识是控制这种方法论偏见的第一步。与利益相关者保持透明，解释可得性偏见如何影响结果。尝试扩大数据收集的范围，探索替代来源，以确保全面和客观的数据集。然而，这种方法也有潜在的限制：例如，所需的信息可能成本高昂或缺乏足够的质量。虽然有针对可得性偏见的成熟增强技术，如数据填补和丰富，但它们在某些情况下的有效性有限。因此，在自动化和人类专业知识之间找到平衡至关重要。

确认偏见 确认偏见是指我们下意识地关注、回忆或解释支持我们信念或假设的信息。这种偏见可能危及你作为分析师的声誉。为了防止确认偏见，反思你的问题陈述以及它传达的假设和信念。识别可能影响你分析的个人信念，并评估它们是否影响了你的发现。避免过早得出结论；考虑所有可用数据，而不仅仅是确认证据。问问自己，反对的证据是否可能推翻你的假设。

认知偏见 认知偏见是指基于无意识思维过程（如普遍持有的信念或偏见）而不是基于客观推理做出决定或得出结论的倾向。例如，如果你被告知某个客户群总是表现不佳，这可能会在你甚至没有意识到的情况下影响你的看法。认知偏见和确认偏见密切相关。为了避免认知偏见，努力保持客观性，仔细审查你的基准。也许在表现不佳的客户群中有一个例外值得关注。尽管结果可能不符合预期，但它们仍然可能是积极的。

锚定偏见 锚定偏见是一种认知偏见，当你在制定决策或推论时过于依赖首先遇到的信息时，它会显现出来——例如，二手车的原始标价。这一主要数据“锚定”了你随后的决策，即使它是不相关或错误的。故意设置锚点是一种常见的销售策略，用来影响决策。避免这种偏见的方法是意识到你的初始锚点。在做决策前寻找并考虑所有相关信息。质疑你的假设，使用客观标准评估你的选项，并在得出结论前设定明确的目标和基准。

选择偏见 选择偏见与确认偏见密切相关，通常由确认偏见触发。它描述了我们选择支持我们先前信念或假设的数据，而不是考虑全面的数据集的倾向。然后，我们将分析指向寻找确认预期结果的关联或证据。这些可以是数据集，但有时它们是单一属性，甚至更糟的是，特定的观察结果。这并不是被理解为欺诈，但如果你已经知道哪些因素将强烈影响结果，你可能会下意识地加强这些信息的相关性。通常这是一个迭代过程，你反复添加或删除其他信息，直到你有明确的“证据”证明假设——即，你的分析受到了如此多的例外和偶然性的影响，以至于它不再显示全貌。与确认偏见一样，记下你的假设和假说，以便你可以评估最终结果是否完全解决并描述了实际问题。

历史偏见 过去的文化、社会和经济规范以及技术限制影响了我们今天的分析和决策过程的准确性和公正性。了解这种偏见至关重要，尤其在经济学和相关领域，因为你用于分析的历史数据可能被外部因素歪曲或影响。历史偏见还会在你使用历史数据进行预测时出现，但未能考虑到可能大幅改变结果的环境变化，以及你基于过时或错误数据做出决策或预测时。如果你没有完全了解相关信息，你很可能会做出误导的决策。全面的商业洞察对于避免历史偏见至关重要。

幸存者偏见 幸存者偏见是过于关注“幸存”一个过程的内容，而没有考虑那些没有幸存的内容。例如，只看一个项目的毕业生，而不是整个群体，包括那些开始了项目但没有完成的人。这有两个问题：它可能导致你错误地认为你已经确定了所有成功的必要特征，并可能让你过于强调幸存者的品质，而忽略其他重要因素。为了防止幸存者偏见，避免夸大高绩效个体的特征。相反，分析具有相似特征的候选人，并仔细检查出现的任何趋势。重新定义成功也很有帮助，通过基于类别范围或阈值创建多个层级或类别。这样可以更好地理解趋势，并通过聚类算法或监督模型探索不同的分类。在重新设定阈值时保持开放的态度，并探索定义成功的替代方法。

抽样偏见 抽样偏见发生在你从一个不能充分代表所研究的群体或问题的样本中收集数据时。像可得性偏见一样，它可能与数据的有限可用性有关。你可以通过扩大样本量或使用适当的统计方法来清晰定义群体来避免抽样偏见，例如分层抽样技术、过度抽样或随机抽样。

异常值偏见 异常值偏见是指忽视、排除或未能排除不符合特定模式的数据点的倾向。你需要良好的统计知识和商业洞察，才能根据具体情况决定如何处理异常值。虽然你可以手动识别并决定排除它们，但在自动化数据处理系统中，你需要应用技术方法，例如平滑累积结果。这一建议听起来很简单，但实施适当的统计方法来处理异常值偏见对于确保准确和可靠的结果至关重要。这项技能很少使用，特别是在业务部门。

增强分析的关键驱动因素

现代增强分析（AA）的实现有两个关键驱动因素：增强工作流程的概念和增强框架的概念。这两者都离不开两项核心技术：自动化和人工智能（AI）。

自动化和人工智能

自动化是增强框架背后的主要驱动力，这些框架主要是自动化管道，按需或按计划生成洞察。这里可能涉及一些AI，例如在框架引擎中计算预测或添加数据注释和解释，但主要驱动力是自动化。

在AA的背景下，自动化的核心在于简化和优化重复性任务，确保数据一致性并提高效率。可以将其比作设置一系列多米诺骨牌：一旦第一个被推倒，其余的依次倒下，无需额外干预。

自动化在许多过程中扮演关键角色，包括：

数据准备

分析中最耗时的方面之一是准备数据。自动化可以处理数据清洗、转换和集成，确保数据准备好进行分析。

数据检索

通过自动化，用户可以安排定期的数据检索，确保始终有最新数据可供分析。

报告

用户可以设置模板和时间表，自动化可以在指定的间隔生成和分发报告，而无需手动创建。

警报

自动化可以监控数据是否满足特定条件或阈值，并在满足这些条件时发送警报或通知。

工作流程集成

通过连接不同的工具和平台，自动化可以确保数据流的无缝传输，减少手动传输和数据输入。

自动化的美妙之处在于，一旦设置完成，它们就会在后台工作，对终端用户来说是不可见的，但对过程至关重要。尽管如此，维护自动化是很困难的，因此要明智地选择哪些过程要自动化，哪些要保持手动。在本书的后续章节中，你将了解更多关于如何做到这一点的内容。

自动化是一个确定性过程：给定相同的输入，你总是会得到相同的输出。这听起来合乎逻辑，对吧？我们强调这一点，因为它是将“常规”自动化与AI自动化区分开来的关键。AI是增强工作流程的关键驱动因素。特别是生成性AI，允许商业用户无缝地与增强框架互动。但为了成功地增强工作流程，还有更多类型的AI需要考虑。让我们接下来探讨AI的概念。

人工智能：五大原型

任何看起来“神奇”的东西，人们往往会称其为AI。但如果你正在构建增强系统，这样定义AI是没有帮助的。

因此，我们想向你介绍我们称之为“五大AI原型”的概念（图3-4）。这些原型根据它们处理的数据类型和执行的任务对AI能力进行分组。虽然你可能在科学期刊中找不到这个概念，但它非常有效地切中了要点。

简而言之，五大AI原型是：

监督式机器学习 适用于预测小型表格数据。
自然语言处理（NLP） 使计算机理解文本。
音频和语音 通常用于文本转语音和语音转文本。
计算机视觉 使计算机“看见”图像。
生成性AI 在给定任何数据类型的情况下生成补全。

理解这些原型将帮助你在增强分析策略中识别适当的AI用例。你很可能会用它们来增强工作流程（例如，构建问答界面或分析文档），但在某些情况下，你也可以使用AI来丰富增强框架（例如，显示基于时间序列数据集的预测或填补缺失数据）。

让我们逐一探讨这些类型。

监督式机器学习

监督式机器学习是一种强大的方法，允许计算机从现有数据中学习——通常是平面、表格形式的——以预测基于历史模式的结果。这种方法在你知道自己要预测什么时特别有效，无论是一个类别（例如“垃圾邮件还是非垃圾邮件”）还是一个数值（例如房屋的销售价格）。

图3-5展示了其工作原理。首先，我们收集一个包含各种属性（特征）以及已知结果的数据集。在房价预测的例子中，数据集将包括房屋的大小、位置和房间数量等详细信息，以及每套房子的销售价格。监督学习算法然后分析这些数据，识别出将特征与价格联系起来的潜在模式或“规则”。随着时间的推移，算法能够根据它学习到的模式预测之前未见过的房屋价格。

深度学习是监督学习的一个子集，常用于更复杂的数据类型，如图像或文本。它采用分层学习方法来学习复杂的模式，使其在处理复杂任务时非常强大。它也是其他AI原型的基础。

监督学习过程可以通过一种称为自动化机器学习（AutoML）的技术进一步简化。该技术自动搜索最适合数据的模型，使没有深厚技术专长的人也能应用机器学习。这项技术的普及使更多的人能够将机器学习应用于各种用途，从简单预测到复杂分类，从而改进各种工作流程中的决策。

让我们深入探讨一些示例：

回归和时间序列预测

监督学习可以分析历史数据，以更高的准确性预测趋势。这帮助组织优化资源，更好地管理库存水平、人员配备、销售和市场营销等。

分类

监督学习可以根据客户人口统计或产品属性等因素高效地对大量数据进行分组和分类。例如，一家零售公司可能会使用自动化分类分析不同年龄或收入水平客户群的购买行为。

异常检测

监督学习可以在大数据集中检测异常或异常值，这可以帮助识别潜在的金融交易欺诈或工业设备故障。这帮助组织迅速识别问题并在问题升级前采取纠正措施。

自然语言处理（NLP）

自然语言处理（NLP）使计算机能够分析、解释和生成文本数据形式的人类语言。它有广泛的应用，如情感分析、实体识别、关键短语提取、摘要、答案检索和翻译。它在理解和处理文本数据（如报告、文章、电子邮件和社交媒体帖子）方面特别有用，使其与AA高度相关。它可以帮助组织从大量非结构化文本数据中获得有价值的洞察。

以下是NLP在AA中的一些应用示例：

主题建模

NLP可以识别大规模文本数据中的主要主题或主题，如新闻文章或研究论文。这使组织能够快速识别趋势或新兴问题。

自动文本摘要

NLP技术可以对冗长的文档或文章进行摘要，使人们无需逐字阅读即可了解主要思想。

自然语言查询

用户可以用自然语言向NLP工具询问数据问题，并以类似易理解的格式接收答案。这简化了查询数据的过程，使其对没有广泛技术知识的用户更易访问。

情感分析

这是NLP的一个非常经典的用例：自动分析文本数据（如客户反馈、评论或社交媒体评论）的情感。这帮助组织了解客户如何看待他们的产品或服务，并做出数据驱动的决策以提高客户满意度。

实体识别

NLP可以从大规模文本数据中识别和提取重要信息，如日期、名称、位置和组织。这一能力使分析师能够迅速关注最相关的信息。

自动文本注释

一种相当新颖的方法是使用NLP从图表或数据生成注释、描述或关键字，帮助用户快速理解数据的含义。

与AutoML一样，数据质量和使用NLP的上下文对于准确结果至关重要，并且需要人工输入以确保其洞察与业务目标和上下文一致。

语音处理

语音处理是处理音频文件的AI原型，与NLP有很大重叠。它主要集中在两个领域：文本转语音（TTS）将文本转换为听起来像人类语音的音频流，而语音转文本（STT）则识别和理解音频数据（通常是口语）并将其转换为文本。许多语音助手应用，如Alexa、Google Home、Siri和Cortana，结合了TTS和STT技术。

语音处理可以通过语音命令使用户与数据和报告互动，使AA更易访问和高效。这对于视力障碍用户或需要免提访问数据的用户特别有帮助；当你在移动中时也很方便。（难道你没有想过在开车时查问你的数据吗？）

让我们探讨一些典型示例：

语音控制的分析仪表板

集成STT和TTS技术可以使分析仪表板更易访问和导航。用户可以通过语音命令访问特定数据点、请求可视化或应用过滤器，而无需滚动菜单或使用鼠标。

语音数据探索

语音处理使用户可以通过语音询问数据，允许他们进行口头探索和分析数据。例如，销售经理可以对他们的分析系统说：“显示今年按地区划分的销售数据”，系统会响应相关信息。语音识别处理输入，而NLP技术解释含义并处理对话流程。

音频报告摘要

TTS技术可以创建报告的音频摘要，使用户能够更高效地获取信息。

语音注释和评论

语音处理可以帮助用户向他们的报告添加语音注释或评论，使分享洞察和协作更容易，同时也帮助满足视力障碍者的可访问性要求。

尽管语音处理可以显著改善用户体验，但确保技术准确理解和响应命令是至关重要的。当处理复杂或技术术语以及音频质量差（如在嘈杂环境中）时，这可能会变得困难。其效果还可能因说话者的方言或口音而有所不同。

在其核心，语音是AA与人类互动的最直接联系之一。如果没有人在环，语音分析就没有意义。同时，其通用界面允许更多人高效使用分析平台，支持整体决策过程。

计算机视觉

计算机视觉使机器能够“看见”视觉图像或文档，并从中分析、识别或提取有意义的信息。这一AI原型在处理大量视觉数据时特别有用，如识别和提取图像中的文本、检测照片中的对象或面孔，以及分析医学扫描。

在AA中，计算机视觉扩展了分析范围，涵盖了更多数据源。让我们探讨一些示例：

文档分析

计算机视觉可以从扫描文档或图像（如发票、收据或合同）中提取和分析文本，使得在分析工作流程中处理和包含非结构化数据更容易。它不同于光学字符识别（OCR）技术，OCR识别文本字符并将其输出为纯文本，而计算机视觉还可以理解上下文、布局和结构，如识别多列布局中的文本或从文档中提取表格。

视觉异常检测

计算机视觉可以大规模检测视觉数据中的异常或不规则性。这有助于识别产品中的制造缺陷、卫星图像中的异常模式以及医学扫描中的异常。这些洞察可用于改进质量控制、跟踪环境变化或更早地识别医学问题，从而带来更有效的治疗和更好的患者结果。

数据可视化增强

计算机视觉可以通过从图像或文档中提取的附加信息增强数据可视化。例如，你可以丰富销售数据的地理热图，添加关于竞争对手存在或周边地区人口统计信息的信息。

像其他技术一样，计算机视觉模型有其局限性。它们的准确性和有效性取决于数据的质量和上下文。从头开始训练一个计算机视觉模型也可能成本高昂，特别是如果你需要标注大量数据（如在视觉异常检测中）。因此，培训、使用和优化这些模型需要人工输入。你将在本书的后续章节中了解更多关于如何整合和部署这些系统的策略。

生成性AI

广义上讲，第五个原型——生成性AI（gen AI）——是指使用AI生成文本数据或媒体文件（图像、视频或音频）的技术。这听起来可能很简单，但实际上它是现代AI领域最大的突破之一。根据一些专家的说法，这是人类迄今为止在实现人工通用智能方面迈出的最大一步。

尽管生成性AI系统理论上可以涵盖任何可能的媒介，但它们最常应用于文本形式的大型语言模型（LLM）。LLM的最著名例子是OpenAI的GPT模型家族。由于其能够在各种上下文中生成类似人类语言的能力，这个平台在科技界及其之外引起了极大关注。核心概念既简单又强大：在提供一些输入文本时，模型可以生成与输入相关的新输出，并具备上下文感知能力。

现代生成性AI系统旨在成为多模态的，这意味着它们可以在不同数据类型的组合上进行训练。这产生了更强大的模型，允许用户输入多种数据类型。尽管结果可能令人印象深刻，但这些模型仍然远非完美，往往会产生错误或有偏见的结果。与其他AI原型相比，生成性AI面临的一个重大挑战是其非确定性特质。这意味着对于相同的输入请求1万次预测，不会保证得到1万个相同的响应，因为模型处理中的随机性和可变性。这一范式转变引入了扩展这些系统的巨大困难。

尽管如此，生成性AI服务被应用于广泛的用例，且不断有新的应用被发现。让我们更深入地探讨一些AA最有前途的用例：

自然语言查询

你之前已经见过这个概念，但这是不同的方法。传统的NLP技术要求用户以特定语法进行查询，而生成性AI允许自然语言输入。这伴随着权衡：如果输入不够精确或提供了不同的信息，它可能会生成错误或不相关的结果。处理像GPT-4这样的LLM并不容易，尤其是在专业领域，但它可以通过让用户以对话的方式提出问题并接收洞察，显著提高数据分析的可访问性。

文本到代码

生成性AI可以自动化编写代码的过程。例如，它可以从自然语言提示中生成查询数据库的SQL代码，或生成可视化数据的Python、R或JavaScript代码。这可以让拥有初级编码技能的用户分析数据并创建可视化，极大地降低了数据分析的门槛，同时减少了开发人员的工作量。

理解数据

生成性AI可以通过提供超越简单描述统计的数据背景和洞察，帮助用户更好地理解他们的数据。例如，LLM可以根据少量观察推断数据集的模式，并解释这些数据如何与其他数据集或特定的商业问题相关。

自动化报告生成

生成性AI可以通过分析数据集并生成突出关键洞察、趋势和异常的叙述来创建全面的报告。这可以为分析师节省宝贵的时间，使他们能够专注于更具战略性的任务。

数据准备

生成性AI可以帮助清理或结构化数据。例如，它可以分析客户支持电子邮件，提取客户的电子邮件地址和他们询问的具体产品信息。

分析辅助

LLM可以指导和帮助没有太多数据分析技能的人。想象一下，一个商业用户面对复杂的Excel电子表格，感到不知所措，甚至难以开始数据分析。LLM可以帮助将研究目标或商业问题转化为结构良好的计划。它们可以帮助用户围绕最佳实践来结构化他们的数据分析，如制定良好的问题陈述，使用问题树分解任务，或选择合适的统计方法来分析某些类型的数据。

我们不敢说生成性AI的可能性是无穷无尽的，但考虑到其广泛的应用领域和与其他AI技术的重叠，其可能性确实非常广泛。

增强分析的局限性

尽管我们认为增强分析（AA）可以彻底改变企业理解和利用数据的方式，但它并非没有局限性。企业必须意识到这些局限性，以便有效和负责任地使用这项技术：

过度依赖自动化洞察

AA可以使数据解释和洞察生成变得更加简单。然而，危险在于过度依赖这些自动化洞察。随着时间的推移，企业可能会过于依赖分析，而忽视了决策中一直必不可少的人类直觉和感觉。例如，尽管预测分析可能会根据历史数据显示下一季度的销售激增，但销售人员的现场经验可能会暗示潜在的市场变化可能会影响这一结果。由于信息如此容易获得，团队也有可能变得被动，接受数据表面的价值，而不去挑战或仔细审查它。

处理模糊性困难

并非所有数据都是黑白分明的。AA在结构化数据方面表现出色，但在面对更模糊的非结构化数据时可能会遇到困难。解析人类情感、文化差异或开放式反馈可能是一个挑战。某些业务情况非常复杂，需要人类干预来理清细微差别和背景。例如，考虑一下“这产品真棒”这样的评价。如果系统不理解当前的俚语，自动化客户反馈分析可能会轻易误解这句话。

成本和资源影响

实施AA可能需要大量资金，尤其是对于企业范围内的解决方案，系统维护也可能非常消耗资源。如果你的公司尚未认识到数据的潜在价值，那么估算的成本可能会迅速压垮整个AA计划。

可解释性问题

一些AA系统使用复杂的算法，这些算法的工作原理可能难以理解或解释，这些算法可能会掩盖某些洞察或预测的来源。例如，解释AI推荐拒绝贷款申请的确切原因可能很困难。这在实际业务设置中可能会成为一个问题。

实施挑战

将AA引入现有业务框架通常涉及处理可能难以与更新、更先进的技术集成的旧系统。与每项新技术一样，这些系统也有一个学习曲线，员工需要培训。

偏见和不准确

AA系统，如所有系统一样，其效果取决于其训练的数据。如果系统主要基于历史上有偏见的数据进行训练，可能会在未来延续甚至放大这些偏见。输入不良数据会导致输出不良的洞察。

增强分析的挑战

增强将成为数据流利性的推动者，但这是一项伴随着挑战和陷阱的变革。包括：

对变革的抵制

人们自然倾向于抵制变革，尤其是当它涉及改变已建立的工作流程和过程时。引入AA可能被视为对现有工作方式甚至工作安全的威胁，尤其是如果员工担心自动化可能取代他们的角色。以低门槛的方式引入增强，仅使用简单且易于访问的洞察开始。

信息过载

如果推行过于激进，AA有可能用过多的信息淹没用户。如果员工被无用或不相关的数据和洞察轰炸，可能会感到沮丧或失去兴趣。这可能导致工具的拒绝，无论其潜在利益如何。

对系统及其质量的信任

建立对AA系统的信任对于成功至关重要。如果员工怀疑洞察的准确性或相关性，他们可能不愿依赖它们进行决策。建立信任需要透明地展示系统的工作原理及其使用的数据和质量基础。

分析意识要求

虽然AA的目标是使数据更易访问，使深入的数据素养变得无关紧要，但解释和行动洞察仍然需要一定程度的知识。实际上，所需的分析意识水平可能会增加，尤其是与业务理解密切相关的部分，如解释关键绩效指标（KPI）和理解业务互动。人们仍然需要理解数据告诉他们的内容以及数据的背景和局限性。没有这种理解，存在误解或误用数据的风险，或者在面对生成性AI的情况下，不质疑洞察。

平衡自动化与人类判断

虽然AI可以极大地帮助决策，但重要的是平衡自动化洞察与人类判断。员工可能会抵制一个似乎取代他们专业知识或直觉的系统。强调AA是一种增强而非取代人类决策的工具，可以帮助获得认同。

定制化和相关性

AA系统必须根据组织内不同角色和用户的具体需求进行定制。如果系统过于通用，用户可能会发现其用处不大，从而产生抵制情绪。

持续培训和支持

持续的培训和支持对于成功采用至关重要。特别是分析用户需要对使用新工具和理解它们提供的洞察充满信心，才能完全接受解决方案并变得更加数据驱动。这不仅包括初步培训，还包括持续的支持和复习课程，这些课程被视为理所当然的。

为了让数据驱动的行动成为习惯，人们需要接触它；其理念是通过帮助人们做出更好和更有信息的决策，使他们隐含地变得数据驱动。要做到这一点，分析应该“注入”他们的行动：最好在他们没有明确意识到的情况下，或至少不会在日常活动中被干扰或分心。

结论

在本章中，你看到了AA不仅仅是技术进步；它是将人们置于前沿，利用他们的创造力、经验和智慧。这种以人为本的方法在找到AA的“甜蜜点”——增强而不是压倒或取代人类判断的最佳增强水平——时至关重要。这样，AA成为商业世界中一个强大的盟友，使我们能够更高效、更有效地完成任务，往往比以前更好。

AA的五个关键特征（有洞察力、集成、隐形、不可或缺和包容）强调了分析的整体方法的重要性。它们提醒我们，真正的有效性来自将AA无缝集成到我们的工作流程中，使其成为我们日常工作的不可或缺的一部分，并确保所有人都可以访问，无论其技术专长如何，从而在你的分析成熟度旅程中解锁最终阶段——数据流利。

随着我们过渡到下一章，我们的重点将转向确保个人和组织准备好充分利用AA的潜力。我们将探讨培养数据素养文化的策略、变革管理的重要性以及如何装备团队以在AA增强的环境中茁壮成长。这一准备工作至关重要，因为它为成功的AA实施奠定了基础，并确保你的数据驱动卓越之旅不仅在技术上可靠，而且深深植根于我们组织的人文方面。