在当今这个软件驱动的时代，企业从其应用、用户和运营中产生大量数据。这些数据蕴含着宝贵的洞见，可用于决策、趋势预测以及提升系统性能。能够分析并利用这些数据，已成为软件工程师的一项关键技能。
本章将聚焦数据分析和商业智能，探索最先进的 AI 工具如何帮助企业理解数据并提升业绩。无论是预测未来用户行为，还是优化资源利用，数据分析都开辟了新的可能性。本章将涵盖三个关键视角：
-
数据分析
这些工具首先承诺，用户可以通过自然语言提问来查询庞大的数据集。考虑到企业在数据库之上构建可视化仪表盘的高昂成本，这一能力尤为吸引人。 -
高级洞见提炼
企业通常希望关联数据点、发现模式，以更深入理解用户行为或发现流程异常，而不仅仅是对数据进行计数或求和。此类项目的高昂成本阻碍了许多企业进入此领域，因此 AI 工具消除这一门槛的承诺极具吸引力。 -
未来行为预测
数据科学和商业智能的终极目标是利用过去的数据推断未来趋势。精准的预测能够为业务带来变革性影响，那些将其作为决策核心的公司视这类项目和算法为重要的知识产权。
以上视角展示了软件工程师和数据分析师如何将原始数据转化为可执行的洞见，帮助团队做出更智能的决策，也反映了此类项目历史上所面临的高昂成本和复杂性。正因如此，只有资金充裕且拥有技术能力的企业才能开展复杂的项目。多数中小企业、初创公司和非技术型企业难以跨越高门槛，影响了它们在全球市场中的竞争力。AI 工具的承诺是实现此类工具的普及，让所有市场参与者，无论规模、行业或技术水平，都能平等享用。
在具体介绍工具前，先简要回顾几个数据分析基础知识。
数据收集与来源
数据分析的核心是数据本身。在软件工程中，数据来自多种渠道，例如：
- 用户活动
用户与软件交互的信息，包括页面浏览、点击路径和会话时长 - 系统日志
详细记录系统和应用性能，帮助工程师监控健康状况和性能表现 - 监控工具
自动收集的应用性能实时数据，如响应时间和错误率 - 客户反馈
来自用户评论、支持工单和调查的洞见，为用户满意度提供定性视角 - 市场调研
竞争分析、新闻、市场报告及每日发布的所有相关信息
此外，还有许多其他潜在的数据来源，企业可以利用这些长尾数据来指导未来决策。这些数据来源构成了数据分析的基础，同时影响数据质量和所需的数据清洗工作量。例如，数据集如果包含大量空字段或字段类型不一致，就需要耗费大量专业工作进行清洗，以及采用高级技术如数据归一化和聚类分析。接下来我将在本章评测的工具中探讨这些技术的应用。
数据分析的应用场景
拥有宝贵的数据后，数据分析师可以应对各种挑战。本章的工具评估部分将涉及数据分析和商业智能的一些关键应用场景。
-
性能洞察
通过分析系统指标和日志，工程师能够及早识别性能瓶颈和低效环节。这有助于优化资源使用、提升响应速度，并确保随着需求增长应用具备良好扩展性。例如，跟踪 CPU 和内存使用情况的变化趋势，可以揭示系统何时需要扩容或优化。 -
用户行为预测
数据分析可以发现用户行为模式，帮助团队预判未来用户需求和偏好。通过分析用户活动数据，如点击路径和会话时长，工程师能够预测用户可能更频繁使用的功能，并据此调整产品开发重点。这使团队能够专注于提升用户满意度和参与度的关键改进。 -
容量规划
分析历史使用数据能帮助团队预测未来资源需求，合理扩展基础设施以满足负载。通过了解流量模式，工程师可以预测高峰使用期，提前准备系统以应对更大负载，同时保障性能不受影响。 -
异常检测
自动化系统能分析运行数据，识别可能预示安全漏洞、系统故障或欺诈行为的异常模式。这种主动检测方法使工程师能在问题升级前及时应对，最大限度减少停机时间并保护用户数据。 -
商业智能
除了性能和系统优化外，数据分析还能提供更广泛的业务洞察，包括跟踪产品采用率、分析市场趋势及评估关键业务指标。这些洞见有助于指导战略决策，如优先开发哪些新功能，或如何更有效地分配资源。
这些应用场景展示了数据分析如何帮助团队做出明智决策、优化流程、提升软件性能及整体业务策略。接下来的章节将探讨如何借助合适的工具、模型和技术来实现这些应用，并进一步探索 AI 与机器学习如何增强数据分析，帮助工程师自动化流程、加速洞察发现。
数据分析的 AI 工具类型
正如在许多其他行业和领域一样，AI 工具在数据分析领域也不断涌现。许多企业级工具通常需要复杂的销售和入门流程；为了引导你们使用最易上手的选项，我将这些工具排除在本书范围之外。
我还发现了一些提供基础设施级支持的数据分析工具。虽然这些工具很有价值，但本章的应用场景聚焦于希望从数据集中提取具备商业价值洞察的业务负责人，这类基础设施级工具对这类需求来说显得过于复杂。
最终我选择了支持自助注册且提供免费额度供读者试用的软件。几乎所有这些工具都采用了聊天机器人（Chatbot）式的用户体验，允许你上传数据文件并用自然语言提问分析问题。这似乎是数据分析用例中最成功的用户体验模式。
评估流程
我在数据分析和商业智能领域评估了 20 多款 AI 工具，以筛选出本章重点介绍的工具。所有入选工具均符合以下条件：
- 由专业团队开发维护；
- 能生成高质量结果；
- 提供免费或试用版功能；
- 截至撰写时（2025 年中）拥有较高用户采纳率。
此次测试使用的数据集来自加州大学欧文分校机器学习资料库，是一整年在线零售交易的公开数据集，包含超过 50 万条交易记录，每条记录包含 8 个字段：
- InvoiceNo（发票编号）
- StockCode（商品代码）
- Description（商品描述）
- Quantity（数量）
- InvoiceDate（发票日期）
- UnitPrice（单价）
- CustomerID（客户编号）
- Country（国家）
图 5-1 展示了该数据集的样本。
在本次对比测试中，我将以一家线上零售商主人的身份，尝试利用 AI 工具从数据中提取具有商业价值的洞见。我会提出如下问题：
- 我销量最高的产品有哪些？
- 哪些客户群体拥有最高的生命周期价值？
- 下一年的销售预测是多少？
在测试中，我将原始数据集导入各个工具，通过用户体验界面获取洞察，并记录获得结果的难易程度及工具间的表现差异。
Julius
Julius AI 自动化处理复杂的数据分析流程，提供解读、可视化和预测分析。它结合了 OpenAI 的 GPT-4 和 Anthropic 的 Claude 作为底层数据处理模型。
Julius 的即时通讯界面（见图 5-2）类似 ChatGPT 和其他流行 AI 工具。我使用它上传数据集后，首先用自然语言提问：
“我销量最高的产品有哪些？按销售数量和产生的收入分别排名？”
Julius 花费了一分多钟时间运行了几个 Python 脚本，随后返回了图 5-3 和图 5-4 所示的表格，列出了按销售数量和销售收入排名的前十畅销产品。
除了硬数据外，Julius 还提供了关于高价值产品的一些背景说明（见图 5-5），突出展示了数据中的一些有趣细节。
接下来，我让 Julius 识别哪些客户群体为该线上零售店创造了最高价值：
“请基于同一数据集进行客户分群，并计算每个客户群体的生命周期价值。我想找出价值最高的客户群体。”
Julius 决定采用最近购买时间（Recency）、购买频率（Frequency）、购买金额（Monetary，简称 RFM）方法，再次运行了将近两分钟的 Python 脚本，随后展示了客户群集及其生命周期价值（见图 5-6）。
Julius 认为平均每年购买 5,914 次且贡献 6.4 万英镑收入的客户很可能是经销商，并给出了如何利用这些信息开展市场营销的建议。这是一个独特且非常有价值的洞察；然而，仍缺少关键信息，比如该客户群体的规模有多大，以及这些数字的代表性如何。它是极高价值客户的孤立案例，还是涵盖了数百甚至数千名可针对性营销以促进业务增长的客户？
另外，Julius 在其生命周期价值（LTV）计算中明显出现了幻觉：没有任何客户的价值会高达 130 亿英镑。目前尚不清楚具体哪里出了问题，但我猜测 Julius 在计算时用了错误的数据字段。
我针对该数据集的第三个问题是让 Julius 做一份预测：
“假设我投入 50 万英镑进行市场推广，来促进你刚刚识别的高 LTV 客户群体增长。请预测未来 12 个月的总销售量，包括销售数量和收入。我希望基于你的预测来准备库存。请生成一张预测中前 20 大畅销产品的表格，包含产品名称及明年需备货的数量。”
在这份预测中（见图 5-7），Julius 首先合理地假设这些市场投入将带来 20% 的销售增长。但需要注意的是，其总收入预测明显偏差：当前年度收入约为 970 万英镑，而预测的 56.5 万英镑反而是大幅下降。
其次，它生成的明年备货数量表（见图 5-8）也有偏差（很可能是错误收入估算带来的连锁反应）。表中列出的备货数量远低于这些商品当前年的销售量。因此，尽管 Julius 的预测显示销售将增长 20%，但其库存备货数据却暗示库存将减少 60% 甚至更多。
Julius 在第一个问题中的客观数据分析表现良好，在客户细分方面也展现出潜力，尽管其计算存在误差，但仍提供了有见地的分析。然而，其预测结果大相径庭。虽然通过一些提示工程或许能有所改善，但我认为我的问题已经足够具体，合理预期能得到更准确的答案。
因此，我给 Julius 在本次测试中评分为 7 分（满分 10 分）。
Akkio
Akkio 提供面向数字营销和广告投放客户的 AI 驱动数据分析与预测建模。它采用自有模型 AD LLM，据称该模型基于广告特定数据进行训练，能够理解数据结构、业务需求及广告定位的相关上下文。
Akkio 拥有精致的用户界面，首先要求上传文件，并提示用户选择多种文件格式之一。我上传文件后，Akkio 花费约两分钟时间完成数据导入并开放产品功能。虽然文件在 UI 的 Prepare 标签页中以电子表格形式展示，产品却提供多个不同功能模块（见图 5-9）：Prepare（准备）、Explore（探索）、Predict（预测）、Deployments（部署）和 Reports（报告）。
Explore 标签页展示了一个类似 Julius 的即时通讯界面。因此，我用相同的提示开始，询问畅销产品：
“销量和销售收入排名前列的产品有哪些？”
Akkio 仅用几秒钟就回复了我的问题。然而，其输出相对较为原始，缺乏上下文说明，通常只是呈现数据表格，没有配套的文字解释。例如，针对我的第一个问题，它仅返回了按销量和销售收入排名的畅销产品的图表和表格（见图 5-10 和图 5-11）。
我使用了每个图表上方的 AI 解读小工具，但帮助不大，因为解释过于技术化。它只是用自然语言描述了针对数据执行查询的技术细节，却没有提供关于所做分析的功能性背景，也没有解释我们在图表中看到的内容。
Akkio 对第一个问题的回答是正确的，于是我继续提问第二个问题：
“请基于同一数据集进行客户分群，并计算每个客户群体的生命周期价值。我想找出价值最高的客户群体。”
Akkio 的回复不错（见图 5-12），它告诉我最高价值的客户群体包含 2,539 名客户，平均每位客户贡献约 3,000 英镑收入。然而，这个群体规模过大。我本预期此类群体大约占总客户数的 10% 到 20%，但这里却涵盖了整个数据集中 4,372 个独立客户的一半以上。
针对如此庞大的客户群体，得出的推荐过于泛泛，缺乏可操作性，如图 5-13 所示。这些建议适用于任何业务，但没有针对高价值客户的具体策略，无法直接用于市场营销。
我继续提出了第三个问题：
“假设我投入 50 万英镑用于扩大你识别出的高生命周期价值（LTV）客户群体。请预测未来 12 个月的总销售量，包括销售数量和销售收入。我希望根据你的预测来准备库存。请生成一张预测中前 20 大畅销产品的表格，包含产品名称及明年需备货的数量。”
Akkio 的回答缺乏上下文，难以理解这些数字背后的依据。其预测的收入为 980 万英镑（见图 5-14），仅比当前年度的 970 万英镑略有增长。考虑到我提示中提到的市场投入，这个增幅显得偏低——但该预测并未提供任何相关背景说明。
此外，库存备货预测中似乎也存在一定的幻觉（见图 5-15）。这些数字远远低于这些产品本年度的销售额，差了一个数量级。例如，Akkio 预测列表中第一个产品的销售量为 1,918 件，而该产品本年度的实际销售量达到了 53,847 件。这也表明计算中存在某种混乱，但由于无法查看具体脚本或得到相关的功能性解释，难以理解导致这些预测的具体过程。
在这里，使用 AI 解读标签页（见图 5-16）也帮助不大。它仅提供了用于生成图表的查询的技术描述，却没有解释促成该查询的整体思路。
Akkio 在第一个问题的客观数据分析表现不错，第二个问题的客户细分也做得相当不错。然而，它的预测结果偏差较大。我认为使用 Akkio 最令人失望的一点是其回复缺乏足够的上下文解释，给人的感觉更像是适合进行简单数据查询和生成图表的工具，而不适合需要深入分析或背景解读的场景。
因此，我给 Akkio 评分为 5 分（满分 10 分）。
ChatGPT
鉴于本类别的顶级产品都提供类似聊天机器人的体验，我决定加入 ChatGPT 进行对比，因为它是大多数人首选的 AI 工具。我将快速回顾它对同样三个问题的回答。
如图 5-17 所示，针对我的第一个问题，ChatGPT 正确统计了产品销量并汇总了收入。
第二个问题更为复杂。ChatGPT 识别出一个包含 498 名客户的客户群体，其生命周期价值（LTV）为 40.3 万英镑。然而，这一数值高于当前年度任何客户所创造的收入，似乎存在误差。ChatGPT 可能假设客户会在未来多年持续购买，从而导致 LTV 计算被高估。
当我向 ChatGPT 询问关于该高 LTV 客户群体的更多细节时，它的回复（见图 5-18）令人失望，内容过于泛泛，并未针对该数据集及其所代表的业务给出具体分析，更像是适用于任何企业的通用回答。
ChatGPT 对我第三个问题的回复——基于大量市场投入预测收入和库存备货——起初表现不错。它估计这笔市场投入将在该客户群体中带来 20% 到 40% 的销售增长。
然而，其产品库存备货预测存在偏差（见图 5-19）：预测的销售数量依然低于当前年度。对我来说，这表明 ChatGPT 仅计算了针对这一高价值客户群的销售数量，而“忘记”包含对所有其他客户的销售量。
ChatGPT 在第一个提示的客观数据分析中表现良好，针对其他问题也提供了较多的上下文和推理，尽管计算中存在一些明显的问题。我认为通过提示工程可以缓解部分这些问题。值得注意的是，ChatGPT 并非专门的数据分析工具：与本章中其他工具不同，它只能生成笨重的表格，且无法绘制图表。
因此，我给 ChatGPT 的评分是 6 分（满分 10 分）。
工具比较
此次比较的第一个挑战是，所分析的三款工具都存在“黑盒效应”。我输入了大量数据，这些工具在几秒内输出了漂亮的表格、图表和结论性洞察，看起来颇为合理。鉴于它们的速度和输出表现，很容易让人假设这些信息是正确的。
然而，我通过在本地运行脚本对参考数据集进行了二次核验（见图 5-20；该脚本已上传至本书 GitHub 仓库）。
将工具结果与本地测试对比，我首先发现所有工具都遗漏了销量最高的产品（“Small Popcorn Holder”）。我深入调查了这一异常，但未能找到原因。我推测这可能是由于该商品单价极低，产生了类似四舍五入至零的错误，从而导致被遗漏。
除此之外，这些工具在提供的价值和存在的问题上表现相似。
从用户体验角度看，Akkio 在其他工具中表现突出。它通过多步骤、多工具的流程设定了较高的期待值，但最终因其每次交互提供的上下文化程度远低于其他工具而反而显得逊色。
Julius 和 ChatGPT 则是更简单的聊天机器人体验，回复时间较长，但能提供对数据处理过程的洞察。它们的回复中不仅包含表格和图表，还有文字解释，帮助用户理解操作背景和推理，指导如何阅读数据和解读结果。
如果让我在这些工具中选择，我会选 Julius。虽然它的用户体验（UX）与 ChatGPT 非常相似，甚至底层模型部分相同（截至我在2024年中撰写时，是 GPT-4），但 Julius 拥有 ChatGPT 所不具备的数据分析能力，比如能够在聊天对话中渲染图表。
鉴于这些不足，我给这三款工具的评分都介于 5 到 7 分之间（见表 5-1）。我预计这些工具未来几年会有很大进步，但目前而言，它们还不够可靠，不能简单地将大量数据交给它们，提出问题后就完全信任其结果。如果你使用这些工具，我建议在本地运行脚本来复核数据。（如果你的脚本是由 AI 工具生成的也没问题，因为你可以审查、修改代码，并对数据分析过程有完全的可见性和控制权，正如你在第 2 章和第 3 章看到的那样。）
表 5-1 AI 数据分析工具概览
| 工具 | 用户体验 | 测试表现 |
|---|---|---|
| Julius | 聊天机器人 | 7 / 10 |
| Akkio | 聊天机器人 | 5 / 10 |
| ChatGPT | 聊天机器人 | 6 / 10 |
总结
经过 15 年以上与软件开发和数据科学团队的合作经验，我可以自信地说，AI 工具有潜力成为我们处理数据分析和商业智能方式的变革者。它们能够在几秒钟内清洗和分析海量数据，而不是耗费数天时间，这将彻底改变各种规模企业的可能性。
此外，基于我与从初创公司创始人到财富 500 强企业业务团队等广泛业务利益相关者的合作经验，我很容易想象这些 AI 工具将赋能非技术背景的利益相关者，从他们的数据中提取洞见。这种赋能可能带来巨大影响：在某些情况下，甚至可以跳过昂贵的数据工程项目；在其他情况下，则能加速并降低这些项目的成本。
但我想提醒一点：这些工具还未成熟。表面上看它们的结果令人印象深刻，但存在显著缺陷、计算错误和泛泛的解释。一个不够谨慎的用户可能会被漂亮的图表和洞见所迷惑，但忽视这些不足可能带来严重的负面后果。业务利益相关者可能因此做出损害企业价值的决策；将工作全权交给这些工具的数据分析师，可能在工作中表现不佳。
这些工具已经非常强大且有用，但它们也有局限，而“黑盒”效应使识别这些局限变得非常困难。务必在提问时尽量具体，并通过手动分析或本地脚本复核结果。我常告诉团队，将 AI 生成的洞见视为同事的建议：虽然是宝贵的参考，但做重大决策前务必验证并保持批判性思维。
