AI产品开发的艺术——预测型人工智能

105 阅读37分钟

本章内容包括:

  • 机器学习的迭代过程
  • 无监督学习与监督学习
  • 时间序列分析与趋势检测
  • 通过推荐实现个性化

尽管人工智能常被炒作为“新”技术,但实际上我们早已在日常生活中广泛使用它——比如谷歌搜索、你那不完美的垃圾邮件过滤器,或者Netflix和YouTube上推送给你的娱乐推荐。我们往往忽略了这些应用背后的人工智能,因为它们默默运行,很少犯错,几乎不打扰我们。预测型人工智能正是这些应用中的主力算法,它们从海量数据中提炼有价值的洞察,比如给非结构化数据带来结构,将数据点分类到有意义的类别,挖掘人类难以察觉的模式和关联关系。

如今,许多公司直接跳过预测型AI,转而追逐生成型AI,而忽视了预测型AI作为数据驱动决策和运营的关键基础。它们拥有大量数据,但未能激活这些数据的价值,仍依赖静态知识、个人经验和主观直觉。相比之下,数据驱动型组织利用大规模的运营数据、利益相关者信息以及更广泛的市场环境,赋予决策和行动更多信心与客观性。

本章将通过一个产品管理的案例,讲解预测型AI的核心概念。主角是Nina,一位加入一家提供个性化时尚电商的产品经理。该公司拥有众多品牌选择,凭借智能个性化的时尚推荐(结合用户预算、个性和体型特点)赢得市场竞争。获得A轮融资后,公司准备扩大用户规模。但管理层很快意识到用户增长速度超过了他们的应对能力。某个阶段,产品团队逐渐失去对不断增加的用户反馈和数据的掌控,开始依赖经验和“直觉”做决策。

经历了两个月的高速增长后,分析结果显示令人不安的趋势:用户注册后会先浏览网站,接受推荐,但大多数用户没有将商品加入购物车就流失了。为了解决问题,Nina需要调查以下问题:

  • 用户都有哪些类型?能否划分出清晰的用户细分,以便针对性地设计功能和沟通策略?
  • 用户是否充分利用了产品的价值?如果没有,原因是什么?
  • 产品的使用情况如何演变?有哪些指标能用来预测用户跳失和流失?

image.png

她与同样对人工智能充满兴趣的工程师斯特凡诺合作,学习了机器学习的生命周期(见图4.1)。他们共同进行了多轮迭代,尝试不同的预测型AI算法,以理解产品和用户数据。

首先,他们将Nina的问题转化为机器学习问题。接着,他们着手准备合适的训练数据。斯特凡诺尝试了多种分析算法,包括聚类、分类、时间序列分析和推荐算法。针对每种分析类型,他们定义了一些核心的性能指标以进行优化。在斯特凡诺调整技术参数的同时,Nina利用结果来了解如何根据AI输出改进团队的工作。

4.1 无监督学习

当你开始接触AI时,通常已有一些数据可用,但这些数据很可能是非结构化的,且理解不充分(更别说没有文档了)。在这种情况下,你可以应用无监督学习来探索数据,发现其潜在结构和模式。例如,聚类作为一种关键的无监督算法,可以在数据中发现相似数据点的群组。对Nina来说,聚类能够基于行为和人口统计数据发掘连贯的用户分群,从而支持更智能的个性化、营销和功能开发决策。

4.1.1 利用聚类进行行为分群

Nina面临的是许多产品经理都熟悉的挑战:她的电商平台增长迅速,但用户未能留下来完成购买。起初,她的营销团队基于人口统计数据(年龄、性别、地区)制定用户分群,但这种方式效果不佳,因为它与用户在平台上的实际行为不符。一天,在审查用户数据时,Nina注意到两个明显的例子:

  • 用户A,一位30多岁的年轻职业人士,花费数小时浏览推荐,但从不将商品加入购物车。
  • 用户B,一位年长的退休者,每月短暂登录,专门使用搜索功能,却总是按自己的方式完成购买,几乎不看推荐。

针对这些行为模式,Nina脑海中浮现出一批行为相似的用户,她给他们贴上“重度浏览者”和“务实购物者”的标签。这些行为暗示了传统人口统计分群未能捕捉的深层模式。与工程师Stefano讨论后,Nina决定聚焦行为分群。她将用户按照以下动作进行分类:

  • 对推荐的参与度——用户是否点击个性化建议,还是忽略它们?
  • 购买模式——用户是将商品加入购物车并完成购买,还是只浏览不停?
  • 个人资料编辑——用户更新个人偏好以优化推荐的频率如何?

这些聚类为团队提供了全新的视角,帮助他们跳出人口统计的舒适区,针对真正影响用户参与度的具体行为进行优化。下一步,Nina开始深入挖掘用于聚类模型的数据。

4.1.2 准备聚类训练数据

构建有效的机器学习模型需要干净且结构良好的数据。对于Nina来说,数据质量不佳会导致偏差、噪声多且不可靠的聚类结果——这是她作为首次AI项目负责人无法承受的。幸运的是,公司已经使用Mixpanel追踪了大量用户行为数据,原始数据已经具备。接下来只需对数据进行转换和清理以供机器学习使用。

数据来源

Nina的公司已经用Mixpanel跟踪数据超过一年,因此该工具积累了丰富的日志记录,可用于模型训练。但你可能会在许多机器学习项目中遇到“冷启动”问题——从零开始,需要创造性地寻找接近待解决问题的合适数据集。可能的解决方案包括:

  • 使用现有数据集,如Google Dataset Search、Google AI datasets和Kaggle。
  • 与拥有合适数据且对你开发的应用感兴趣的组织合作。
  • 自行创建数据集。除手动创建外,还可考虑利用大型语言模型(LLM,详见第5章)生成合成训练数据。
  • 在数据收集初期追求具有代表性的数据,但不要过度复杂化。数据创建是一个迭代过程,随着模型的训练、测试和优化,自然会发现并更有效地解决数据缺陷。

数据转换

Nina检查Mixpanel的原始数据时发现,用户行为被跟踪得相当细致——点击、滚动、资料更新等事件都有记录。但聚类需要的是用户层面的汇总数据。她与工程师伙伴Stefano一起梳理数据库,Stefano负责挖掘并按学习目标转换数据,Nina则聚焦理解数据的语义并假设某些特征的预测能力。例如,访问次数反映了用户与平台的整体参与度;从未使用推荐功能则表明用户未从平台获得持续价值,更可能流失。与此同时,Stefano计划了以下几个技术步骤:

表4.1 聚类数据点示例

特征例子1例子2例子3
user_idabhj3kshj67di963gh
purchased_items2012
purchase_value9080673
last_active2024-04-30 08:36:242023-12-26 12:56:242024-05-15 23:22:11
n_visits4824156
  • 事件数据汇总——先将用户单次事件整合成行为汇总指标,而非关注每次点击。例如:

    • 购买商品数
    • 购买总金额
    • 推荐点击总数
    • 访问次数
    • 加入购物车和结账频率

Nina与Stefano紧密合作,决定哪些行为指标信息量最大,例如追踪用户编辑资料以优化推荐的频率,视为参与度的指标。

  • 用户档案整合——他们将行为数据与用户档案数据合并。虽然Nina希望避免过度依赖人口统计特征,但静态特征如地点和年龄仍提供行为洞察的有价值上下文。
  • 特征工程——共同设计总结用户行为的特征,并剔除无用信息以免干扰模型。例如,用户访问时间可能与聚类无关,因此未被纳入,重点关注直接关联产品参与度的特征。
  • 数据清理——幸运的是,Mixpanel的数据记录较为规范,Stefano避免了常见的数据混乱难题,但仍去重并处理缺失值,确保数据适合聚类分析。若数据质量较差,如CRM或呼叫中心记录,则需投入大量时间清理噪声并统一格式。

清理工作包括:

  • 处理缺失值
  • 纠正错误数据
  • 将数值修正至合理范围

确保团队有充足时间做好初期数据准备,且清理过程多次迭代,因训练评估时可能会发现先前未察觉的问题。

负责任地使用数据

最后,需考虑提供给算法的数据的隐私和敏感性。虽说更多数据能提升模型质量和用户体验,但需在优化效果与数据伦理及用户隐私之间取得平衡。负责任的分群确保合规并维护用户信任。合理使用用户数据意味着确保分群能力被负责任地使用并符合法规。

一种做法是数据最小化——限制敏感数据的使用仅限必要范围。例如,用户尝试在个人资料中填写个人或身体特征时,Nina排除部分信息用于模型训练。此外,使用客户数据进行训练、洞察或分析前,必须确保用户明确同意。为合规,或许需更新数据收集政策及同意机制。

收集个人数据时,还应向用户透明说明数据使用方式,并允许用户选择退出数据保存。第11章将详细介绍隐私设计七大原则,帮助你管理AI系统中各个组件的隐私问题。

Nina记录了她的思路和数据转换过程,便于未来回溯和调整。数据准备就绪后,他们开始尝试聚类算法。

4.1.3 选择与训练聚类模型

Stefano向Nina介绍了几种适用于已清理和汇总数据的聚类算法。每种算法都有其优势,具体选择取决于数据的结构以及你希望提取的洞察类型。Stefano建议尝试多种聚类方法,因为每种方法会从不同角度审视数据,可能揭示新的模式和类别。Nina则热衷于了解每种算法的工作原理,以便能够评估选项并从战略层面指导整个过程。因此,他们应用了以下三种方法:

image.png

图4.2 K均值聚类寻找由大量数据点围绕的质心。

K均值聚类——这是他们的起点。Stefano用一个简单的类比来解释:想象你有一张满是用户数据点的地图。K均值试图通过在地图上放置几个“中心点”来将这些点分组,如图4.2所示。每个用户被分配到最近的中心点,形成聚类。然后,根据每个聚类中用户的位置平均值重新计算中心点。这个过程不断重复,直到分组稳定为止。

Nina喜欢这种方法,因为它直观且能清晰区分用户群体。但她对必须预先设定聚类数(K)感到有些担忧。出于实际考虑,他们从四个聚类开始。较少的可操作用户分群对她的团队更易管理。

层次聚类 [1]——他们也尝试了层次聚类。这种算法不需要预先定义聚类数目,而是从上到下构建一个树状的聚类结构。这种方法使他们先能看到较大的用户群体,再深入到更具体的行为。

基于密度的聚类(带噪声的基于密度的空间聚类,DBSCAN)[2]——与假设聚类呈球状的K均值不同,DBSCAN基于数据点的密度来识别聚类。它特别适合检测任意形状的聚类和异常点。Stefano应用DBSCAN分析用户互动,帮助Nina发现客户中明显的行为模式。该算法优先识别核心用户群体,过滤掉偶尔访问者或异常行为的用户。它帮助Nina更精准地理解客户与平台的互动方式。

尝试了不同方法并评估结果后,他们决定坚持使用K均值。由于其简单性和普适性,K均值为他们提供了一个全面而均衡的数据视角。

注:有关不同聚类方法的深入探讨,请参见I. P. Carrascosa的《Choosing the Right Cluster Analysis Strategy: A Decision Tree Approach》(mng.bz/gmVG)。

4.1.4 评估聚类模型

在测试不同聚类方法并调整算法时,Stefano需要判断是否朝着正确方向前进。为了评估聚类质量,他引入了几个指标:

轮廓系数——该得分反映同一聚类内用户的相似度以及不同聚类间用户的差异度。得分高意味着同一聚类的用户行为相似度更高,可以针对他们实施更具体的营销策略。

Calinski-Harabasz指数——该指标评估聚类的分离度,确保不同群组的用户不重叠。它帮助Nina选择最优的聚类数量,直接影响用户分群的明晰度。分群明确表示同一组内的用户具有相似特征,从而更容易设计针对性的有效营销方案。

设定了这些评估指标后,Stefano准备开始优化,调整数据预处理和算法参数。

4.1.5 优化聚类算法

尽管聚类算法基于共享特征自动分组数据点,但模型的有效性依赖于关键的优化步骤。要突破基础模型,实现有意义且可操作的聚类,需考虑以下改进:

迭代式特征工程——如4.1.2节所述,输入聚类算法的特征质量对成功至关重要。若让算法自由运行于新数据集,它可能基于有效但与分析无关的模式检测聚类。为避免这种情况,应利用领域专业知识识别最重要的特征。例如,在电商环境中,用于聚类客户的有用特征可能包括购买频率、平均订单价值、浏览行为、偏好产品类别和对推荐的响应。相比之下,不太相关的特征(如用户的精确注册日期)可能无助于洞察。需持续优化、调整这些特征,合理缩放并评估其信息量。这个迭代过程增强了算法发现有意义聚类维度的能力,从而得出更相关且易解释的结果。

选择最优聚类数——聚类算法可形成任意数量的聚类,但选择合适的数量对产出有洞察力和可操作性的结果至关重要。聚类过少可能过度简化数据,掩盖重要模式;聚类过多则可能导致过度细分,结果复杂难用。聚类数不仅影响结果的可解释性,还影响计算效率及将洞察应用于实际策略的可行性。例如,对Nina来说,用户聚类数过多会使团队资源紧张,限制设计针对性营销和产品策略的能力。因此,保持4到5个聚类更为实用且清晰。

经过多轮调整和优化,Nina和Stefano对聚类代表的行为模式感到自信,且团队能有效应对。接下来最重要的一步是——Nina需要理解这些聚类的含义,以及如何基于这些聚类制定可执行方案。

4.1.6 根据聚类结果行动

聚类定义并验证后,Nina和Stefano将其在二维空间中可视化,便于人眼识别模式。这使Nina能迅速为每个聚类命名和描述。她识别出以下四个核心用户群体:

探寻者——这些用户频繁编辑个人资料,试图寻找新推荐。尽管活跃,但似乎对偏好尚不确定。

保守者——这些用户忽略推荐,习惯使用搜索栏。对平台的个性化价值主张参与度低。

犹豫者——这些用户在网站上互动频繁,但从未完成购买。

忠实者——这是最小但最有价值的用户群体。这些用户深度参与,使用推荐功能,并频繁购买。

除了这几个较为明确的分群外,他们还发现了几个异常案例——行为不符合任何聚类的用户。例如,发现一位用户不停点击却从未购买。深入调查后,Nina发现这是一个爬虫机器人。她立即通知安全团队,防止未来类似情况发生。

虽然聚类对探索原始数据集和识别行为分群非常有价值,但Nina不希望每次有新用户注册都重新运行聚类算法。为简化流程,Stefano建议训练一个监督学习算法,根据新用户行为将其自动分类到现有聚类中。这将随着平台扩展自动完成用户分群。分群确立后,团队可继续优化各用户组体验,而无需重复聚类过程。

4.2 监督学习

与聚类类似,分类算法假设我们周围的世界被组织成明确的类别。无论是达尔文的物种分类,还是电商用户的分群,分类都是人类认知和预测型AI的核心原则。然而,与聚类不同的是,分类从一组已知且明确定义的类别开始。这是一种非常通用的算法,许多AI任务如用户分群、预测用户流失或从文本中提取关键实体都可以归结为分类问题。分类产生的结果更具可解释性,可直接用于业务决策。因此,Nina和Stefano希望利用分类来稳定并扩展他们基于已发现聚类的用户分群。

4.2.1 为分类准备训练数据

在构建分类器之前,Nina和Stefano需要准备数据。幸运的是,他们已经有了坚实的基础——在聚类阶段,每个用户已经被标记了一个聚类标签。这个标签可以作为分类的学习信号。表4.2展示了一些标记数据示例。

表4.2 标记示例样本

特征标签
user_idsegment
purchased_items
purchase_value
last_active
n_visits
search_queries
abhj3kSeekers
shj67dConservatives
i963ghIndecisives
ty54dfChampions

如果你是从零开始,创建监督学习的训练数据需要额外的标注工作。输入数据需要配对你希望算法预测的目标标签,这些标签在训练过程中作为学习信号。虽然你可以从第4.2.2节介绍的来源获取有用的原始数据,但以下方法可以加速数据创建:

  • 抓取代理数据,例如带有星级评分作为情感标签的电影评论。注意,代理数据的分布可能与真实数据不同,且存在偏差。例如,主动评论电影或产品的用户往往更倾向给出极端评分(也称为志愿者偏差或自我选择偏差)。
  • 使用大型语言模型(LLM)自动标注数据。虽然这对简单任务常常效果良好,但更复杂或领域特定的任务需要额外的微调或严格的人类监督。
  • 在产品运营中收集实时数据。例如,为了改进时尚推荐,Nina可以请用户评价模型提供的推荐,同时需要设计有效的激励机制来收集足够数据(详见第10章用户反馈收集)。
  • 组织人工标注,招聘标注人员并为他们提供合适的指导和工具。高质量的标注是构建优质模型的关键,但这也带来了许多风险,组织人工标注需要丰富的经验和知识。你需要明确定义标注任务以提高效率,并应对标注员的疲劳、无聊和主观偏见等人文因素 [3,4]。

数据标注是核心步骤,因为分类器的输出质量高度依赖于训练数据质量。无论采用哪种标注方法,都应有明确的指导和质量保障,确保:

  • 质量——保证数据标注准确且一致。错误或不一致的标签会降低分类器性能。团队应制定标注指南和质量标准提升一致性,并可安排多名标注员对部分数据进行标注,计算标签一致率。若一致率低,需调整标注策略和指南。
  • 类别平衡——确保不同类别样本分布均衡。类别严重不平衡可能导致分类器偏向样本量大的类别。
  • 训练数据量——保证训练数据规模合适。分类类别和特征越多,训练高质量分类器所需数据越多。
  • 多样性——包含各类别内部的变异和多样性样本,帮助分类器泛化,避免过拟合过于特定的模式,适应复杂的真实场景。
  • 领域相关性——考虑数据来源领域。一个针对时尚数据训练的分类器可能难以泛化到消费电子领域。尽可能使用与目标应用分布相符的数据。

拥有较稳定的标注数据集后,技术团队便可开始训练分类器。下一节将介绍分类背后的主要学习原理及常见算法。

4.2.2 选择和训练分类模型

监督学习的核心思想很简单:给模型输入带标签的样本,让它学习将输入特征(如用户画像和行为)映射到正确标签(如用户分群)。针对Nina的问题,目标是构建模型,基于新用户的行为预测其所属的分群。团队从简单的基线算法——逻辑回归开始。Nina喜欢其简洁和可解释性。模型能基于用户行为输出概率,如“该用户有80%可能是Seekers”,同时能显示对决策贡献最大的特征,比如个人资料更新频率。

随后,工程师Stefano坚持测试更复杂的神经网络模型。这些模型能捕捉用户行为间更复杂的关系,比如访问频率与互动推荐的微妙关联。虽然准确率略有提升,Nina因缺乏决策透明度而感到不满(详见第11章透明性、可解释性和解读性)。营销团队需要可解释性以便根据结果采取行动,因此他们决定初期仍采用逻辑回归。

4.2.3 评估和优化分类模型

模型训练完成后,Stefano在一组验证集上测试分类器——这些用户的分群已知但未参与训练。为评估分类器,他向Nina介绍了两个关键指标:精准率(Precision)和召回率(Recall)(见图4.3):

  • 精准率:反映某类别的真阳性比例。例如,在Seekers类中,被算法分类为Seekers的用户中,有多少实际真的是Seekers,有多少被误分类为其他类别(如Champions、Indecisives或Conservatives)。提升精准率意味着预测属于某类的概率更高,同时减少将非典型样本错误归类的可能。
  • 召回率:反映算法未能正确归类到该类的样本比例。例如,多少Seekers被误分类到Champions、Indecisives或Conservatives。提升召回率意味着尽可能多的该类样本被正确分类,同时也可能增加误将其他类样本归入该类的风险。

精准率和召回率的权衡是机器学习中的关键平衡。Nina尤其关注提高精准率,减少误将用户分配到错误分群的情况,因为这会干扰个性化服务的推送。鉴于Seekers和Indecisives更易流失,Nina还需要这两类的高召回率,以确保模型不会遗漏那些可能受益于个性化干预的用户,比如更好的推荐工具或购买提醒。

为了满足Nina的需求,Stefano进行了多轮超参数调优。超参数是训练机器学习模型前设置的数学配置,不同于训练过程中学习的模型参数(如神经网络层数和激活函数等)。

4.2.4 根据分类结果采取行动

一旦分类器通过了优化和评估阶段,Nina就准备开始行动了。该模型现已集成到平台中,能够根据用户行为自动将用户分配到预定义的用户分群。由于模型的高准确率,Nina和她的市场团队现在可以自信地针对每个用户分群开展定制化的营销活动:

image.png

图4.3 精确率(Precision)反映了被分类到某一类别中的项目中,有多少实际上不属于该类别;召回率(Recall)反映了算法未能正确分类为该类别的成员数量。

  • 对“寻求者”(Seekers)进行了风格测试并提供个性化内容推荐,帮助他们缩小偏好范围。
  • 对“犹豫者”(Indecisives)通过限时优惠和稀缺性信息进行激励,鼓励其做出购买决策。
  • 对“保守者”(Conservatives)进行个性化推荐价值的教育,同时其依赖搜索的习惯仍是核心体验。
  • 对“拥护者”(Champions),即最有价值的用户,通过忠诚度计划和提前参与促销活动进行奖励。

得益于分类模型,Nina的团队不再担心用户分群的变化或手动筛选用户数据。自动化带来了所需的稳定性和一致性,同时也支持他们在平台不断增长的过程中扩大个性化体验的规模。

有了自动化的用户分群,Nina可以专注于优化市场策略,并确信每个新用户都能根据其行为被准确分类。与此同时,Stefano持续监控模型表现,随时准备根据平台发展和用户行为变化进行调整。

4.3 时间序列和趋势分析

到目前为止,我们已经看到预测型 AI 如何应用于横截面数据——即捕捉某一时间点的静态快照的数据。在快节奏的商业世界中,变化是不可避免的。为了保持竞争力,公司需要了解当前趋势,快速应对突发事件,并掌握消费者不断变化的需求。这就要求监控商业环境的变动,预见趋势、模式及潜在危机,提前做好准备。

时间序列分析通过将时间作为分析的主要维度,帮助实现这些目标。相关的指标、事件和活动会随着时间被记录和分析,从而揭示数据中的时间模式,比如趋势、周期、异常值和季节性变化。

4.3.1 给数据添加时间维度

时间序列分析针对的是随着时间变化而演变的数据集,每个数据点都对应一个具体的时间戳。时间戳的粒度根据分析需求不同,可以从毫秒到年不等。例如,在 Nina 的电商平台中,用户的互动行为如点击、搜索和购买都会带有精确的时间戳,详见表 4.3。

时间序列分析通常需要大量数据点以提供有意义的洞见。数据点太少时,模式可能变得杂乱无章或扭曲,难以得出可靠结论。例如,如果电商网站因为一则病毒式社交媒体帖子出现了一天的流量激增,仅分析这段短时间内的数据可能会误判用户活跃度的增长趋势。但在更长时间的观察中,这种激增可能只是一个异常点,而非真正的季节性模式。

表4.3 时间序列数据中,每条记录都关联一个时间戳

事件时间戳
点击2024-08-19 12:01:35.123
搜索2024-08-19 12:02:18.456
加入购物车2024-08-19 12:03:05.789

时间序列数据可以是基于事件的,也可以是基于指标的。基于事件的时间序列跟踪用户的具体行为发生时间,如点击或搜索的时间点,事件之间的间隔不规则,反映了真实的用户行为。相比之下,基于指标的时间序列是在固定时间间隔内对数据进行汇总。例如,Nina 可能选择每分钟统计一次网站的页面浏览量,从而得到一个更平滑、更易于理解的时间序列(见表4.4)。基于指标的时间序列因为采用了规范的时间间隔并对关键行为进行了汇总,通常更容易处理。

表4.4 基于指标的时间序列以固定时间间隔记录数据

时间戳推荐点击量
2024-08-19 12:01:35.123150
2024-08-19 12:02:18.456172
2024-08-19 12:03:05.789165

4.3.2 从时间序列数据中提取意义

时间序列数据可能令人眼花缭乱——当你绘制一段较长时间内收集的数据点时,往往会看到噪声很多、看起来随意甚至混乱的图形。图4.4展示了典型的现实时间序列。获得有价值洞见的关键是发现有意义的模式——如趋势、季节性和异常,同时滤除时间序列中的常见噪声。

趋势

趋势指示变量随时间变化的总体方向,可以是上升、下降或保持不变(见图4.5)。Nina计划利用趋势分析识别哪些时尚属性(如颜色、品牌或款式)正变得流行。通过这样做,她可以在网站首页突出显示需求增长的产品。例如,如果数据显示用户在过去几个月中越来越多地点击绿色连衣裙的推荐,她就可以在推荐引擎中为这些商品赋予“趋势加成”。与简单展示热门商品不同,趋势分析能让Nina突出显示需求上升的商品,强化平台作为个性化、前瞻性时尚领导者的形象。

image.png

图4.4 原始形式下的时间序列可视化通常让人感到信息过载,难以为终端用户所理解。

image.png

图4.5 在对原始时间序列(参见图4.4)进行平滑处理后,可以辨别出一个上升的趋势。

季节性

季节性模式是与特定时间周期相关的重复趋势,比如每日、每周或年度的循环。Nina 注意到用户活跃度会在午休和晚上达到高峰,她计划利用这一洞察,在这些高峰时段增加客服人员的投入。从更大范围来看,她观察到某些产品类别,比如派对服装,在假日季节会更受欢迎。理解这些季节性周期帮助 Nina 优化从库存管理到营销推广的各个环节。举例来说,她可能会在新年前夕前推出针对派对裙的定向促销活动,或者在春季强调健身服装,因为那时人们开始为夏天做准备。

异常检测与预测

时间序列分析还可以帮助检测异常——即突然出现的、与正常行为明显偏离的情况(见图4.6)。例如,如果 Nina 网站上的新注册用户在短时间内产生异常高的点击量,这可能是机器人攻击的信号。正常情况下,用户的行为更为可预测,通常先浏览网站,然后逐渐进入常规的购买模式。

image.png

当 Nina 发现异常时,她可以立即展开调查并采取措施。对于潜在的机器人攻击,她可能会与安全团队合作,封锁可疑行为,防止进一步的损害。随着时间推移,她的团队会建立一套结构完善的异常目录,从而能够更快地响应,甚至预测未来可能发生的类似事件。例如,如果新用户展现出与机器人活动相关的特定行为模式,Nina 就能触发警报,在问题升级之前加以阻止。

4.3.3 基于时间序列洞察采取行动

通过时间序列分析,Nina 可以从多个方面应用这些洞察,以推动更好的业务成果:

  • 资源规划 —— 通过了解用户在平台上的活跃高峰期,Nina 能确保团队做好准备。例如,如果她知道用户活跃度在周六晚上达到峰值,就可以增加客服人员配置以应对更大工作量。
  • 产品推荐趋势预测 —— Nina 利用趋势分析,提前把握用户偏好。通过预测下个月哪些时尚单品或风格将流行,她能确保产品推荐紧跟潮流,打造更个性化且吸引用户的体验。
  • 季节性营销活动和库存管理 —— 季节性模式帮助 Nina 预判需求,调整营销策略。知道每年春季健身服需求旺盛,她就能优先推广相关产品,并保证库存充足。
  • 安全与性能的异常检测 —— Nina 实施自动化异常检测,及时标记网站上的异常行为模式。如果某些用户表现出异常高的活跃度,可能存在安全风险,她的团队能够立刻采取行动。这一能力还能帮助监控性能指标,确保平台即使在流量高峰时也能平稳运行。

综上所述,时间序列分析让你通过理解关键参数和指标的演变,做出更智能的数据驱动决策。通过检测趋势、季节变化和异常,你可以提前洞察未来,预见事件并预测其影响。

4.4 个性化推荐

现代用户对个性化体验的需求越来越高,推荐算法正是打造自适应用户体验的核心。它们基于用户的偏好、过去行为和交互,帮助用户发现相关的产品、内容或服务。以 Nina 为例,个性化的时尚推荐使她的电商平台在竞争中脱颖而出。借助合适的推荐算法,她能够确保用户持续参与并反复访问,最终提升转化率和销售额。举个例子,如果某用户经常购买休闲装,当推荐引擎推送一款时尚的新夹克或鞋子与其已有购买相搭配时,这名用户与产品互动甚至最终将其加入购物车的可能性就会增加。随着用户对个性化推荐的更多互动,系统也会不断优化建议,更加贴合用户喜好,带来更愉悦的购物体验。

4.4.1 推荐算法类型

Nina 的平台依赖多种推荐算法来实现这一层次的个性化。每种算法都基于可用数据和推荐系统目标,采取不同的方法来预测用户需求。

协同过滤

协同过滤是最常用的方法之一,它基于相似用户的行为和偏好工作。协同过滤假设过去购买或互动过相似商品的用户,口味也可能相似。例如,如果用户 A 和用户 B 都购买了同一双鞋,系统可能会给用户 B 推荐用户 A 也购买过的整套服装。协同过滤有两种方式:基于用户的和基于物品的。基于物品的协同过滤根据商品被一起购买或浏览的频率推荐产品;基于用户的协同过滤则通过比较用户之间的相似度,推荐类似用户喜欢的商品。协同过滤在减少个人数据收集和使用方面特别有效,即使没有用户明确的偏好数据,也能挖掘用户与产品间的关系。

基于内容的过滤

另一种流行方法是基于内容的过滤,它关注产品属性而非用户行为。该方法分析产品特征——如颜色、品牌、风格或价格——并推荐与用户之前互动过的产品相似的商品。比如,某用户对多双黑色靴子表现出兴趣或购买行为,基于内容的过滤会推荐其他黑色或风格相似的靴子,即使是用户未曾接触过的品牌。Nina 可以利用此方法解决新用户冷启动问题,为尚无详细交互历史的用户,基于首次产品互动提供相关推荐,从而缩短平台的价值体现时间。

最终,许多成功的推荐系统采用混合方法,结合协同过滤和基于内容的过滤。系统既利用协同过滤从其他用户行为中发现模式,又运用基于内容的过滤确保推荐匹配用户偏好。例如,若用户频繁浏览或购买波西米亚风格服饰,混合系统会推荐更多波西米亚风格商品,同时考虑类似用户的购买行为。通过结合这些方法,Nina 的平台能提供更准确、多样且相关的推荐。

4.4.2 推荐系统的评估与优化

构建推荐系统只是第一步。Nina 明白持续优化和监控对于最大化系统价值至关重要。她需要全面、可靠地衡量系统表现,确保系统有效且持续改进。

点击率(CTR)和转化率是评估推荐效果的重要指标。高点击率表明用户认为推荐内容相关,因此愿意点击推荐产品。转化率跟踪推荐商品实际带来的购买量,更为关键,因为它直接关联平台收入。除此之外,Nina 还可监控其他用户参与信号,比如用户浏览推荐产品的时长,或单次会话中与推荐内容的互动数量。

改进推荐引擎需要不断迭代和测试。Nina 可以通过 A/B 测试,尝试不同推荐策略和参数。例如,她可能比较某用户群体中基于用户的协同过滤与基于物品的协同过滤的表现,以确定哪种方式带来更高的用户参与度和转化率。此外,用户反馈是提升系统的有力工具。Nina 可以引入明确反馈机制(如点赞或点踩按钮),或追踪隐式信号(如用户在推荐商品页面停留的时间),不断调整和完善算法。

随着平台的发展,Nina 还能使推荐系统具备上下文感知能力,即系统考虑用户喜欢什么、何时及在哪浏览。例如,如果某用户习惯夏季购物,系统可以结合时间序列分析(第4.3节)的洞察,在夏季优先推荐适合的轻薄服装。又如,用户通勤时用手机浏览,系统则可推荐适合移动端快速购买的流行商品。

对于许多数字产品来说,推荐算法是迈向个性化和自适应用户体验的第一步。利用协同过滤、基于内容的过滤和混合方法,你可以根据用户偏好和使用场景定制产品内容。随着积累更多用户行为和反馈数据,推荐效果会进一步提升。你的目标是让用户感受到被理解,从而更愿意反复访问你的平台。

本章介绍了预测性 AI 的一些核心算法。附录中提供了这些方法的结构化总结。下一章,我们将探讨生成式 AI,即不仅能分析数据,还能创造新数据的 AI 模型和系统。

总结

  • 预测性人工智能通过对现有数据进行结构化处理和提取相关洞察,帮助用户从数据中获得价值。
  • 监督学习和无监督学习是理解现有数据的两大主要范式。
  • 监督学习在面向用户的产品中应用最为广泛,它通过基于带标签的训练数据拟合函数,解决机器学习中的过拟合和欠拟合问题。
  • 聚类是一种无监督机器学习算法,能够为数据集引入初步结构,尤其适用于数据处理的初期阶段。
  • 分类是预测性人工智能中最常见且多功能的任务之一,可以通过逻辑回归、神经网络、决策树等多种算法实现。
  • 时间序列分析帮助我们理解随时间变化的规律,是现代企业极为重要的知识类型,能够提炼趋势、季节性模式及需关注的异常。
  • 推荐算法通过基于用户偏好推荐产品或内容,实现个性化体验,提升用户参与度和销售额。
  • 协同过滤和基于内容的过滤可以结合使用,通过分析用户行为和产品属性来预测用户偏好。
  • 通过指标、测试和反馈的持续优化对于完善推荐系统、提升其效果至关重要。
  • 由 AI 驱动的推荐系统实现了大规模的个性化,满足了用户对定制化体验日益增长的需求。