Umang 谈部署可解释机器学习面临的挑战

477 阅读9分钟

持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第10天,点击查看活动详情

本文是由 Umang 博士分享关于 ML 可解释性方面面临的挑战。

在实践中如何使用现有的可解释性方法?

Umang 提到了围绕 XAI(可解释 AI)的文献大幅增长。特别是,旨在“解释”机器学习输出的提议算法的增加。有了这个观察结果,Umang 的团队着手做的事情之一就是研究组织如何使用这些算法

研究访谈

在他们的研究中,他们对来自 30 个不同组织的 50 人进行了半结构化访谈,访谈持续时间在 30 分钟到 2 小时之间。

共同语言

团队意识到需要共享和建立语言来思考可解释的人工智能,以便能够围绕该主题进行这些对话。 Umang 提供以下两个定义:

  • 透明度:向利益相关者提供有关模型如何工作的相关信息:这包括训练过程的文档、训练数据分布的分析、代码发布、特征级别说明等。
  • (本地)可解释性:提供对特定数据点的模型行为的洞察。

关键点在于,可解释性是一种实现透明的算法方法。

被问到的问题

一旦在访谈中建立了共同语言,受访者就会被问到以下问题:

  • 您使用了哪种类型的解释(例如,基于特征的、基于样本的、反设事实(Counterfactuals)的或自然语言)?
  • 谁是模型解释的受众(例如,研究科学家、产品经理、领域专家或用户)?
  • 您在什么情况下部署了模型解释(例如,告知开发过程,告知人类决策者有关模型的信息,或告知最终用户如何根据模型的输出采取行动)?

解释类型

Umang 和他的团队发现了一些非常流行的解释类型:

image.png

  • 特征重要性:使用相关性(重要)的特征,而不是相关性较小的特征(不重要),以做出正确的决策,并避免虚假相关性等误导性结论
  • 样本重要性:尝试回答“在预测新测试点时哪些训练数据点最有影响力?”这个问题。
  • 反设事实(Counterfactuals):试图回答“为了改变这个预测变量的结果,你需要改变自己的哪些方面?”这个问题。

谁在乎可解释性?

他们意识到的下一件事是,谁是对 ML 可解释性有既得利益的利益相关者:

image.png

  • 高管:团队发现公司的工程经理、首席数据科学家等曾有过这样的经历,他们的高管会要求他们开始使用可解释的机器学习,这样他们就可以说他们的公司使用可解释的机器学习。
  • 工程师:他们是最普遍的利益相关者。 ML 工程师和数据科学家使用这些可解释性技术来健全地检查他们的模型。
  • 最终用户:开发可消费的解释可以在最终用户和 AI 之间建立信任。
  • 监管机构:监管机构,如法律、外交官和研究界,对了解 XAI 如何工作以了解它如何影响周围社区具有既得利益。

研究的最终发现

最终,团队确定了该研究的 3 个关键发现。

可解释性用于内部调试

如前所述,可解释的 AI 主要由 ML 工程师使用。他们在现有流水线之上添加了这一层 XAI 来检查他们的模型。正如一些 XAI 文献所宣称的那样,这些系统无法到达最终用户。他们发现这些系统的主要场景是内容审核和金融。

image.png

可解释性的目标没有在内部定义

他们发现,重要的利益相关者从一开始就没有参与,这最终使得解释很难被真实的人理解。与这些利益相关者合作并定义这些解释的目的和作用,并建立可解释性的目标非常重要。

建立可解释性目标:识别利益相关者,让利益相关者参与,并设计工作流程。 image.png

技术限制使得可解释性难以实时部署

研究中经常出现一些限制。

  • 特征级别解释暴露的虚假相关性:如果我发现特征归因有问题,我该如何解决?
  • 模型本身没有因果关系:高管和监管者希望将事物放入模型中,并希望看到它对结果的影响:他们希望看到某种相关性。这些模型可能根本不是因果关系,而是支持这种产生相关性的系统。
  • 样本重要性在计算上无法大规模部署:哪些训练点与模型相似并产生相似的结果?这很难回答,尤其是在大规模上。
  • 模型反转的隐私问题是存在的:如果我能给你解释,我就可以反转你的模型,反转你的训练数据并重建它,这成为了一个巨大的隐私问题。

是否可以使用现有的可解释性工具来确保模型不公平?

Umang 强调的这一部分的关键(也有点令人沮丧)的要点是:

  • 特征重要性表明模型公平性并不可靠。

人们为什么要关心好的解释?

请注意来自 Umang 的以下示例。

  1. 具有相同精度的模拟模型(A、B),但模型 B 不重视年龄特征。
  2. 具有相同精度的模拟模型,但分配给不同特征的重要性不同。

image.png

这里有两个具有 3 个特征的模拟模型:

  1. 财富
  2. 年龄,以及
  3. 花费在做一些下游任务上的时间。

假设有人对他们使用相同的解释技术。第一个模型的解释将特征的重要性排列为时间>财富>年龄。 对第二个模型的解释将特征的重要性排序为时间>财富,年龄不重要

这些模型可以以相同的精度执行相同的操作,但它们的解释却大不相同。 理论上,监管者可以进来说模型 A 是不公平的,因为它使用了一个歧视性属性,即年龄。

image.png

这个问题引出了另一个问题:人们应该如何在不损失准确性的情况下将模型 A 转换为模型 B

试图影响解释

其实已经有一些工作涉及影响解释。本文探讨的解决方案是通过对参数的对抗性扰动来降级解释,以便作者可以隐藏不公平或歧视性的特征。或者简单地解释一下,攻击模型的参数,使得对某个特征(如年龄)的归因减少。

结果

image.png

由 theta 参数化的实验的目标是找到给出上述结果的一些 delta。这里,fθf_θ是模型A,fθ+δf_{θ+δ}是模型B。

image.png

Umang 正在研究的是重要性排名。在这里,他们正在查看 14 个特征。他们可以采用特征重要性排名,并根据赋予它们的归因大小对特征进行排名。下面展示了关于不同解释技术的判别特征的大小和排名(模型A(fθf_θ)和模型B(fθ+δf_{θ+δ})中判别特征的重要性排序)。

image.png

这背后的想法是,监管机构可以查看排名中的歧视性特征。如果模型 A 在解释中的排名非常高,则监管机构可以说歧视性特征被使用了太多,而另一个模型会更好。在模型 B 中,作者表明他们可以在多种解释技术方面使梯度变平,并缩减赋予特征的归因幅度。

对抗解释攻击做了 3 件关键的事情:显著的降低相对重要性,推广到测试点,跨解释方法转移。

image.png

以及以下主要发现:

  1. 精度变化不大,但输出的差异是可以察觉到的
  2. 针对多种解释方法实现低归因
  3. 跨多个公平指标的高度不公平性(与保持特征不变相比)

image.png

我们如何为外部利益相关者创建可解释性工具?

讨论

本次活动,2月初,来自5个国家的33名参与者齐聚纽约。他们是 15 位机器学习专家、3 位设计师、6 位法律专家和 9 位决策者。他们来自各种领域的专业知识,具有金融、媒体、医疗保健和社会服务方面的背景。目标是促进围绕可解释机器学习的利益相关者之间的对话。

主要有两个要点:

  1. 需要社区参与可解释机器学习的开发。
  2. 可解释机器学习的部署存在细微差别。

Umang 建议将这些问题作为有待社区回答和进一步研究的问题来解决。

社区参与

与社区互动时应提出以下问题。

  1. 在什么情况下会使用这种解释?环境(上下文)是否改变了我们所揭露的解释的性质?
  2. 应该如何评价解释?定量和定性
  3. 我们能否通过让受影响群体参与开发过程来防止数据滥用和优先对待?
  4. 我们能否就可解释机器学习的功能和局限性对外部利益相关者(和数据科学家)进行教育?

部署可解释性

同样,在考虑社区参与时,在部署可解释性时应提出以下重要问题。

  1. 模型中的不确定性以及由(可能近似的)解释技术引入的不确定性如何影响得到的解释?
  2. 利益相关者如何与结果解释互动?解释可以成为与模型交互的渠道吗
  3. 如果有的话,利益相关者的行为将如何因所显示的解释而改变?
  4. 随着时间的推移,解释技术将如何适应利益相关者行为的变化?

所有这些都完全依赖于环境(上下文),这就是为什么让社区(community)参与从创建模型到对其进行迭代很重要的原因。

总结

能够解释机器学习并能够回答有关输出来自何处的问题变得至关重要。利益相关者对可解释的 AI 越来越感兴趣,但说起来容易做起来难。虽然当前的可解释性工具还有很长的路要走,而且,目前的形式还不够,但人工智能从业者可以继续通过社区参与和周到的部署为利益相关者创建有意义的可解释性工具。

参考链接