利用区块链技术让AI变得可审计和治理

1285

使用区块链技术记录模型开发过程,使模型开发过程更加结构化、透明化,从而减少人们对 AI 决策能力偏见。

AI 具备强大的决策能力,很多技术专家和商界人士对此感到十分困扰。本文站在人工智能的局限性与可能性的前提上,来讲解公司应该如何使用区块链技术进行模型的开发与治理,这样我们可以审计模型的开发过程,同时可以合理地为 AI 决策分配责任。

使用区块链进行模型开发治理

当前,人们已经意识到了治理人工智能的必要性,但如何来治理还没有提出具体的章程。例如《哈佛商业评论》中的如何在人工智能中建立问责制提到要评估治理结构,具体内容如下:

  1. AI 生态系统的管理必须包括流程和结构的治理。
  2. AI 问责制度需要在组织层面寻找治理的可靠证据,包括 AI 系统的明确目标、明确定义的角色、职责和权限、能够管理人工智能系统的多学科劳动力、利益相关者和风险管理流程等。
  3. 找到系统级治理元素至关重要。例如特定 AI 系统的书面技术规范、合规性以及利益相关者对系统设计和操作信息的访问权限。

哈佛商业评论提供的条目非常清晰,但该如何进行实行那,组织应当如何获取"系统级治理元素"并提供"利益相关者对系统设计和操作信息的访问权限"呐?

下面是一个切实可行的建议: 使用区块链技术来记录所有人工智能或者机器学习模型的决策并且数据是可审计的。

区块链如何创造可审计性

开发一个 AI 决策模型是非常复杂的,这其中包括模型变量的选取、模型设计、训练及测试数据的获取、特征选择等。区块链技术可以记录所有的这些选择、过程等,也可以记录变量集的不同部分、参与模型权重创建和模型测试的所有科学家等。

区块链可以记录模型做出的所有决策,AI 服务的监管机构可以利用记录来进行合理的审计和问责。

区块链之前的方式

在区块链技术之前,主流的分析模型管理方法是以分析跟踪文档(ATD)为中心。这种方法包括模型设计、变量集、科学家分配、训练和测试数据以及成功标准,并且将整个开发流程分成三个或者更多敏捷冲刺(agile sprints)。

以往的分析模型都存在两大问题: 缺乏验证和问责制,例如以银行业为例,十年前分析模型的典型生命周期如下:

  • 构建数据科学家模型,自行选择变量。这导致会创建未验证的冗余变量,并在模型代码中产生新错误。在最坏的情况下,数据科学家可能会使用可能引入偏差、模型敏感性或目标泄漏的变量做出决策。
  • 当同一位数据科学家离开组织时,他或她的开发目录通常会被删除,或者,如果有许多不同的目录,则不清楚哪些目录负责最终模型。银行通常没有模型的源代码,或者可能只有其中的一部分。仅查看代码,没有人明确了解模型是如何构建的、构建模型的数据以及模型构建中的假设因素。
  • 银行无法验证模型或了解模型在什么情况下不可靠或不可信,这些情况会产生不必要的风险或导致大量模型被丢弃和重建。

利用区块链构建问责机制

我们利用区块链来构建问责机制时,ATD 方法提供了一些明确的准则:

  • 模型是什么
  • 模型的目标 
  • 我们如何构建该模型,包括使用机器学习算法
  • 该模型需要改进的领域
  • 科学家解决问题及无法解决问题的自由度
  • 重用受信任和经过验证的变量和模型代码片段
  • 训练和测试数据要求
  • AI 程序道德测试
  • 稳健性和稳定性测试
  • 特定模型测试和模型验证清单
  • 指定的特定分析科学家选择变量、构建模型和训练它们以及验证代码、确认结果、执行模型变量测试和模型输出的人员
  • 模型和特定客户群的特定成功标准
  • 指定的特定分析冲刺、任务和科学家,并满足正式的冲刺审查/批准要求。

正如上面所示,ATD 提供了一组非常具体的准则。该团队包括直接建模经理、负责项目的数据科学家,以及敏捷模型开发过程负责人。一旦我们都协商好我们的角色、职责、时间表和构建要求后,团队中的每个人都会签署 ATD 作为合同。ATD 成为我整个敏捷模型开发过程的文档。然后,它被分解为一组需求、角色和任务,这些需求、角色和任务被放到区块链上进行正式分配、工作、验证和完成。

团队根据以往验证的可变代码或者模型的片段定义一个担保物,有些变量是过去批准的,有些是新的,有些也会发生调整。区块链会记录模型中每次使用该变量的时间——例如谁修改了它,谁是用了它等。这样就实现了个人行为的追踪。

区块链支持细粒度跟踪

区块链技术实例化了模型的一系列决策,记录了模型构建的整个过程——错误、更正和改进都会被记录下来。例如失败的道德 AI 测试结果,用于消除偏差的补救措施等都会记录到区块链中。

因此,通过区块链技术,我们可以细化的记录整个流程:

  • 模型的碎片
  • 模型的使用方式
  • 模型预期响应数据、不良数据的拒绝

区块链技术可以确保没有人使用不符合数据规范的字段或未经许可和验证更改了已验证的变量。如果没有 ATD(现在是区块链)提供的严格审查流程来让我的数据科学组织保持可审计性,当这些模型和相关算法变得越来越复杂时,数据科学家可能会无意中引入一个有错误的模型,

透明的模型开发过程可以降低偏见

总之,利用区块链技术记录模型开发过程,能有效的分析模型的实体、生命周期、结构和描述等。模型开发转变为一个结构化的过程,可以确保所有元素都经过合理的审查,最后再生成详细的文档。这些元素可以在未来随时进行访问,为模型治理提供基础数据。当模型最终使用时,其中许多资产成为可观察性和监控要求的一部分,而不是必须在开发后发现或分配。

通过这种方式,模型的开发和决策变得可审计,这是消除人们对 AI 决策能力偏见的重要一步。