负责任AI中的多重性研究

2 阅读13分钟

在本系列访谈中,我们与部分AAAI/SIGAI博士联盟参与者进行了交流,以深入了解他们的研究。我们与Prakhar Ganesh坐下来聊了聊他在负责任AI方面的工作,其研究聚焦于“多重性”概念。我们进一步了解了他参与的一些项目、他的未来规划,以及他是如何进入这个领域的。

能否先简单介绍一下你自己、你在哪里学习,以及你研究的广泛主题?

我叫Prakhar Ganesh,是加拿大蒙特利尔麦吉尔大学的三年级博士生。我也隶属于Mila——蒙特利尔的一个研究机构。我的导师是Golnoosh Farnadi教授。我的研究广泛而言属于负责任AI领域。我喜欢与从事公平性、隐私性、可解释性和安全性研究的同事合作。更具体地说,我个人喜欢一个叫做“多重性”的课题,有时也称为“罗生门效应”。这个名字源于1950年代的电影《罗生门》,其核心思想是:对同一情境存在许多不同视角,很难说哪个视角是正确的,因为它们各自都有道理。几年前,这个概念被引入AI领域,用来讨论如何对数据存在多种不同的解释;很难说哪种解释是正确的,因为它们都能很好地拟合数据,因此都同样好。当这些不同解释彼此不一致时,我们就称之为“多重性”。在一组同样优秀的模型中,存在多种不同的预测结果。我的工作主要聚焦于理解多重性给公平性、隐私性、可解释性等带来的影响、机遇和问题。

多重性的概念以及开发者在引导不同解释中所扮演的角色。

如果能听到你研究过程中不同项目的一些例子,会很有趣。你能举一个你早期项目的例子吗?

实际上,我的硕士项目就是我对这个主题的入门。我当时研究算法系统中的公平性。我们意识到,公平性评估的度量很大程度上取决于训练模型时选择的随机种子,以及我们在哪个训练轮次进行评估等。因此,我们深入尝试理解模型训练中存在的所有不同形式的随机性,以及它们如何影响最终的公平性评估。我们想看看是否最终能利用这一点来创建更公平的模型。当时,多重性领域已经起步,但我并不熟悉。所以你会发现,在那篇论文中,我们从未使用“多重性”这个术语,尽管我们讨论的正是它。我们在FAccT 2023上发表了那篇论文,并获得了最佳论文奖。这非常棒,因为那实际上是我第一次亲身参加的会议。在那次会议上,还有其他几篇关于多重性的论文,我由此了解到描述这一领域的现有术语。

有没有一个你最近想要重点介绍的项目?

我们在一月份完成了一个项目,并最近提交给了一个会议。该项目是关于多重性在算法追索中扮演的重要角色。算法追索的理念是,如果某人得到了一个负面的预测结果,他们应该得到某种解释,说明为什么得到负面预测,以及一些关于如何做才能获得正面预测的建议。例如,如果有人申请贷款但被告知无法获得,他们应该被告知原因——可能是因为他们的信用评分或收入过低。

有一种叫做“鲁棒追索”的概念。其理念是:如果今天有人来找我申请贷款,我说“不行,你需要提高你的信用评分”,提高信用评分需要时间。所以他们可能在几个月甚至几年后再来找我,到那时,我的模型可能已经改变了。我们试图向人们提供追索建议,使得即使因为多重性导致我的模型发生了变化,这个人仍然应该得到一个正面预测。但这种所谓的鲁棒性的问题在于,它制造了一致性。它希望每个人都以同样的方式行事,因为存在一个以某种方式行事的多数群体。并且由于这是一个密集区域,无论我选择哪个模型,那里总会有正面预测。因此,每个人都需要以某种特定方式行事,这并没有真正考虑到申请者中存在的多样性。这就像是在以下两者之间的竞争:a) 希望给出一个足够好的追索建议,使他们不必担心模型变化;b) 希望注意到我们在系统中制造一致性和不公平性的事实。这种权衡实际上是人为的,因为我们假设部署模型的人或机构只是随机挑选一个模型。但事实不应如此。在选择模型时,你也应该意识到你已经承诺了某种追索,并应努力维持该追索的有效性。所以,我们讨论这种权衡、它为何是人为的,以及我们如何利用多重性。

在多重性研究中有一个普遍主题:由于存在不同的解释,其中一些可能比其他解释更好。因此,你可能会倾向于选择某一个。这也是我们在此使用的思想。存在很多解释,但其中一些可能比其他解释更能维持已承诺的追索。所以你应该选择那些实际上能维持追索的模型。

我知道你的兴趣之一是确保模型能在沙盒环境之外工作,并在现实世界中发挥作用。你打算如何实现这一点?

我觉得这是一个两步走的过程。我还没有到达第二步,但我正处于第一步,即与更多跨学科的人合作,比如专注于法律方面或社会科学方面的人。在法律方面,我一直在研究某机构是否真的要求自己会遵循特定的追索。在社会科学方面,我研究当有人试图回来实施这种追索却无法获得预测等情况下所造成的伤害。我觉得这是重要的第一步,我一直与许多来自不同学科的人合作,试图理解多重性的影响。

当然,第二步是实际去做这件事。虽然我还没有在这方面开展工作,但我希望很快能开始。今年夏天,我将在某机构的机器学习研究部门实习,与一个从事不确定性和公平性研究的团队合作。不确定性当然与多重性密切相关,他们之前也发表过关于多重性的论文。我对此感到非常兴奋,因为我认为我将有机会与他们一起研究那些实际通过机器学习生态系统部署的模型。我想尝试理解它们在现实世界中的影响以及如何讨论这种影响。

意向性-常规性-任意性框架三角形。

那么,你研究中的下一步是什么?

当我实习回来后,我还想完成一个项目来结束我的博士学业。去年夏天,我花了很多时间试图构建我博士论文的故事脉络。我和导师最终确定的是,我希望从做出这些决策的开发者的视角来探讨多重性。所有这些不同的解释都存在,但作为开发者,你会做出某些决策,引导你选择一种解释而非另一种。你选择使用特定的批量大小,你进行某种数据清洗。正因为如此,你最终得到的是这种解释而不是另一种。所以,关键是从开发者的视角去理解正在发生的事情。我们想要关注一个三层次的框架。

第一层是尝试给我们提供更好的语言来讨论这个问题。去年我们做了一项关于多重性的调查,其中一部分就是这种用来讨论开发者决策的新语言。我们认为大多数开发者决策可以处于三个端点之间:任意性(某事物是随机选择的)、常规性(某事物是因为其他人都这么做,或者因为那段代码已经存在而被选择的)以及意向性(决策是基于你知道它如何影响你的模型而做出的)。如果开发者开始做出大量常规性决策,那么我们就开始走向所谓的“同质化”。每个人都在做同样的事情,现实中存在的多样性在最终模型被部署时被隐藏了。因此,尽管可能存在许多不同的模型,但最终的模型都非常相似。类似地,如果人们开始非常任意地做事,那么对于为什么某个个体收到某个预测,你就没有太多理由。因此,这个想法是在一个很高的层次上使用这种语言,来讨论不同的决策如何塑造我们所处的生态系统。

第二层更多的是关于我们所做的选择与影响之间的理论联系。当我们进行模型训练时,有很多工作试图理解模型训练如何影响最终模型,但很少有工作试图理解数据处理和数据清洗如何影响最终模型。同样,也很少有工作试图理解当我们维护和更新一个模型时,这种影响会随着时间的推移而影响决策。作为开发者,你需要一些理论来说明哪些决策会导致哪些解释。这就是第二层——为此开发一个理论框架。

最后,第三层是更侧重于现实世界的应用——特定应用中的哪些细微差别可能不同于这些高层次框架?我在应用方面做了很多工作,也在一些理论框架方面做了一些工作。我们有一篇关于这种语言的论文,但我觉得在我的故事中稍微缺失的部分是:更好地理解开发者决策周围的文化,以及可以为他们提供什么样的语言,以便我们更好地理解开发者决策如何影响多重性。所以这是我想做的工作。这也是一个我无法独自完成的项目,因为我的专业是计算机科学,而这需要更多的人种学和社会科学专业知识。在过去几个月里,我已经联系了一些从事这方面工作的人,我非常希望在我实习回来后,我们能在这个领域找到一个有趣的项目来帮助我填补这个空白。否则,我对整个故事的现状感到满意。

我很想知道是什么激励你进入这个领域。

说实话,我觉得是一连串的偶然!我来自印度,我们那里有一个中央工程入学考试。你在那次考试中获得的排名大致决定了你能选择的课程方向,即你能进入哪个专业。当我参加那个考试时,我获得了足够好的排名,可以进入印度最好的学院之一学习计算机科学。我当时不确定我是否想学计算机科学,但这是面向未来最好的选择。一旦我开始学习,我意识到我真的很喜欢计算机科学,所以我很开心。

对于负责任AI来说也是如此。当我开始攻读硕士学位时,我并不知道我将要从事的研究课题。我在新加坡国立大学读硕士。我参加了一个他们在每学期开始时举办的、博士生展示他们研究的活动。一位博士生正在谈论鲁棒性和隐私性,我觉得那非常有趣。于是我联系了她,她把我介绍给了她的导师。说实话,在我从事负责任AI研究的大约一年左右的时间里,对我而言,负责任AI的吸引力并不在于它本身是“负责任”的,而在于有各种各样的工具可以试图理解AI模型内部发生了什么。因为当我们谈论公平性时,我们是在讨论不同群体如何可能有不同的准确率。其底层是什么样子的?当我们谈论隐私性时,我们是在讨论模型记住了哪些数据,以及哪些数据它能够泛化。所以对我来说,这些是更好地理解这些AI模型的工具。然而,随着我在这个领域越来越深入,我遇到了很多非常有趣的人,他们并非计算机科学背景,而是在做跨学科工作。我越来越广泛地对AI模型的影响力充满热情。这就是我走到今天的原因。

你觉得在AAAI的博士联盟经历以及整个会议怎么样?

非常棒,我真的很享受。唯一的小问题是它在主会议开始前两天举行,所以大多数来参会的人后来才到。但除此之外,我非常享受整个过程:见到所有其他博士生,看到他们正在研究的东西,并有机会谈论我自己的研究。不同的主题非常有趣。有些主题从外部看起来很吸引人,但不是我愿意从事的。而有些主题则与我所做的非常接近,所以我渴望与他们交流。总的来说,我认为这是一次非常愉快的经历。会议本身也是如此,我真的很喜欢。

最后,在研究之外你喜欢做什么?

我喜欢大量阅读——经典著作、老书,并探索各种不同的体裁。我觉得有些人会觉得我有点奇怪,因为我一旦拿起一本书就放不下,即使我不喜欢它,我也必须读完。我认为,当我需要从研究中休息一下时,阅读真的能让我恢复精力,沉浸在这些故事和叙述中。

关于Prakhar Ganesh

Prakhar是麦吉尔大学和Mila的博士生,师从Golnoosh Farnadi教授。他的研究涵盖多重性的多个方面,并侧重于公平性,曾获得FAccT 2023最佳论文奖和AFME@NeurIPS 2024亮点展示。他获得了著名的FRQNT博士培训奖学金、麦吉尔大学研究生卓越奖以及Mila研究中的EDI卓越奖学金。Prakhar还积极参与教学。他组织了FAccT 2025和AAAI 2026的教程,帮助设计了“原住民AI探路者”课程的课程体系,并担任麦吉尔大学AI导论课程的讲师,此外还担任过AI4Good暑期学校以及麦吉尔大学多门大学课程的助教。FINISHED