美国国家科学基金会与某机构共同宣布了最新一轮"人工智能公平性"项目资助的13个获选项目。获选项目旨在解决人工智能和机器学习技术中的不公平和偏见问题，开发人类与人工智能系统交互的原则和算法理论框架，并提升语音识别技术的可及性。
机器学习
美国国家科学基金会与某机构合作，公布最新"人工智能公平性"资助项目
十三个新项目聚焦于确保AI算法及其应用系统的公平性。
2022年8月8日
2019年，美国国家科学基金会（NSF）与某机构宣布了一项合作计划——"人工智能公平性"项目，旨在加强和支持人工智能和机器学习的公平性。迄今为止，在两轮提案征集中，NSF已资助了21个研究项目，领域涉及确保AI算法及其应用系统的公平性、利用AI促进社会公平，以及开发基于AI系统的人类交互原则等。
2021年6月，某机构与NSF启动了第三轮项目征集，重点关注理论和算法基础、人类与AI系统交互原则、自然语言理解和计算机视觉等技术，以及招聘决策、教育、刑事司法和人类服务等应用领域。现某机构与NSF共同宣布了本轮征集中选出的13个项目。
这些获选者将共同获得最高950万美元的资金支持。他们提出的项目旨在解决人工智能和机器学习技术中的不公平和偏见问题，开发人类与人工智能系统交互的原则和算法理论框架，并提升语音识别技术的可及性。
某机构人工智能负责人表示："我们很高兴与NSF共同宣布来自美国各地才华横溢的研究人员的这十三个'人工智能公平性'项目。人工智能在日常生活中的日益普及，要求我们持续进行多部门投资，以提高其可信度和抵御偏见的能力。某机构为过去三年能与NSF合作支持这一至关重要的研究领域而感到自豪。"
为该项目提供部分资金的某机构不参与资助项目的筛选过程。NSF信息与智能系统部门副主任表示："这些奖项是NSF致力于追求科学发现的一部分，使我们能够在实现人工智能全部潜力的同时，解决关于其使用和影响的关键问题。"
以下是2022年获奖者名单及其项目概述：
一个用于重症监护的可解释AI框架，涉及匹配和决策树
"该项目引入了一个用于住院患者护理的、可解释的、以患者为中心的因果推断和政策设计框架。该框架源于一个挑战性问题：如何治疗有癫痫发作风险（亚临床癫痫发作）的重症患者，这种发作可能严重损害患者大脑。在这个高风险的人工智能应用中，数据非常复杂，包括噪声时间序列、病史和人口统计信息。目标是产生可解释的因果估计和政策决策，让医生能够准确理解数据是如何组合的，从而实现更好的故障排查、不确定性量化，并最终建立信任。该项目框架的核心由新颖且复杂的匹配技术组成，将数据集中每位接受治疗的患者与其他（相似的）未接受治疗的患者进行匹配。匹配模拟了随机对照试验，使得可以基于匹配组的成果来估计每位患者的治疗效果。该框架的另一个重要组成部分涉及可解释的策略设计，将使用稀疏决策树来识别应接受类似治疗的可解释的患者亚群。"
首席研究员: Cynthia Rudin 联合首席研究员: Alexander Volfovsky, Sudeepa Roy 机构: 杜克大学 资助金额: $625,000
公平表示学习：基本权衡与算法
"基于人工智能的计算机系统越来越依赖于有效的信息表示，以支持从图像识别系统到通过人脸识别进行身份控制等领域的决策。然而，依赖传统统计和来自历史或人工筛选数据的预测的系统，也自然会继承任何过去的偏见或歧视倾向。该奖项的总体目标是通过使用能够保持信息效用，同时消除可能导致对人群中特定子群体歧视的信息表示来缓解这一问题。具体来说，该项目将研究不同数据表示的效用与公平性之间的不同权衡，然后确定缩小与最佳权衡之间差距的解决方案。然后，将在此类权衡分析的指导下，开发新的表示和相应算法。研究人员将基于所开发的理论提供性能界限，并提供有效性证据，以获得公平的机器学习系统并赢得社会信任。本研究中的应用领域是人脸识别系统。参与该项目的本科生和研究生将接受培训，以进行前沿研究，将公平性融入基于人工智能的系统中。"
首席研究员: Vishnu Boddeti 机构: 密歇根州立大学 资助金额: $331,698
评估和训练包容性自动语音识别的新范式
"自动语音识别可以通过细微的方式提高生产力：与其使用图形用户界面搜索歌曲、产品或地址，使用自动语音识别通常能更快地完成这些任务。然而，对许多人来说，语音识别的效果较差，可能是由于地区口音、第二语言口音或残疾。这个'人工智能公平性'项目定义了一种思考语音技术的新方式。在这种新思维方式中，只有当自动语音识别器对所有用户（包括带有地区口音、第二语言口音和严重残疾的用户）都运行良好时，才被认为工作良好。该项目包含三个子项目。第一个子项目将创建黑盒测试标准，语音技术研究人员可以用它来测试他们的语音识别器，以检验他们的语音识别器对不同人群的实用性。例如，如果研究人员发现他们的产品对某些人有效，但对其他人无效，那么研究人员将有机会收集更多的训练数据，并进行更多的开发，以确保服务不足的社区得到更好的服务。第二个子项目将创建玻璃盒测试标准，研究人员可以用它来调试包容性问题。例如，如果语音识别器对特定方言有困难，那么玻璃盒方法将识别该方言中混淆识别器的特定语音，使研究人员能够更有效地解决问题。第三个子项目将创建训练语音识别器的新方法，以确保它能平等地处理可用数据中所有不同群体。数据将来自播客和互联网。只有当说话者自己声明是特定群体的成员时，才会被识别为该群体的成员。所有开发的软件都将以开源方式分发。"
首席研究员: Mark Hasegawa-Johnson 联合首席研究员: Zsuzsanna Fagyal, Najim Dehak, Piotr Zelasko, Laureano Moro-Velazquez 机构: 伊利诺伊大学香槟分校 资助金额: $500,000
人工智能公平性的规范经济学方法
"大量关于算法公平性的研究致力于防止人工智能加剧社会偏见。该文献中的主流观点将公平等同于无偏见，或寻求在人口统计群体之间实现某种形式的统计均等。相比之下，该项目追求植根于规范经济学的替代方法，该领域通过询问'应该是什么'来评估政策和项目。这项工作由两个观察结果驱动。首先，可以根据以效用函数形式表示的人们偏好来实现对个人和群体的公平。其次，传统的算法公平性概念可能与福利（群体的总体效用）相冲突，包括那些公平性标准旨在保护的群体的福利。该项目的目标是建立规范经济学方法作为研究人工智能公平性的核心工具。为此，团队致力于解决两个研究问题。首先，规范经济学的观点能否与现有的人工智能公平性方法相协调？其次，如何借鉴规范经济学来重新思考人工智能公平性应该是什么？该项目将把理论和算法进展整合到用于指导难民安置决策的实际系统中。该系统将从公平性的角度进行检验，最终目标是确保公平性保证和福利。"
首席研究员: Yiling Chen 联合首席研究员: Ariel Procaccia 机构: 哈佛大学 资助金额: $560,345
推进阈值无关的公平AI系统的优化
"人工智能和机器学习技术正被用于高风险决策系统，如贷款决策、就业筛选和刑事判决。这些AI系统带来的一个新挑战是避免它们可能引入的不公平，这种不公平可能导致对受保护群体做出歧视性决策。大多数AI系统使用某种阈值来做决策。该项目旨在通过为决策制定与阈值无关的指标，来改进具有公平意识的AI技术。特别是，研究团队将改进受公平性约束的AI模型的训练过程，使模型能够适应不同环境、适用于不同应用，并受新兴公平性约束的影响。该项目的成功将产生一种可迁移的方法，通过消除差异性影响并增强决策者手中AI系统的公平性，来改善社会各方面的公平性。研究人员将与AI从业者合作，将该项目中的技术整合到教育分析等现实世界系统中。该项目还将致力于培养未来的AI和机器学习专业人才，并通过包括培训高中生和代表性不足的本科生在内来扩大这项活动。"
首席研究员: Tianbao Yang 联合首席研究员: Qihang Lin, Mingxuan Sun 机构: 爱荷华大学 资助金额: $500,000
面向公平决策和资源分配及其在AI辅助研究生招生和毕业中的应用
"机器学习系统已在日常生活的许多应用中变得突出，例如医疗保健、金融、招聘和教育。这些系统旨在通过在海量数据中寻找模式来改进人类决策，超越人类的直觉。然而，事实证明，这些系统会学习并传播人类决策中存在的类似偏见。该项目旨在开发关于AI公平性的通用理论和技术，并将其应用于提高STEM研究生项目中代表性不足群体的保留率和毕业率。最近的研究表明，仅仅关注录取率不足以提高毕业率。该项目设想超越设计满足某个时刻静态公平性概念的'公平分类器'（如公平的研究生招生），而是设计能够在一段时间内做出决策的AI系统，其目标是确保整个过程完成后的长期公平结果。使用数据驱动的AI解决方案可以检测人类错过的模式，从而能够在较长时间内进行有针对性的干预和公平的资源分配。该项目的研究将有助于减少招生过程中的偏见，提高研究生项目的完成率，并在一般的机器学习应用中促进公平决策。"
首席研究员: Furong Huang 联合首席研究员: Min Wu, Dana Dachman-Soled 机构: 马里兰大学帕克分校 资助金额: $625,000
BRIMI — 医疗信息中的偏见减少
"该奖项名为'医疗信息中的偏见减少'，专注于使用人工智能来检测和减轻那些对社会中少数群体造成不成比例伤害的、有偏见的、有害的和/或虚假的健康信息。BRIMI项目为在健康信息、提高AI、医学和在线信息生态系统公平性方面增加公平性提供了巨大的希望。该项目对偏见的创新研究将极大地促进对少数群体和个人在寻求健康信息时所面临挑战的理解。通过包括针对患者和医生的具体干预措施，并推进公共卫生和事实核查组织的技术发展，BRIMI旨在为公共政策提供信息，提高公众的批判性素养，并改善历史上服务不足的患者的福祉。该奖项包括重要的外展工作，将少数群体社区直接纳入科研过程；广泛的利益相关者参与将确保对所研究群体的研究方法尊重、合乎伦理且以患者为中心。BRIMI团队由学术界、非营利组织和行业伙伴组成，从而改善了不同部门和多个学科之间的合作与伙伴关系。BRIMI项目将引领计算机科学的基础研究进展，同时整合在医学培训、公共卫生干预和事实核查方面的深厚专业知识。BRIMI是首个针对任何类型的有偏见健康信息的大规模计算研究。该奖项特别关注减少健康领域的偏见；其基础计算机科学的进展和贡献可能会推广到其他领域，并可能为研究政治和金融等其他领域的偏见铺平道路。"
首席研究员: Shiri Dori-Hacohen 联合首席研究员: Sherry Pagoto, Scott Hale 机构: 康涅狄格大学 资助金额: $392,994
数据流上具有公平意识的深度学习模型的新范式
"大量信息以数据流的形式在不同领域之间不断传输。社交网络、博客、在线业务和传感器都会产生巨大的数据流。这些数据流以随时间变化的模式被接收。虽然这些数据可以分配给特定的类别、对象和事件，但它们的分布并不恒定。这些类别会受到分布变化的影响。这些分布变化通常是由于潜在的环境、地理、经济和文化背景的变化造成的。例如，在COVID-19大流行期间，贷款申请的风险水平就受到了分布变化的影响。这是因为贷款风险基于与申请人相关的因素，如就业状况和收入。这些因素通常相对稳定，但由于大流行的经济影响而迅速变化。因此，现有的贷款推荐系统需要适应有限的示例。该项目将开发开源软件，帮助用户评估在线算法的公平性、减轻潜在偏见，并检查效用-公平性权衡。它将实现两个实际应用：从视频数据中在线识别犯罪事件，以及从点击流数据中预测在线购买行为。为了在研究和教育中扩大该项目的影响，该项目将利用面向不同背景、性别和种族/民族学生的STEM项目。该项目包括为学生举办研讨会、讲习班、短期课程和研究项目等活动。"
首席研究员: Feng Chen 联合首席研究员: Latifur Khan, Xintao Wu, Christan Grant 机构: 德克萨斯大学达拉斯分校 资助金额: $392,993
以人为中心开发可靠且人人可用的机器翻译
"这个'人工智能公平性'项目旨在开发技术，以在高风险场景中可靠地增强跨语言交流，例如当一个人需要与不说其语言的人沟通以获取医疗建议或申请工作时。虽然机器翻译技术经常在这些情况下使用，但现有系统经常出错，可能对患者或求职者造成严重后果。此外，当人们不理解翻译的源语言或目标语言时，他们很难知道自动翻译何时可能是错误的。该项目通过为普通用户开发人人可用且可靠的机器翻译来解决这个问题。它将提供机制，引导用户识别和从翻译错误中恢复，并帮助他们在翻译不完美的情况下做出更好的决策。因此，更多的人将能够可靠地使用机器翻译跨越语言障碍进行交流，这将对他们的生活产生深远的积极影响。"
首席研究员: Marine Carpuat 联合首席研究员: Niloufar Salehi, Ge Gao 机构: 马里兰大学帕克分校 资助金额: $392,993
用于公平拍卖、定价和营销的AI算法
"该项目开发了在AI中介的拍卖、定价和营销中做出公平决策的算法，从而促进国家繁荣和经济福祉。AI系统在商业环境中的部署因能直接访问消费者数据、实现个性化能力以及实时运行算法而蓬勃发展。例如，用户看到的广告是个性化的，因为广告商愿意在广告展示拍卖中出价更高以触达具有特定人口特征的用户。拼车平台的定价决策或贷款利率是根据消费者的特征定制的，以最大化利润。社交媒体平台上的营销活动根据预测谁能够影响其社交网络中的其他人来定位用户。不幸的是，这些应用表现出歧视。在住房和招聘广告拍卖中的歧视性定位、贷款和叫车服务的歧视性定价，以及营销活动为了排除某些受保护群体而区别对待社交网络用户的行为都已被曝光。该项目将开发理论框架和AI算法，确保在这些场景中，来自受保护群体的消费者不会受到有害歧视。新算法将促进在这些应用中公平地开展业务。该项目还支持举办会议，将从业者、政策制定者和学者聚集在一起，讨论将公平AI算法整合到法律和实践中。"
首席研究员: Adam Elmachtoub 联合首席研究员: Shipra Agrawal, Rachel Cummings, Christian Kroer, Eric Balkanski 机构: 哥伦比亚大学 资助金额: $392,993
使用可解释AI提高少年司法系统使用风险评分的公平性和透明度
"在美国各地，少年司法系统使用青少年风险和需求评估分数来识别青少年未来再次犯罪的可能性。然后，少年司法从业者使用此风险评估分数来决定如何对青少年进行干预以防止再犯。不幸的是，大多数风险评估系统缺乏透明度，青少年获得特定分数的原因往往不明确。此外，受此类决定影响的家庭和青少年有时并不清楚这些分数在决策过程中是如何使用的。这个问题是有害的，因为它可能阻碍个人对风险评估建议的干预措施的接受，并掩盖这些分数中潜在的偏见。为了解决这个问题，项目研究人员将开发自动化的、计算机生成的针对这些风险评分的解释，旨在说明这些分数是如何产生的。然后，研究人员将测试这些解释得更好的风险评分是否能帮助青少年和少年司法决策者理解给青少年打出的风险评分。此外，研究团队将调查这些风险评分是否对不同青少年群体同样有效，并识别其使用方式中任何潜在的偏见，以努力了解决策过程对于基于种族和性别的不同群体是否公平。该项目嵌入在少年司法系统中，旨在根据实际的少年司法系统数据，评估真实的利益相关者如何理解这些风险评分在该系统内是如何生成和使用的。"
首席研究员: Trent Buskirk 联合首席研究员: Kelly Murphy 机构: 博林格林州立大学 资助金额: $392,993
打破算法公平性的权衡障碍
"为了稳健和值得信赖，算法系统需要有用地服务于多样化的用户群体。标准的机器学习方法在这方面很容易失败，例如，为了在训练数据中占多数的群体优化性能，而牺牲了在少数群体上的性能。大量关于'算法公平性'的文献应运而生，以解决这一普遍问题。然而，在技术层面上，该文献将各种技术性的'公平性'概念视为约束条件，因此通过约束优化的视角来看待'公平学习'。尽管从算法设计的角度来看，这是一个富有成效的观点，但它导致权衡成为'公平机器学习'研究的核心对象。在标准的框架下，增加新的受保护群体，或从数量上加强公平性约束，必然会导致整体和每个群体内的准确性下降。这会产生使不同利益相关者的利益相互对抗的效果，并使得围绕'公平机器学习'技术难以建立共识。该项目的首要目标是突破这种'公平/准确性权衡'的范式。"
首席研究员: Aaron Roth 联合首席研究员: Michael Kearns 机构: 宾夕法尼亚大学 资助金额: $392,992
推进深度学习以实现空间公平
"空间公平的目标是减少与数据样本位置或地理区域显著相关的偏见。如果不加以处理，这些偏见可能导致或加剧资源分配不公、社会分裂、空间差异以及韧性或可持续性方面的弱点。空间公平在人工智能应用于农业监测和灾害管理等大量现实问题中至关重要。农产品数据用于指导重要决策，如补贴分配和提供农业保险。空间偏见产生的不准确和不公平会对这些决策产生不利影响。同样，对洪水或火灾等自然灾害进行有效和公平的绘图对于指导救援行动、量化公共基础设施的损害和风险至关重要，这与保险估算相关。机器学习，特别是深度学习，已广泛应用于空间数据集并取得了有前景的结果。然而，由于数据分布、数据量和数据质量的变化，直接应用机器学习在维护空间公平性方面取得的成功有限。该项目的目标是开发新一代的学习框架，以明确维护空间公平。研究结果和代码将免费提供，并集成到现有的地理空间软件中。这些方法还将被测试，以整合到现有的实际系统（作物和水资源监测）中。"
首席研究员: Xiaowei Jia 联合首席研究员: Sergii Skakun, Yiqun Xie 机构: 匹兹堡大学 资助金额: $755,098FINISHED
