美国国家科学基金会和某中心宣布了该计划最新一轮征集活动中选定的13个项目的获奖者。获奖者提出的项目旨在解决人工智能和机器学习技术中的不公平和偏见，开发人与人工智能系统交互的原则和算法理论框架，并提高语音识别技术的可及性。
2022年8月8日
2019年，美国国家科学基金会和某中心宣布了一项合作——"人工智能公平性"计划，旨在加强和支持人工智能及机器学习领域的公平性。迄今为止，经过两轮项目征集，NSF已授予21项研究资助，涉及领域包括确保AI算法及其集成系统的公平性、利用AI促进社会公平，以及开发人机AI系统交互原则。2021年6月，某中心和NSF开启了第三轮项目征集，重点关注理论与算法基础；人机AI系统交互原则；自然语言理解和计算机视觉等技术；以及招聘决策、教育、刑事司法和人类服务等应用领域。
现在，某中心和NSF宣布了该最新一轮征集中选定的13个项目的获奖者。这些获奖者将共同获得高达950万美元的资金支持。他们提出的项目旨在解决人工智能和机器学习技术中的不公平和偏见，开发人与人工智能系统交互的原则和算法理论框架，并提高语音识别技术的可及性。
"我们很高兴与大家分享NSF从全美优秀研究人员中选出的13项‘人工智能公平性’提案，"某中心Alexa AI自然理解副总裁表示。"人工智能在我们日常生活中的日益普及，要求持续进行多领域投资，以提升其可信赖性和抵御偏见的能力。某中心为过去三年能与NSF合作支持这一至关重要的研究领域感到自豪。"
为该项目提供部分资金的某中心不参与资助评选过程。"这些奖项是NSF致力于追求科学发现的一部分，使我们能够在发掘人工智能全部潜力的同时，解决有关其使用和影响的关键问题，"NSF信息与智能系统部副主任Wendy Nilsen说。
有关"人工智能公平性"计划的更多信息，请访问NSF网站及其计划更新。以下是2022年获奖者名单及其项目概述。
一个用于重症监护的可解释AI框架，涉及匹配和决策树
"本项目引入一个框架，用于院内患者护理的可解释、以患者为中心的因果推断和政策设计。该框架源于一个具有挑战性的问题，即如何治疗有癫痫发作风险的重症患者。在这一高风险的人工智能应用中，数据复杂，包括嘈杂的时间序列、病史和人口统计信息。目标是产生可解释的因果估计和政策决策，让医生能够确切理解数据是如何组合的，从而允许更好的故障排除、不确定性量化和最终的信任。该框架的核心由新颖且复杂的匹配技术组成，将数据集中的每个接受治疗的患者与其他相似但未接受治疗的患者进行匹配。匹配模拟了一项随机对照试验，允许基于匹配组的结果为每位患者估计治疗效果。该框架的第二个重要元素涉及可解释的政策设计，将使用稀疏决策树来识别应接受类似治疗的可解释亚组。" 首席研究员： Cynthia Rudin 共同首席研究员： Alexander Volfovsky, Sudeepa Roy 机构： 杜克大学 资助金额： 625,000美元
公平表征学习：基本权衡与算法
"基于人工智能的计算机系统越来越依赖于有效的信息表征，以支持从图像识别系统到人脸识别身份控制等领域的决策。然而，依赖传统统计和基于历史或人工整理数据进行预测的系统，也自然继承了任何过去的偏见或歧视倾向。该奖项的首要目标是通过使用保持其实用性、同时消除可能导致对人口亚群歧视信息的数据表征来缓解这个问题。具体来说，本项目将研究不同数据表征在实用性和公平性之间的不同权衡，然后确定缩小与最佳权衡之间差距的解决方案。接着，将在此类权衡分析的指导下开发新的表征和相应算法。研究人员将基于已开发的理论提供性能极限，并提供有效性证据，以获得公平的机器学习系统并赢得社会信任。本研究中使用的应用领域是人脸识别系统。参与该项目的本科生和研究生将接受前沿研究培训，以便将公平性整合到基于人工智能的系统中。" 首席研究员： Vishnu Boddeti 机构： 密歇根州立大学 资助金额： 331,698美元
评估和训练包容性自动语音识别的新范式
"自动语音识别可以在小方面提高你的效率：与其使用图形用户界面搜索歌曲、产品或地址，使用自动语音识别通常可以更快地完成这些任务。然而，对于许多群体来说，语音识别的效果较差，可能是因为地方口音、第二语言口音或残疾。这个‘人工智能公平性’项目定义了一种思考语音技术的新方式。在这种新思路下，只有当自动语音识别器对所有用户（包括有地方口音、第二语言口音和严重残疾的用户）都运行良好时，才被认为是有效的。该项目包含三个子项目。第一个子项目将创建黑盒测试标准，语音技术研究人员可用其测试他们的语音识别器，以评估其语音识别器对不同群体的实用性。例如，如果研究人员发现他们的产品对某些人有效，但对其他人无效，那么研究人员将有机会收集更多训练数据并进行更多开发，以确保服务不足的社区得到更好的服务。第二个子项目将创建白盒测试标准，研究人员可用其调试包容性问题。例如，如果语音识别器对某种方言有困难，那么白盒方法将识别该方言中导致识别器混淆的特定语音，以便研究人员更有效地解决问题。第三个子项目将创建训练语音识别器的新方法，以保证其对可用数据中代表的所有不同群体都同样有效。数据将来自播客和互联网。只有当说话者声明自己是某个群体的成员时，才会被识别为该群体的成员。所有开发的软件都将以开源形式分发。" 首席研究员： Mark Hasegawa-Johnson 共同首席研究员： Zsuzsanna Fagyal, Najim Dehak, Piotr Zelasko, Laureano Moro-Velazquez 机构： 伊利诺伊大学厄巴纳-香槟分校 资助金额： 500,000美元
人工智能公平性的规范性经济学方法
"算法公平性领域的大量工作致力于防止人工智能加剧社会偏见。该文献中的主流观点将公平等同于无偏见，或寻求实现人口统计群体间的某种统计均等。相比之下，本项目追求植根于规范性经济学的替代方法，该领域通过问‘应该是什么’来评估政策和计划。这项工作的驱动力来自两个观察。首先，个人和群体的公平可以根据以效用函数形式表示的人们的偏好来实现。其次，传统的算法公平概念可能与福利（群体的总体效用）相冲突，包括公平标准旨在保护的那些群体的福利。本项目的目标是确立规范性经济学方法作为人工智能公平性研究的核心工具。为此，团队致力于两个研究问题。首先，规范性经济学的视角能否与现有的人工智能公平性方法相协调？其次，如何利用规范性经济学来重新思考人工智能公平性应该是什么？该项目将把理论和算法进展整合到用于指导难民安置决策的真实系统中。该系统将从公平性角度进行审查，最终目标是确保公平保证和福利。" 首席研究员： Yiling Chen 共同首席研究员： Ariel Procaccia 机构： 哈佛大学 资助金额： 560,345美元
推进阈值无关的公平人工智能系统优化
"人工智能和机器学习技术正被用于高风险决策系统，如贷款决策、就业筛选和刑事司法量刑。这些人工智能系统带来的一个新挑战是避免其可能引入的不公平，这可能导致对受保护阶层的歧视性决策。大多数人工智能系统使用某种阈值来做出决策。本项目旨在通过为决策制定制定与阈值无关的指标来改进具有公平意识的人工智能技术。特别是，研究团队将改进受公平性约束的人工智能模型的训练程序，使模型能够适应不同的环境、适用于不同的应用，并遵守新兴的公平性约束。本项目的成功将为消除不同影响、增强决策者手中人工智能系统的公平性提供一种可转移的方法，从而改善社会各方面的公平性。研究人员将与人工智能从业者合作，将本项目中的技术整合到教育分析等现实世界系统中。本项目还将有助于培养人工智能和机器学习领域的未来专业人士，并通过培训高中生和代表性不足的本科生来扩大这一活动范围。" 首席研究员： Tianbao Yang 共同首席研究员： Qihang Lin, Mingxuan Sun 机构： 爱荷华大学 资助金额： 500,000美元
实现公平决策和资源分配，应用于AI辅助的研究生招生和学位完成
"机器学习系统已在日常生活的许多应用中变得突出，如医疗保健、金融、招聘和教育。这些系统旨在通过发现海量数据中人类无法直观理解的模式，来改进人类决策。然而，研究表明，这些系统学习并传播了与人类决策中存在的类似偏见。本项目旨在开发关于人工智能公平性的一般理论和技术，应用于提高STEM研究生项目中代表性不足群体的保留率和毕业率。最近的研究表明，仅仅关注录取率不足以提高毕业率。本项目设想超越设计满足静态公平概念的‘公平分类器’，转而设计在时间范围内做出决策的人工智能系统，其目标是确保流程完成时整体的长期公平结果。数据驱动的人工智能解决方案可以检测被人类遗漏的模式，从而在延长的时间范围内实现有针对性的干预和公平的资源分配。本项目的研究将有助于减少招生过程中的偏见，提高研究生项目的毕业率，以及改善机器学习一般应用中的公平决策。" 首席研究员： Furong Huang 共同首席研究员： Min Wu, Dana Dachman-Soled 机构： 马里兰大学帕克分校 资助金额： 625,000美元
BRMI — 医疗信息中的偏见减少
"该奖项，‘医疗信息中的偏见减少’，专注于使用人工智能检测和减轻在社会中不成比例地伤害少数群体的有偏见、有害和/或虚假的健康信息。BRIMI对健康信息的公平性具有巨大潜力，可提高人工智能、医学以及在线信息生态系统的公平性。BRIMI对偏见的新颖研究有望极大地增进对少数群体和个人在寻求健康信息时所面临挑战的理解。通过为患者和医生提供具体干预措施，并推进公共卫生和事实核查组织的最新技术水平，BRIMI旨在为公共政策提供信息，提高公众的批判性素养，并改善历史上服务不足患者的福祉。该奖项包括重要的外展工作，将直接让少数群体参与我们的科学过程；广泛的利益相关者参与将确保对所研究群体的研究方法是尊重、道德和以患者为中心的。BRIMI团队由学术界、非营利组织和行业合作伙伴组成，从而改善了跨不同部门和多个学科的合作与伙伴关系。BRIMI项目将带来计算机科学的基础性研究进展，同时整合医学培训、公共卫生干预和事实核查方面的深厚专业知识。BRIMI是首个针对任何类型偏见健康信息的大规模计算研究。该奖项特别关注健康领域的偏见减少；其基础的计算机科学进展和贡献可能推广到其他领域，并可能为研究政治和金融等其他领域的偏见铺平道路。" 首席研究员： Shiri Dori-Hacohen 共同首席研究员： Sherry Pagoto, Scott Hale 机构： 康涅狄格大学 资助金额： 392,994美元
面向数据流的公平感知深度学习模型的新范式
"大量信息以数据流的形式在不同领域之间不断传输。社交网络、博客、在线业务和传感器都产生巨大的数据流。此类数据流以随时间变化的模式接收。虽然这些数据可以被分配到特定的类别、对象和事件，但它们的分布并非恒定。这些类别会受到分布偏移的影响。这些分布偏移通常是由于潜在的环境、地理、经济和文化背景的变化造成的。例如，贷款申请中的风险水平在COVID-19大流行期间经历了分布偏移。这是因为贷款风险基于与申请人相关的因素，例如就业状况和收入。这些因素通常相对稳定，但由于疫情的经济影响而迅速改变。因此，现有的贷款推荐系统需要适应有限的示例。本项目将开发开源软件，帮助用户评估在线算法的公平性，减轻潜在的偏见，并检查实用性与公平性之间的权衡。它将实施两个现实世界的应用：来自视频数据的在线犯罪事件识别和来自点击流数据的在线购买行为预测。为了扩大本项目在研究和教育方面的影响，本项目将利用面向具有不同背景、性别和种族/族裔学生的STEM项目。本项目包括研讨会、讲习班、短期课程和学生研究项目等活动。" 首席研究员： Feng Chen 共同首席研究员： Latifur Khan, Xintao Wu, Christan Grant 机构： 德克萨斯大学达拉斯分校 资助金额： 392,993美元
开发可访问且可靠机器翻译的人本方法
"这个‘人工智能公平性’项目旨在开发可靠增强高风险背景下跨语言交流的技术，例如当一个人需要与不会说其语言的人交流以获得医疗建议或申请工作时。虽然机器翻译技术经常用于这些情况，但现有系统经常出错，可能对患者或求职者造成严重后果。此外，当人们不理解翻译的源语言或目标语言时，他们很难知道自动翻译何时可能出错。本项目通过开发面向普通用户的可访问且可靠的机器翻译来解决这个问题。它将提供机制引导用户识别和从翻译错误中恢复，并帮助他们在不完美的翻译条件下做出更好的决策。因此，更多的人将能够可靠地使用机器翻译来跨越语言障碍进行交流，这可能对他们的生活产生深远的积极影响。" 首席研究员： Marine Carpuat 共同首席研究员： Niloufar Salehi, Ge Gao 机构： 马里兰大学帕克分校 资助金额： 392,993美元
用于公平拍卖、定价和营销的人工智能算法
"本项目为在人工智能中介的拍卖、定价和营销中做出公平决策开发算法，从而促进国家繁荣和经济福祉。人工智能系统在商业环境中的部署之所以蓬勃发展，是因为直接访问消费者数据、实现个性化的能力以及实时运行算法的能力。例如，用户看到的广告是个性化的，因为广告商愿意在广告展示拍卖中出价更高，以接触具有特定人口统计特征的。共享出行平台上的定价决策或贷款的利率根据消费者的特征进行定制，以实现利润最大化。社交媒体平台上的营销活动基于预测他们能够影响其社交网络中哪些人的能力来定位用户。不幸的是，这些应用表现出歧视性。住房和招聘广告拍卖中的歧视性定位、贷款和网约车服务的歧视性定价，以及营销活动为排除某些受保护群体而对社交媒体用户的不同对待，都已被曝光。本项目将开发理论框架和人工智能算法，确保受保护群体的消费者在这些场景中不受有害的歧视。新算法将促进这些应用中的公平商业行为。该项目还支持举办会议，汇聚从业者、政策制定者和学者，讨论将公平的人工智能算法整合到法律和实践中的问题。" 首席研究员： Adam Elmachtoub 共同首席研究员： Shipra Agrawal, Rachel Cummings, Christian Kroer, Eric Balkanski 机构： 哥伦比亚大学 资助金额： 392,993美元
使用可解释AI提高少年司法系统中风险评分使用的公平性和透明度
"在美国各地，少年司法系统使用少年风险和需求评估分数来识别青少年未来再次犯罪的可能性。然后，少年司法从业者使用该风险评估分数来决定如何干预青少年以防止再犯。不幸的是，大多数风险评估系统缺乏透明度，青少年获得特定分数的原因往往不清楚。此外，受此类决策影响的家庭和青少年有时并不完全理解这些分数是如何在决策过程中使用的。这种可能性是有问题的，因为它可能阻碍个人对风险评估所建议干预措施的支持，并可能掩盖这些分数中潜在的偏见。为了解决这个问题，项目研究人员将为这些风险评分开发自动化的计算机生成解释，旨在解释这些分数是如何产生的。然后，调查人员将测试这些解释更清楚的风险评分是否有助于青少年和少年司法决策者理解青少年获得的分数。此外，研究团队将调查这些风险评分是否对不同群体的青少年效果相同，并识别其使用过程中可能存在的任何潜在偏见，以努力了解基于种族和性别人口统计群体的决策过程的公平性。该项目嵌入少年司法系统内，旨在评估真实利益相关者如何根据实际的少年司法系统数据理解风险评分在该系统中的生成和使用方式。" 首席研究员： Trent Buskirk 共同首席研究员： Kelly Murphy 机构： 鲍灵格林州立大学 资助金额： 392,993美元
打破算法公平性的权衡壁垒
"为了强大且值得信赖，算法系统需要有效地服务于多样化的用户群体。标准的机器学习方法在这方面很容易失败，例如，通过优化训练数据中的多数群体代表性，而以牺牲少数群体上更差的表现为代价。一个关于‘算法公平性’的大型文献已经出现，以解决这一普遍问题。然而，在技术层面上，该文献将各种技术性的‘公平性’概念视为约束，因此从约束优化的角度来看待‘公平学习’。尽管从算法设计的角度来看，这是一个富有成效的观点，但它导致在‘公平机器学习’中以权衡为中心进行研究。在标准框架中，添加新的受保护群体，或定量加强公平性约束，必然导致总体准确性以及每个群体内准确性的下降。这导致将不同利益相关者的利益对立起来，并难以围绕‘公平机器学习’技术建立共识。本项目的首要目标是打破这种‘公平性/准确性权衡’范式。" 首席研究员： Aaron Roth 共同首席研究员： Michael Kearns 机构： 宾夕法尼亚大学 资助金额： 392,992美元
推进深度学习实现空间公平性
"空间公平性的目标是减少与数据样本的位置或地理区域有显著联系的偏见。如果置之不理，此类偏见可能导致或加剧资源的不公平分配、社会分裂、空间差异以及弹性或可持续性的薄弱。人工智能在农业监测和灾害管理等大量现实世界问题中的应用迫切需要空间公平性。农业产品，包括作物地图和种植面积估算，用于为补贴分配和提供农业保险等重要决策提供信息。空间偏见产生的不准确和不公平会对这些决策产生不利影响。同样，有效且公平地绘制洪水或火灾等自然灾害地图对于告知拯救生命的行动和量化公共基础设施的损害和风险至关重要，这与保险估算相关。机器学习，特别是深度学习，已被广泛用于空间数据集，并取得了有希望的结果。然而，由于数据分布、数据数量和数据质量的差异，机器学习的直接应用在保持空间公平性方面取得的成功有限。本项目的目标是开发新一代学习框架，以明确保持空间公平性。结果和代码将免费提供并集成到现有的地理空间软件中。这些方法还将被测试以纳入现有的真实系统。" 首席研究员： Xiaowei Jia 共同首席研究员： Sergii Skakun, Yiqun Xie 机构： 匹兹堡大学 资助金额： 755,098美元
