方法利用无标签数据预测人脸识别模型中的偏差
消除标注需求使偏差测试更加实用。
作者：Tiffany Deng
2022年11月8日
3分钟阅读
会议
ECCV 2022
相关论文
《人脸识别中的无监督和半监督偏差基准测试》
近年来，算法偏差已成为跨AI学科研究的核心主题。2018年对人脸识别软件偏差的调查之后，该主题的关注度急剧上升——其中偏差被定义为不同人口统计群体中受试者的表现差异。测试人脸识别模型是否存在偏差的自然方法是向其输入大量包含不同群体受试者的图像，并观察其表现。但这需要标注数据以指示跨图像的受试者身份，而身份标注极其昂贵——尤其是在确凿评估人脸识别模型所需的规模下。
在今年欧洲计算机视觉会议（ECCV）上，团队展示了一种评估人脸识别系统偏差的新方法，该方法不需要带有身份标注的数据。虽然该方法只能估计模型在不同人口统计群体数据上的表现，但实验表明，这些估计的准确度足以检测出表明偏差的性能差异。这一结果——无需标注面部身份的测试数据即可预测人脸识别模型的相对性能——令人惊讶，它提出了一种评估范式，应能使人脸识别软件的创建者更实际地测试其模型的偏差。
该图绘制了人脸识别模型的假阳性率（错误匹配率，FMR）与假阴性率（错误非匹配率，FNMR）的关系。该模型训练自"野外种族人脸"数据集，故意省略了"非洲人"类别以引入偏差。实线为真实值，虚线为模型预测值，彩色区域为模型置信区间。即使在置信区间的外缘，性能差异也清晰可见。
除了成本效益外，该方法还具有可即时适应新人口统计群体的优势。它确实需要某种方式来识别属于这些群体的受试者——例如来自自我报告的图像元数据——但不需要身份标签。
为了评估方法，团队在故意 withheld 特定人口统计数据的数据集上训练人脸识别模型，以有意引入偏差。在所有情况下，该方法都能识别 withheld 人口统计群体上的性能差异。还将方法与贝叶斯校准（一种预测机器学习模型输出的基线方法）进行了比较。方法全面优于贝叶斯校准，有时优势明显——尤其考虑到贝叶斯校准需要一些标注数据进行引导，而方法完全依赖于未标注数据。
模型原理
根据标注的训练数据，人脸识别模型通常学习生成输入图像的向量表示（嵌入），并测量它们在嵌入空间中的彼此距离。任何距离低于某个阈值的嵌入都被分类为表示同一个人。
假设真实匹配之间的距离服从某个分布，而非相同人脸之间的距离服从另一个分布。方法的目标是学习这两个分布的参数。
根据经验发现，分数分布往往略微偏斜，因此使用两片分布对其进行建模。两片分布在众数（最常出现的值）周围划分分布，众数两侧的分布具有不同参数。
为了评估训练好的人脸识别模型，向其输入成对的、标注了人口统计信息但无身份信息的图像。人脸验证配对是随机化的：有些是匹配，有些不是，但不知道哪些是哪些。从得到的分数中，模型学习一对分布（一个用于匹配，一个用于非匹配），基于分布之间的分离程度，可以预测模型的准确率。对数据集中每个人口统计类别重复此过程，并比较结果。
基于测试样本的层次聚类，可以为准确率估计计算误差界限。实验表明，即使考虑误差，该方法仍能提供清晰的差异信号。希望这一方法论能帮助从事人脸识别或类似生物识别任务的AI从业者确保其模型的公平性。
研究领域
- 计算机视觉
- 机器学习
标签
- 欧洲计算机视觉大会 (ECCV)
- 负责任的人工智能FINISHED
