知识图谱嵌入中的社会偏见缓解
问答系统经常依赖知识图谱，即关于现实世界实体（人物、组织、国家等）的大量事实集合。为了利用知识图谱中的信息，机器学习模型通常采用知识图谱嵌入，即图中实体的向量表示。这种方法的一个潜在问题是，知识图谱中的数据分布反映了当前和历史的社会偏见。例如，大多数知识图谱中，职业为“银行家”的男性实体多于女性实体，或者职业为“芭蕾舞演员”的“白人美国人”实体多于“非裔美国人”实体。如果知识图谱嵌入最终编码了这些偏见，那么使用它们的问答系统也会如此。如果一个小女孩与聊天机器人对话时问“我长大后应该做什么？”，一个有偏见的嵌入可能会排除那些在知识图谱中主要与男性相关的可能答案。对于某些职业（例如“男中音”），这可能没问题。但在其他情况下，这些偏见可能是过去不够平等的时代的遗留物。
图：我们测量知识图谱嵌入中偏见的方法的二维表示。在每个图中，标记为 person1 的蓝点表示在调整其参数时嵌入的变化。橙色箭头表示关系向量，橙色点表示最终的和。当我们将性别关系向男性方向移动时，职业关系从“护士”移开并更接近“医生”。图片来源：Glynis Condon
今年早些时候，在关于知识图谱偏见的 AKBC 研讨会上，我们发表了一篇论文，研究了这个问题。使用一种标准的嵌入技术，我们寻找了维基数据中列出的人物职业与人口统计学因素（如性别、种族和宗教）之间的相关性，以查看嵌入是否确实编码了有害的社会偏见。**继此之后，在上周举行的自然语言处理经验方法会议 (EMNLP) 上，我们发表了“知识图谱嵌入的去偏”，其中我们试图通过开发一种对标准图嵌入训练方法的轻量级修改来解决这个问题，从而减少偏见。**随着知识图谱嵌入在机器学习社区中越来越广泛地使用，我们希望这项工作能提高人们对它们可能编码的偏见的认识，并使我们更接近有效去偏的目标。
知识图谱嵌入
图：知识图谱通常将事实存储为三元组 ，由左实体、关系和右实体组成。图片来源：Joseph Fisher
标准知识图谱使用三元组表示数据，每个三元组由两个实体以及它们之间的关系组成：例如，实体 emmanuelle_charpentier 和 germany 通过关系 lives_in 相关联。
知识图谱嵌入将知识图谱中的实体表示为多维空间中的点。其思想是，点之间的空间关系编码了图所捕获的关系。例如，使用常见的嵌入框架 TransE，将表示 lives_in 的向量加到表示 emmanuelle_charpentier 的点上，应该使我们接近表示 germany 的点的位置。在训练期间，嵌入模型学习最大化这些空间关系在知识图谱中捕获的所有三元组上的准确性。除了其他应用外，嵌入可用于链接预测，或推断图中尚未出现的关系。
训练好的知识图谱嵌入会编码社会偏见吗？
要理解为什么知识图谱嵌入可能编码社会偏见，让我们看看最广泛的开源知识图谱 Wikidata 中男性和女性实体的数量。
图：Wikidata 中男性和女性实体的数量。图片来源：Joseph Fisher
Wikidata 中男性实体的数量是女性的四倍多，这反映了现实世界中长期存在的社会偏见。在我们题为“测量知识图谱嵌入中的社会偏见”的论文中，我们确定了这种计数差异是否会被编码到嵌入中。为此，我们取一个人物实体的嵌入并对其进行调整，使得关系向量（例如 has_religion 或 has_gender）的加法更接近于某个特定右侧属性（例如“天主教徒”或“女性”）的嵌入。
图：根据 TransE 嵌入，Wikidata 中排名前 20 的“最女性化”职业。B_p 表示偏见得分，C_fem 表示知识图谱中从事这些职业的女性实体数量，C_male 表示从事这些职业的男性实体数量。来自“测量知识图谱嵌入中的社会偏见”
当我们调整嵌入时，我们观察添加 has_profession 向量的结果如何变化。也就是说，对于每个潜在职业，我们确定随着嵌入的变化，模型将该职业分配给该人的概率是增加还是减少。对所有人物和职业运行此计算，我们能够识别嵌入编码为“最男性化”和“最女性化”的职业。右表显示了我们衡量标准中排名前 20 的“最女性化”职业。（维基百科中非二元性别实体的数量相对可以忽略不计；虽然这代表了数据中的另一种偏见，但也意味着由此产生的嵌入会太嘈杂，无法在我们的研究中产生有意义的结果。）
图：根据 TransE 嵌入，Wikidata 中排名前 20 的“最男性化”职业。来自“测量知识图谱嵌入中的社会偏见”
知识图谱中拥有这些职业的实体数量差异似乎转化为嵌入中的偏见。有些职业，如“家庭主妇”，我们希望它们与特定性别无关；其他职业，如“女文人”，可能争议较少。我们还计算了排名前 20 的“男性化”职业，结论相似。
我们能否调整知识图谱嵌入的训练以减少编码的偏见？
在“知识图谱嵌入的去偏”中，我们将注意力转向减少此类偏见及其对下游应用（如聊天机器人）的潜在有害后果。为此，我们训练嵌入模型不仅关注其重构三元组的忠实程度，还关注其近似性别和其他敏感特征（如宗教）的均匀分布的程度。换句话说，我们更新 person1 的嵌入，使得模型无法预测性别。如果精确执行，这也应该打破性别和职业之间的相关性。
图：我们的去偏方法使用 Kullback-Leibler (KL) 散度来衡量知识图谱嵌入方案与目标分布的匹配程度。图片来源：Joseph Fisher
一个潜在的缺点是，这种方法会阻止模型使用性别、宗教、国籍或种族来预测非争议性三元组。例如，我们可能希望嵌入反映 nun（修女）更可能是女性而非男性。
为了允许这一点，我们引入了属性嵌入。在我们希望利用敏感信息的情况下，我们可以简单地将这些属性向量添加回嵌入中。
图：在此，我们将male 属性嵌入添加回模型中的nun 职业，但不添加给doctor 职业。图片来源：Joseph Fisher
我们针对没有去偏的 基础 TransE 模型以及 Bose 等人采用的方法（该方法使用了先前文献中提出的神经网络过滤器）评估我们的模型。我们根据链接预测的实用性（根据平均倒数排名，或 MRR）、它们的偏见和训练时间来衡量嵌入。
在训练期间，嵌入的得分基于其准确性——它们再现知识图谱中相应三元组的程度。我们将偏见衡量为属于某一类别（宗教、性别等）的实体与另一类别实体之间的得分差异。我们发现，我们的模型在链接预测准确性上略有下降（约 3%），但换来了偏见的显著减少。
| 模型 | MRR | 性别偏见 | 每轮秒数 |
|---|---|---|---|
| 基础 | 0.68 | 2.79 | 68.4 |
| Bose 等人 | 0.426 | 2.75 | 533.3 |
| 我们的 | 0.66 | 0.19 | 89.4 |
研究领域
信息与知识管理 对话式人工智能
标签
知识图谱 数据表示 EMNLP 偏见 负责任的人工智能
会议
EMNLP 2020
相关出版物
知识图谱嵌入去偏 测量知识图谱嵌入中的社会偏见
关于作者
Joseph Fisher 是 Alexa AI 部门的应用科学家。FINISHED
