RFBFN

207 阅读5分钟

2022|ACL 2022|上海交通大学 |中国科学院 |腾讯人工智能实验室 |原文链接源码链接

RFBFN: A Relation-First Blank Filling Network for Joint Relational Triple Extraction

  • 将关系抽取视为一个空白填充网络(即把关系抽取视为完型填空)

image.png

从非结构化文本中联合抽取关系三元组是信息抽取中的一个重要任务。然而,大多数现有的作品要么忽略了关系的语义信息或预测的主题和对象顺序。为了解决这些问题,论文提出了一个关系优先的空白填充网络(RFBFN)。

传统的流水线方法首先提取实体对,然后对每个实体对执行关系分类。但是这种做法会遭受错误传播,并忽略了两个任务之间的相互作用。

在这里,两个任务之间的相互作用指的是 实体识别关系抽取 这两个任务之间的相互作用。传统的流水线方法对每个实体对执行独立的关系分类,忽略了实体识别和关系抽取之间的关联。由于实体识别的误差会影响到后续的关系抽取,而传统的流水线方法没有考虑到这一点,因此难以避免错误传播的问题。

联合抽取模型倾向于将任务分解为几个子任务,并通过多任务学习框架解决问题这种方法能够更好地利用实体识别和关系抽取之间的相互作用,从而提高整体的性能表现。

但是现在大多数模型将关系提取视为分类任务,仅用无意义的类ID去替换关系。为了更好地捕获语义信息,机器阅读理解(MRC)模型提出解决提取任务。该模型将任务转换为多轮问答问题。这是一种针对实体关系抽取任务的问答式方法。具体来说,该方法分为两个阶段:

1. 实体检测阶段:首先通过回答实体特定的问题来检测文本中包含的实体。这个阶段的目的是识别出文本中存在的实体,为后续的关系提取做好准备。

2. 关系抽取阶段:在实体检测阶段之后,通过产生关系特定的问题来提取实体之间的关系。但是,由于涉及到预测主体和对象,因此需要将问题回答进行多轮执行,一步步地逐渐缩小可选择的实体范围,并最终确定实体之间的关系。

RFBFN模型就是将关系抽取视为完型填空。具体做法

  1. 首先检测潜在的关系,以帮助后面进行实体对提取
  2. 将关系转换为关系模板与空白
  3. 最后,通过填空的方法同时提取对应的主语和宾语。

该模型使用Bert-base-cased作为预训练模型,数据集使用

  • NYT* and WebNLG* ( following CasRel )
  • NYT ( following CopyRE )
  • WebNLG ( following ETL-span )

RFBFN方法

对于一个给定的句子X = (x1, x2, ..., xn),在预先定义好的关系类型集合(R)中,找到所有可能的主语-谓语-宾语的三元组,并且确定每个三元组中主语和宾语的边界位置以及它们之间存在的关系类型。

Span-Level Encoder

该组件的目标是获得句子中每个跨度的上下文化表示。

image.png

其中xe START(i) and xe START(i)是上下文的边界表示,ϕ(xi)是表示跨度长度的特征向量,可以检测到重叠的跨度,因为每个跨度都独立于其他跨度。编码器的输出是跨度的表示,并且表示为He ∈ Rns×d,其中ns是跨度的数量,d是嵌入维数。

Relation Detection Module

该模块和以前的工作不同,并不会对对每个关系执行实体提取,先前的工作通常会对每一个预测出来的关系,都单独进行实体抽取,这样做的问题在于,当存在大量的关系时,会导致实体抽取过程非常耗时。而在这个部分中,首先使用一个非自回归解码器(non-autoregressive decoder)来预测句子中的可能关系,然后再使用一个二分类器来排除与这些目标关系不相关的关系。这样做的好处是,通过预测出可能的目标关系,可以减少需要进行实体抽取的次数,从而提高效率;而通过使用二分类器,可以排除与目标关系无关的关系,减少实体抽取的误差和计算开销。

Blank Filling Module

该模块主要介绍了一种新的实体对抽取范例,即将实体对的抽取任务转换为从语境中找到答案并填空的形式。具体来说,该方法将每个候选关系类型转化为一个带有空白(在此用[MASK]表示)的模板,然后将参与关系的主语和宾语填充到空白中。也就是说,如果语境中包含关系对应的实体对,则可以通过填充空白来抽取实体范围。

举例来说,假设我们有一个句子“小明在北京工作”,需要从中抽取名字和城市之间的关系。那么我们可以将这个关系类型转化为一个模板:“[MASK]在[MASK]工作”。然后,我们将句子中的主语“小明”和宾语“北京”分别填充到模板的两个空白中,得到“小明在北京工作”,即为抽取出的实体对。

该方法的优点在于:相比传统的基于句子结构的关系抽取方法,该方法不需要关注句子的语法结构,而是将抽取任务转化为一个简单的语言模板填充问题,因此更加灵活和适用性更广。 通过结合语义信息和两个空白手动生成关系模板。例如,关系“leaderName”对应于类似“[MASK]是[MASK]的leader”的模板。关系模板对关系的语义信息进行编码,这对于关系三元组提取是重要的。 image.png