其他分享
首页 > 其他分享> > 【论文阅读】Double Graph Based Reasoning for Document-level Relation Extraction[EMNLP2020]

【论文阅读】Double Graph Based Reasoning for Document-level Relation Extraction[EMNLP2020]

作者:互联网

论文地址:https://www.aclweb.org/anthology/2020.emnlp-main.127/

代码地址(Pytorch):https://github.com/DreamInvoker/GAIN

Background

这篇paper也是继承了EoG模型,主要解决三个问题:1.一个relation的subject与object可能位于不同的sentence,不能仅仅利用一个句子来得到relation;2.同一个entity可能会出现在不同的sentence当中,因此需要利用cross-sentence context information,从而更好的表示entity;3.很多relation需要logical reasoning(main issue)。为此提出了GAIN模型。个人认为这篇paper的模型比较优雅,挺好的。

Abstract

在本文中,我们提出了图聚合和推理网络Graph Aggregation-and-Inference Network (GAIN),一种识别长段落中这种关系的方法。GAIN构造了两个图,一个是层次图(MG),一个是实体层次图(EG)a heterogeneous mentionlevel graph (MG) and an entity-level graph (EG).。前者捕获不同提及之间的复杂交互,后者聚合相同实体的潜在提及。基于这些图,我们提出了一种新的路径推理机制来推断实体之间的关系。在公共数据集DocRED上的实验表明,GAIN比以前的最新技术有了显著的性能改进(F1上为2.85)。

1 Introduction

最近, Yao et al. (2019) 提出了一个大规模的人工注释文档级RE数据集DocRED,将句子级RE推进到文档级,其中包含大量的关系事实。我们从DocRED dev集合中随机抽取100个文档,并手动分析Yao et al. (2019)提出的基于BiLSTM的模型预测的不良案例bad cases。

如表1所示,句间错误类型和逻辑推理错误类型在所有不良案例中所占比例较大,分别为53.5%和21.0%。因此,本文旨在解决这些问题,更好地从文档中提取关系。

文档级RE中以前的工作不考虑推理,或仅使用基于图的或分层的神经网络以隐式方式进行推理。本文提出了一种用于文档级关系抽取的图聚合推理网络。它旨在直接应对上述挑战。GAIN构建了一个异构的提级图,该图具有两种类型的节点,即mention节点和文档节点,以及三种不同类型的边,即实体内边、实体间边和文档边,以获取文档中实体的上下文信息。然后,我们将图形卷积网络应用于HMG,以获得每次mention的文档感知表示。实体级图(EG)是通过合并HMG中引用同一实体的提及来构建的,在此基础上,我们提出了一种新的路径推理机制。这种推理机制允许我们的模型推断实体之间的多跳关系。

总之,我们的主要贡献如下:

  1. 我们提出了一种新的方法——图聚合推理网络,它采用了双图设计。
  2. 我们引入了一个异构的Mention-level Graph (MG),它带有一个基于图的神经网络,用于对文档中不同提及之间的交互进行建模,并提供文档感知提及表示document-aware mention representations。
  3. 我们引入了实体级图Entity-level Graph (EG),并为实体间的关系推理提出了一种新的路径推理机制

2 Task Formulation

task definition:给定一篇含有N个sentence的documnt:$D= \{s_i\}^N_{i=1}$,$s_i=\{w_j\}^M_{j=1}$,以及P个entity:$\xi=\{e_i\}^P_{i=1}$,$e_i=\{m_j\}^Q_{j=1}$,其中$e_i$表示第$i$个entity,$m_j$表示第$i$个entity的第$j$个mention。我们的目标是提取$\xi$中entity之间的relation。$\{(e_i, r_{ij}, e_j)|e_i, e_j∈ \xi, r_{ij}∈ R\}$,其中$R$是预定义的关系类型集。

本文将实体$e_i$与$e_j$之间的关系$r_{ij}$定义为句间关系,当且仅当$S_{e_i}∩S_{e_j}=∅$,其中$S_{e_i}$表示含有$e_i$提及的句子。$S_{e_i}∩S_{e_j}\ne ∅$时$r_{ij}$定义为句内关系。We also define K-hop relational reasoning as predicting relation $r_{ij}$ based on a K-length chain of existing relations,with $e_i$ and $e_j$ being the head and tail of the reasoning chain, i.e., $e_i → (r_1)e_m →(r_2) . . . e_n  → (r_K)e_j⇒ ei→ (r_{ij})e_j$.

3 Graph Aggregation and Inference Network (GAIN)

 

图2:GAIN的总体架构。首先,上下文编码器使用输入文档来获得每个单词的上下文表示。然后,利用提及节点和文档节点构造提及层次图。应用GCN后,将图转化为实体级图,在实体级图中识别实体间的路径进行推理。最后,分类模块根据上述信息对目标关系进行预测。不同的实体有不同的颜色。提及节点中的数字$i$表示它属于第$i$句。

GAIN模型分为四部分:encoding module、mention-level graph aggregation module、entity-level graph aggregation module、classification module。

encoding module:这一部分主要是将document中的word经过编码,得到contextual representation。给定有n个word的document:$\cal D=\{w_i\}_{i=1}^{n}$,然后将word embedding与type embedding以及coreference embedding进行concat,得到final word embedding,即:

$x_i=[E_w(w_i);E_t(t_i);E_c(c_i)]$

其中,ti与ci是wi对应的named entity type id与entity id,对于那些不属于任何entity的word,我们引入None type。得到final word embedding之后,我们将其输入到一个encoder当中(BISLTM/BERT etc),得到这一层的输出:

$[g_1,...,g_n]=Encoder([x_1,...,x_n])$

mention-level graph aggregation module:这个graph的构建主要是对mention之间的关系进行建模。在mention-level graph当中,node set:mention node与document node。mention node就是表示每一个mention,document node是一个虚拟节点,主要是为了对document information进行建模,同时也是视其为一个中继节点,让不同mention之间的交互变得更加容易。edge set:intra-entity edge、inter-entity edge、document edge。intra-entity edge是让同一个entity的mention彼此连接;inter-entity edge是让一个句子内的不同entity的mention之间进行连接;document edge是让所有的mention与document node进行连接。

构建好graph之后,GAIN模型使用与GCNN中同样的GCN,如下:

$h^{(l+1)}_{u}=\sigma(\sum_{k\in{\cal K}}\sum_{v\in \cal N_k(u)}W^{(l)}_kh^{(l)}_v+b^{(l)}_k)$

where $\cal K$ are different types of edges,$\cal N_k(u)$ denotes neighbors for node u connected in k-th type edge

但是这种虽然很接近WL-test,但是会存在范数不收敛的情况,这个真的不需要考虑一下吗?

标签:node,Based,level,Double,entity,mention,GAIN,document,推理
来源: https://www.cnblogs.com/Harukaze/p/14375142.html