Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction

作者：Verga et al., NAACL 2018.

目录

• 简介
• 模型
• 总结

1 简介

主要针对文档级别实体关系抽取，基于Transformer编码。由于针对整个文档中所有的mentions，那么需要跨语句处理，利用muti-instance learning聚合所有的mentions表示，得到span表示，预测关系类型，同时muti-instance learning对于噪声也有一定的抑制作用。

2 模型

关系抽取整体结构如图1所示。

• transformer编码sequence

• 对每个编码后的token输出做两次线性变化，即Head MLP和Tail MLP分别表示每个token作为某个关系实体对的头尾token

• 再基于\(e_i^{head},e_i^{tail}\)做一个bi-affine操作(仿射变换？)即计算一个维度为\(N \times L \times N\)的张量A，表示每个可能的三元组\((h,r,t)\)的得分，N即为sequence中token的个数，L为关系类别数如下公式，即\((N \times d)\times (d \times L \times d)\times (d \times N)=(N \times L \times N)\)此时，相当于一个二维表格，行列为token，每个cell为维度为L的关系得分向量。

• 做关系分类，上一步是两两token表格嘛如图1那个表格，我们一般共指消解后每个实体cluster包含多个entity mentions，本文每个mention包含多个tokens。因此，针对当前实体对中实体的每个mention，对所有token表示聚合得到mention表示以及两两mention的关于L个关系的得分(个人理解看的没那么细)，那么之后，再对两个实体的mention遍历对两两一对的mention的得分做exp、sum、log操作(至此就是所谓的multi-instance learning 对多个mention聚合？), 得到实体对关于所有关系的得分如下图，其中\(p^{head},p^{tail}\)分别表示head实体和tail实体mention索引的集合。

• 做NER，就利用transformer编码后每个token的表示作为输入，喂给全连接分类器，给每个token打标签，因为使用的是BIO标注NER，所以就是给每个token打标签如B-..., I-...之类的，不过这种方法现在看来有些不够了做联合抽取的话，单纯做NER还可以。

3 总结

看这篇主要是为了补一下(Eberts et al., EACL 2021)\(^{[2]}\)这篇主要参考的paper以及简单了解一下muti-instance learning在doc-level RE的应用。

参考

[1] Patrick Verga, Emma Strubell, Andrew McCallum.Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction.NAACL 2018.

[2] Markus Eberts.Adrian Ulges.An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning. EACL 2021.

标签：instance,Full,Simultaneously,每个,mention,实体,times,Extraction,token
来源： https://www.cnblogs.com/n-ooo/p/16216227.html