Distant supervision relation extraction with intra-bag and inter-bag attentions

• 来源：Ye et al.,NAACL 2019

• 任务：DSRE

• 动机：之前DSRE大多关注intra-bag即sentence-level的降噪处理，但inter-bag即bag-level之间亦可能由噪声，比如整个bag内的所有句子都标注错误了那么bag也就错了，那么在一组bag中这个标错的bag就是噪声了。

• 方法：主要两个部分，分别为sentence-level的attention、bag-level的attention降噪，如图1结构非常清晰。

• 前半部分包括句子编码以及句子级别的attention都类似(Lin et al., 2016 之后都用PCNN_ATT代指)的处理，唯一不同点在于attention的设计，PCNN_ATT中只是针对当前bag标注的关系来计算权重，本文希望考虑所有可能的关系，最终得到的bag表示为\(B\in \mathbb{R}^{h\times 3d_c}\)，h为关系类别数即每行代表一个与关系k相关的bag表示，共有h个bag表示，但之前看到个PCNN_ATT的复现，代码具体实现也是采用本文说的针对所有关系的attention。

• inter-bag attention. 将类别相同的bag构成一组，我们就是要对组内bag表示做attention后得到group表示\(G\in \mathbb{R}^{h\times 3d_c}\)，第k行即为针对关系k的group表示，具体attention权重计算详见原文根据点乘相似度计算权重得分。之后对group表示预测其类型，每个类型得分根据对应类型和group表示向量内积，如公式8。

  

  

  

• 实验：数据集为NYT。没细看常规操作吧。

标签：group,level,attention,extraction,supervision,bag,ATT,inter
来源： https://www.cnblogs.com/n-ooo/p/16367731.html