论文笔记 EMNLP 2020|Event Extraction by Answering (Almost) Natural Questions

文章目录

• • 1 简介
  • • 1.1 动机
    • 1.2 创新
  • 2 方法
  • 3 实验

1 简介

论文题目：Event Extraction by Answering (Almost) Natural Questions
论文来源：EMNLP 2020
论文链接：https://arxiv.org/pdf/2004.13625.pdf
代码链接：https://github.com/xinyadu/eeqa

1.1 动机

• 目前的事件抽取方法严重依赖实体信息来抽取论元，同时没有考虑不同论元角色之间的语义相似性。

1.2 创新

• 提出了一个基于问答的框架用于事件抽取，使用基于注释方案的提问策略(同时加入触发词信息)，提高了在ACE事件抽取任务的表现。

2 方法

模型的整体框架如上图，主要分为下面几个部分：

1. 提问策略：将问答模型的输入格式定义为[CLS] question [SEP] sentence [SEP]，其中[CLS]为分类token，[SEP]是分隔符。
   对于触发词检测，使用固定字面意思的短语作为问题(trigger、action、verb)，格式为[CLS] verb [SEP] sentence [SEP]。
   对于论元抽取定义3种问题模板：
   1)使用论元名称
   2)基于论元提问，格式为[wh_word] is the [argument]?
   3)基于注释方案的提问，利用ACE数据集中对每个论元角色的解释。
   为了编码触发词信息，在问题中加入in [trigger]，格式为[wh_word] is the [argument] in [trigger]?(trigger为触发词检测阶段得到的具体触发词)。
   
2. 问答模型：分别使用 B E R T T r BERT_{Tr} BERTTr​和 B E R T A r g BERT_{Arg} BERTArg​对触发词检测和论元抽取的输入训练进行编码，触发词检测通过参数 W t r W_{tr} Wtr​进行分类(事件类型)。论元抽取通过参数 W s W_s Ws​和 W e W_e We​分类每一个token是否为论元span的开始和结尾，损失函数包括两个部分(对于没有论元span的实例,最小化第一个token([CLS])的概率)。公式如下，第一行为触发词检测：

3. 论元span的动态阈值推理：首先通过算法1得到所有的有效候选论元span，约束如开始和结束位置合理、长度合理、概率大于第一个token，最后计算相对无回答分数na_score。然后通过算法2在验证集上得到动态的阈值，然后在测试集上选择大于阈值的论元。
   
   

3 实验

在ACE数据集上的实验效果：

在未看到的论元角色条件下(one-shot)的实验效果：

触发词检测中不同问题策略的影响：

论元抽取中不同问题策略的影响：

错误分析：

标签：触发,抽取,Natural,SEP,Almost,Answering,论元,token,span
来源： https://blog.csdn.net/o11oo11o/article/details/121895782