End-to-end Neural Coreference Resolution

作者：Lee et al. EMNLP 2017.

目录

• 简介
• 模型
• 总结

1 简介

本文主要针对Coreference Resolution(共指消解)任务，提出一个神经网络端到端模型。既然是共指消解，那么每个可能的mention span的表示就是核心部分，而我们的目的就是为每个span分配一个先行词(antecedents，代词指向的对象，就是都指向同一个entity的mention吧)，进而实现共指cluster聚类。

2 模型

大致分为两个步骤：span表示、计算Coreference Resolution得分后softmax预测，如图1、图2。

每个span的先行词\(y_i\)，顾名思义，\(y_i\)可能的span集合为\(\mathcal{Y}(i)=\{\varepsilon,1,...,i-1\}\)。

整体训练目标如下图，假设有N个span，为每个span分一个先行词假设得分最高的是\(y_i\)，每个span得分概率累乘。

得分计算原理如下图，\(span_i,span_j\)共指得分的计算，j为空则为0，否则为i,j均为mention的得分与两者共指的得分之和。

Scoring Architecture

假设span表示为\(g_i\)那么，span是否为mention以及两个span之间的共指得分，就是由FFNN计算得到的，输入为对应span表示以及span表示的哈达玛积的拼接，额外加了些外部特征信息。

Span Representations

文中也说了，span表示就是核心部分。没细看，因为17年时间有点久远了，自从transformer、bert出来后，基于BERT做处理明显更优秀一些。一般BERT对squence分词、编码后，按照数据集中给定span范围的头尾位置的token的embedding拼接作为span表示，也是一个常规操作了，在此基础上可能还有很多变化，比如在span前后加上special markers标识span范围以及span类型，或者再拼个[CLS]等context信息之类的。

3 总结

看这篇主要是为了补一下(Eberts et al., EACL 2021)\(^{[2]}\)这篇主要参考的paper以及简单了解一下Coreference Resolution。

参考

[1] Kenton Lee†, Luheng He†, Mike Lewis‡, and Luke Zettlemoyer†∗.End-to-end Neural Coreference Resolution.EMNLP 2017.

[2] Markus Eberts.Adrian Ulges.An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning. EACL 2021.

标签：得分,span,共指,Neural,mention,Coreference,end,Resolution
来源： https://www.cnblogs.com/n-ooo/p/16216056.html