其他分享
首页 > 其他分享> > 笔记:End-to-end Neural Coreference Resolution

笔记:End-to-end Neural Coreference Resolution

作者:互联网

End-to-end Neural Coreference Resolution

作者:Lee et al. EMNLP 2017.

目录

1 简介

本文主要针对Coreference Resolution(共指消解)任务,提出一个神经网络端到端模型。既然是共指消解,那么每个可能的mention span的表示就是核心部分,而我们的目的就是为每个span分配一个先行词(antecedents,代词指向的对象,就是都指向同一个entity的mention吧),进而实现共指cluster聚类。

2 模型

大致分为两个步骤:span表示、计算Coreference Resolution得分后softmax预测,如图1、图2。

每个span的先行词\(y_i\),顾名思义,\(y_i\)可能的span集合为\(\mathcal{Y}(i)=\{\varepsilon,1,...,i-1\}\)。

整体训练目标如下图,假设有N个span,为每个span分一个先行词假设得分最高的是\(y_i\),每个span得分概率累乘。

得分计算原理如下图,\(span_i,span_j\)共指得分的计算,j为空则为0,否则为i,j均为mention的得分与两者共指的得分之和。

Scoring Architecture

假设span表示为\(g_i\)那么,span是否为mention以及两个span之间的共指得分,就是由FFNN计算得到的,输入为对应span表示以及span表示的哈达玛积的拼接,额外加了些外部特征信息。

Span Representations

文中也说了,span表示就是核心部分。没细看,因为17年时间有点久远了,自从transformer、bert出来后,基于BERT做处理明显更优秀一些。一般BERT对squence分词、编码后,按照数据集中给定span范围的头尾位置的token的embedding拼接作为span表示,也是一个常规操作了,在此基础上可能还有很多变化,比如在span前后加上special markers标识span范围以及span类型,或者再拼个[CLS]等context信息之类的。

3 总结

看这篇主要是为了补一下(Eberts et al., EACL 2021)\(^{[2]}\)这篇主要参考的paper以及简单了解一下Coreference Resolution。

参考

[1] Kenton Lee†, Luheng He†, Mike Lewis‡, and Luke Zettlemoyer†∗.End-to-end Neural Coreference Resolution.EMNLP 2017.

[2] Markus Eberts.Adrian Ulges.An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning. EACL 2021.

标签:得分,span,共指,Neural,mention,Coreference,end,Resolution
来源: https://www.cnblogs.com/n-ooo/p/16216056.html