其他分享
首页 > 其他分享> > 论文解读丨Zero-Shot场景下的信息结构化提取

论文解读丨Zero-Shot场景下的信息结构化提取

作者:互联网

摘要:在信息结构化提取领域,前人一般需要基于人工标注的模板来完成信息结构化提取。论文提出一种zero-shot的基于图卷积网络的解决方案,可以解决训练集和测试集来自不同垂直领域的问题。

本文分享自华为云社区《论文解读系列十六:Zero-Shot场景下的信息结构化提取》,作者:一笑倾城。

摘要

在信息结构化提取领域,前人一般需要基于人工标注的模板来完成信息结构化提取。论文提出一种zero-shot的基于图卷积网络的解决方案,可以解决训练集和测试集来自不同垂直领域的问题。

Figure 1. 训练和推理数据来源的垂直领域不一样。

问题定义

Figure 2. OpenIE和ClosedIE的直观理解。

Relatin Extraction

Zero-Shot Extraction

Zero-Shot按难度分可以区分如下:

论文提出的解决方案其实是发掘出图网络中全部的key-value对,由于发掘key-value这个任务本身是版式不依赖的,从而起到了跨领域的版式结构解析。

概念

编码器(特征构建)

节点信息的构建由图GG来完成,包括一系列的节点NN(实体),和节点之间的边E(Edges)。

基于设计的规则来构建实体之间的关系

以下情况下,会构建节点之间的边(key-value对经常是上下关系或左右关系):

使用图网络来实体之间的关系进进建模

基于Graph Attention Network (GAT)来对节点关系进行建模,节点初始(输入)特征:

预训练机制

论文设计了辅助的损失函数L_{pre}Lpre​进行三类分类的监督:{key, value, other}。同时为了防止训练过程过拟合,预训练完成后,OpenIE任务中的图网络权重不会更新。

关系预测网络

OpenIE

判断一对节点是否满足第一个节点字符串内容是第二个节点字符串内容的key:

ClosedIE

交叉熵多类分类

实验

 

点击关注,第一时间了解华为云新鲜技术~

标签:结构化,Shot,训练,value,Extraction,Zero,key,节点
来源: https://www.cnblogs.com/huaweiyun/p/15064920.html