ERNIE3不仅可以提取不同任务中的task-specific语义信息，也可以解决大预训练模型在计算硬件和计算时间受限的问题。因为在fine-tune任务时，它能够只更新task-specific的网络。
也是一个多层的transformer-XL，因为它可以捕捉顶层的语义表征。这个模块设置成一个base model size的大小。这样做的好处有三点：a.基本网络有跟强的捕捉语义信息能力; b.可以减少模型参数; c.更小的的可以获得可以感知的，当只有一个fine-tune任务的时候，小模型会可以感知的实现效果。
这个模块包含NLU表征模块(双向网络) 和 NLG表征模块(无方向网络)

二、预训练的结构

1.基于字的Pretraining

Knowledge masked language modeling从ERNIE1.0开始就引用了知识融合。通过mask盖住短语与命名实体词。这样做可以让模型去学习上下文环境和全文环境的依赖关系信息

Document Language Modeling生成的预训练模型使用传统的模型如GPT GPT2或者序列到序列模型如BART T5 ERNIE-GEN, 后者需要一个可靠的解码结构。此处使用的是传统的方法。除此外，介绍了一种名为ENhanced Recurrence Memory Mechanism 在ERNIE-Doc中，能够比传统recurrence tranformer兼容更长的文本。实现的方法是是改变高层到底层的recurrence变成同层的recurrence.

2.基于结构的Pretraining

sentence reordering延续ERNIE2，目的是为了让模型去学习被打乱句子顺序的关系。一个自然段，被随机切分成1到m个片段，然后随机的打乱这些片段。然后模型要求去识别这些所有的组合，可以看作是一个k分类的问题 $k=\sum_{n=1}^{m} n !$

sentence distance 修改传统长度NSP为一个三分类：

两个句子是否相邻; 不相邻句子是否在同一个文章; 句子是否在不同文章

3.基于知识的Pretraining

Universal Knowledge-text prediction(UKTP) 这个是知识词mask的延伸。这里除了那些无结构化的知识词外，还需要知识图Graph.

三、预训练的流程

1.Pipeline

一对输入

知识图的三元组
与之对应的百科里面的句子

Mask：随机的盖住三元组的关系与句子中的字。

这样做的目的，是为了预测三元组的关系，模型需要识别出来三元组中实体的头和尾，然后再确定他们的在对应句子中的语义关系。处理的本质和distant supervision 算法在关系抽取任务中类似。distant supervision中，如果两个实体存在一种关系，任何包含这两个实体的句子都很大概率有这种关系。与此同时，在与之相对应的句子中预测字词，模型不仅需要考虑句子中的依存关系，也要考虑三元组的逻辑关系。

2.实例

一个从百科给出的句子，

1. 首先去寻找知识图中的候选三元组，这些三元组中实体的头或者尾是文章的标题。

2.然后从候选三元组中选出一些，方法是选择那些实体头和尾都出现在文中同一个句子。

3.综述

ERNIE3.0训练NLU网络是通过知识掩盖的方法，去提升模型在学习词汇信息; sentence reordering

和sentence distance是为了学习语法信息；最后UKTP是提升模型的记忆能力和推理能力。另外ERNIE3.0 是通过文本语言模型来训练NLG网络

四、总结

1.数据处理

训练数据：很多

数据的处理数据做的处理：

1）去重

字级别的去重（删除一些标点）
段落级别的去重（用一个单独的段落替换掉两个连续的完全一样的段落）
文本级别的去重（Message Digest5 MD5去重文本，是通过比较最长三个句子的MD5和是否相同）

2）字数少于10个的句子去掉

3）分词用百度自己的工具，去获得命名实体等，从而mask

2.模型参数

通用表征模型和具体任务表征模型都是使用Transformer-XL作为backbone
通用表征模型的结构为48层，4096个hidden units和64个头
具体任务表征模型结构为12层，758个hidden units和12个头
两种模型总共的参数有10billion
激活函数使用GeLU
最大的句子序列长度为6144
Adam优化器，学习率是1e-4

总共375billion tokens, 使用了384块 v100显卡

标签：Pretraining,表征,训练,模型,三元组,随笔,ERNIE3,句子
来源： https://blog.csdn.net/weixin_49379140/article/details/118759333