Bert和一些以Bert为基础的预训练模型的Mask区别
作者:互联网
• BERT: 提出了MLM和NSP两个任务。MLM随机的MASK掉一些token, 然后根据上下文预测这些token。NSP预测句子B是否是句子A的下一句。简单来说就是一个自监督的完形填空机制。后来有人提出WWM, 即当一个词中的某一个字被mask掉,整个词都被mask掉。
• ERNIE: 采用三种masking策略:
Basic-Level Masking: 跟bert一样对单字进行mask,很难学习到高层次的语义信息;
Phrase-Level Masking: 输入仍然是单字级别的,mask连续短语,跟N-gram masking相似。;
Entity-Level Masking: 首先进行实体识别,然后将识别出的实体进行mask。
• XLNET: 为了解决预训练阶段出现[MASK] token,fine-tuning阶段没有[MASK] token这种不一致,作者提出了PLM, 并且将autoencoding改为autoregressive。
• ALBERT: 提出了两种减少模型参数的方式,第一是将Embedding 矩阵|V| * H分解为|V| * E 和 E * H两个小矩阵;第二是每一层transfomer block都共享参数。另外提出用SOP来替代NSP。
• RoBERTa: 在BERT基础上,做了如下的改进:1. 训练更长时间,用更大的batch,更长的输入序列长度,更多的训练数据。2. 去除NSP任务,并且使用dynamic masking。3.动态Masking:每次向模型输入一个序列时,都会生成一种新的Maks方式。即不在预处理的时候进行Mask,而是在向模型提供输入时动态生成Mask
而修改版静态Maksing:在预处理的时候将数据拷贝10份,每一份拷贝都采用不同的Mask,也就说,同样的一句话有10种不同的mask方式,然后每份数据都训练N/10个Epoch
动态Masking:
• ELECTRA: 采用一种Generator和Discriminator的架构,Generator: 一个小的MLM,在[MASK]的位置预测原来的词。Generator将用来把输入文本做部分词的替换。
Discriminator: 判断输入句子中的每个词是否被替换,即使用Replaced Token Detection (RTD)预训练任务,取代了BERT原始的Masked Language Model (MLM)。这种方式判别器只需要判断每个token是否被替换了(二分类),而不需要预测被替换的原token是什么。需要注意的是这里并没有使用Next Sentence Prediction (NSP)任务。
• MacBert: 即将句子中的原词,比如 语言模型,预测,概率 用它的近义词比如 语法建模,预见,几率 来替代。这种方式相对于用[MASK]标记来替代原词,减少了pre-training和fine-tuning不一致。即[MASK]只出现在pre-training阶段,不出现在fine-tuning阶段。
标签:Bert,MASK,Mask,模型,mask,token,Masking,NSP 来源: https://blog.csdn.net/weixin_42455006/article/details/122072525