ALBERT+BiLSTM+CRF实现序列标注
作者:互联网
一、模型框架图
二、分层介绍
1)ALBERT层
albert是以单个汉字作为输入的(本次配置最大为128个,短句做padding),两边分别加上开始标识CLS和结束标识SEP,输出的是每个输入word的embedding。在该框架中其实主要就是利用了预训练模型albert的词嵌入功能,在此基础上fine-tuning其后面的连接参数,也就是albert内部的训练参数不参与训练。
2)BiLSTM层
该层的输入是albert的embedding输出,其输出是[batch_szie,num_steps, num_tags]。batch_size为模型当中batch的大小,num_steps为输入句子的长度,本次配置为最大128,num_tags为序列标注的个数,如图中的序列标注一共是5个,也就是会输出每个词在5个tag上的分数,由于没有做softmax归一化,所以不能称之为概率值。
标签:输出,BiLSTM,ALBERT,albert,batch,num,CRF,输入,标注 来源: https://www.cnblogs.com/gczr/p/12045358.html