源码地址：https://github.com/ZhixiuYe/NER-pytorch

本篇正式进入源码的阅读，按照流程顺序，一一解剖。

一、流程图

二、详细步骤

1、数据预处理

1）将数据集从文件中加载出来，如果句子中出现了数字，会将其置零（可选），删除无用句。 

2）转换标注模式，将iob1(数据集原有标注模式)转换为iob2，如果选用的是IOBES则将iob2转换成iobes，选用的是IOB，则将iob2返回。iob1和iob2都是表示里面只有I、O、B，不同的是iob1中的B是为了隔断同类实体不同实体名的，而iob2中的B是为了作为实体名的开头的。iobes中包含I(实体名内部)、O(非实体)、B(实体的开头)、E(实体的结尾)、S(单字实体名)。

下例将说明iob1、iob2、iobes的形式：

3）创建word、char、tag、cap字典（根据训练集）。

word字典：统计单词词频，筛选出词频大于3的单词，按照词频逆序、单词顺序对单词由0开始编号并加入字典中。除此，加入'<PAD>'、'<UNK>'这两个单词，分别表示pad和未知词汇，赋予最大的两个编号。

char字典：统计字母频数，按照词频逆序、字母顺序对字母由0开始编号并加入字典中，除此，加入'<PAD>'并赋予最大的编号。

tag字典：统计标签频数，按照标签频数逆序、标签顺序对标签由0开始编号并加入字典中，除此，加入'<START>'和'<STOP>'并分别赋予-1和-2编号

cap字典：无法创建字典，映射关系为全小写：0，全大写：1，首字母大写：2，其他：3。

4）根据3创建的字典和映射关系，分别对训练集、验证集、测试集的word、char、cap、tag等特征做数值化。得出的数据集中每一句由{'str_words': str_words,'words': words,'chars': chars,'caps': caps,'tags': tags,}字典组成，句中每个单词对应一个这样的字典。

2、进入训练

从上面的数据预处理中，假如我们得到这么一个句子数据：

{'str_words': ['Amy','goes','to','Beijing','to','visit','Peking','University'],

'words': [0,1,2,3,2,4,5,6], 

'chars': [[0, 1, 2], [3, 4, 5, 6], [7, 4], [8, 5, 9, 10, 9, 11, 3], [7, 4], [12, 9, 6, 9, 7], [13, 5, 14, 9, 11, 3], [15, 11, 9, 12, 5, 16, 6, 9, 7, 2]],

'caps': [2,0,0,2,0,0,2,2], 

'tags': [0,1,1,2,1,1,3,3], }

注:该示例的words、chars、tags并未按照1所说的根据词频进行的编码，只是按照出现的先后顺序进行的编码。

1）char Embedding

① 对'chars'根据word长度进行排序，得到排序后的列表，与原列表对比生成索引映射关系。

② 对排序后的列表进行mask处理，即对word进行尾部填充0知道达到最长word长度。本例中，即是生成：[[15, 11, 9, 12, 5, 16, 6, 9, 7, 2],[8, 5, 9, 10, 9, 11, 3, 0, 0, 0],......]，为8×10的矩阵。

③ 将生成的char新矩阵输入Embedding层，设置的size为25，在本例中将得到8×10×25的矩阵，并进行转置，成为10×8×25的矩阵。

④ 对得到的矩阵进行pack操作（去除pad），成为39×25的PackedSequence，batchsize为(10,7,6,5,4,3,2,2)。

⑤ 将PackedSequence输入到双向LSTM中，然后把输出的output的pack操作还原回去，再进行转置操作。

⑥ 提取出output中最后一个字母的out和第一个字母的out进行拼接，并且将排序的结果还原。

注：如果在进行pack操作时，选择batch_first=True，则不用进行转置操作；进行长度排序是pack操作必经的过程；双向lstm的结果的第三维长度为2*size，拼接时选择第一个字母的后size长度(t→1)和最后一个字母的前size长度(1→t)。

2）word Embedding

输入embedding层

3）cap Embedding

输入embedding层

4）拼接所有的Embedding并输入LSTM中

① 拼接char、word、cap Embedding

② 对最终的Embedding增加第二维(unsqueeze)

③ 输入到dropout层

④ 输入到双向LSTM层

⑤ 减去第二维

⑥ 输入到dropout层

⑦ 输入到一个线性层

5）无crf的话，使用交叉熵作为loss函数。

 

 

 

 

 

标签：10,word,Embedding,BiLSTM,iob2,源码,CRF,words,字典
来源： https://www.cnblogs.com/zhuangzi101/p/12753620.html