【NLP learning】Tokenizer分词技术概述

【NLP learning】Tokenizer分词技术概述

目录

• 【NLP learning】Tokenizer分词技术概述
• 极简方法——空格分词（Space）
• 预训练模型的分词方法——子词分解/子标记（Subtokens）
• BPE分词算法

---

极简方法——空格分词（Space）

通过空格进行分词是最简单的分词方法，但是仅对英文而言，对于中文则可以使用逐字拆分进行分词

实现代码如下：

s = "very long corpus..."
words = s.split(" ")  # Split over space
vocabulary = dict(enumerate(set(words)))  # Map storing the word to it's corresponding id

优劣之处：如果词汇量少，这种方法可能效果不错，因为词典将存储给定语料中的每个单词（或特殊标记）。但是，像“cat”和“cats”这样的单词变体不会共享id（即标识符），即使它们的语义非常接近。

预训练模型的分词方法——子词分解/子标记（Subtokens）

为了避免上述分词问题，如今的预训练语言模型的字典都采用了下图的子词方法进行分词和id化，子词/子标记扩展了上面的分词策略，进一步将一个单词分解为从数据中学习到的语言逻辑的子成分。

举例而言，如“cat”和“cats”这两个单词，cats的分词结果为 [cat,##s]。其中前缀**“##”**表示初始输入的子标记。这种分词方法可以在英语语料库中提取子标记，如“##ing”、“##ed”等。

优劣之处：这种利用“片段”组成的子标记分词方法总体上减少了词汇表的大小，并可以做到一定程度的词汇相似度，如“cat”和“cats”将有一定的联系。但不足的是，由于一个token将可能被分解为多个子token，模型的输入序列长度将会增加，产生输入序列长度的非线性复杂度的问题。

在所有的分词算法中，HuggingFace团队强调了基于Transformer的SOTA模型中所使用的分词算法：

• Byte Pair Encoding (BPE) - Neural Machine Translation of Rare Words with Subword Units (Sennrich et al., 2015)

• Word Piece - Japanese and Korean voice search (Schuster, M., and Nakajima, K., 2015)

• Unigram Language Model - Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates (Kudo, T., 2018)

• Sentence Piece - A simple and language independent subword tokenizer and detokenizer for Neural Text Processing (Taku Kudo and John Richardson, 2018)

基于给定语料的BPE实现代码如下：
命令行：pip install tokenizers

from tokenizers import Tokenizer
from tokenizers.decoders import ByteLevel as ByteLevelDecoder
from tokenizers.models import BPE
from tokenizers.normalizers import Lowercase, NFKC, Sequence
from tokenizers.pre_tokenizers import ByteLevel
from tokenizers.trainers import BpeTrainer

'''BPE'''
tokenizer = Tokenizer(BPE())
tokenizer.normalizer = Sequence([
    NFKC(),
    Lowercase()
])
tokenizer.pre_tokenizer = ByteLevel()
tokenizer.decoder = ByteLevelDecoder()

trainer = BpeTrainer(vocab_size=25000, show_progress=True, initial_alphabet=ByteLevel.alphabet())
tokenizer.train(trainer, ["big.txt"])
print("Trained vocab size: {}".format(tokenizer.get_vocab_size()))

tokenizer.model.save('.')

tokenizer.model = BPE('vocab.json', 'merges.txt')
encoding = tokenizer.encode("This is a simple input to be tokenized")

print("Encoded string: {}".format(encoding.tokens))

decoded = tokenizer.decode(encoding.ids)
print("Decoded string: {}".format(decoded))

实验效果如下

补充：即使基于中文的预训练模型，大部分我们看到的分词结果都是逐字进行分词，但对于中文也是有子标记的，如下图的bert_base_chinese的词汇表中的一部分中文子标记。

最后再来让我们学习一下SOTA的分词方法：BPE分词算法

BPE分词算法

BPE，（byte pair encoder）字节对编码，主要目的是为了数据压缩

简单例子解释：

训练过程：
注：整个训练过程以两个字符（或两个字符组）为拆分或组合的基本单位
  首先，根据语料进行以字符为单位的拆分，然后按照字符对进行组合，并对所有组合的结果根据出现的频率进行排序，形成一份codec文件，排在第一位的是出现频率最高的子词，如下图的"e </w>"，其中表示这个e是作为单词结尾的字符

  之后，以where单词为例，具体过程如下图所示，按照两个字符进行拆分，然后查找上述的codec文件，逐对合并，优先合并出现频率靠前的字符对，如下图的85 319 9 15 1表示在该字符对在codec文件中的频率排名。

图片来源及参考：

01-training-tokenizers.ipynb

Byte pair encoding

一分钟搞懂的算法之BPE算法

bpe分词算法的原理以及在机器翻译中的应用

标签：NLP,BPE,Tokenizer,tokenizer,标记,tokenizers,learning,import,分词
来源： https://blog.51cto.com/u_15273918/2917737