首页 > TAG信息列表 > BPE
(转)深入理解NLP Subword算法：BPE、WordPiece、ULM
原地址 目录 前言 与传统空格分隔tokenization技术的对比 Byte Pair Encoding WordPiece Unigram Language Model 总结 前言 Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后，各路预训练语言模型如同Tokenizer总结
Introduciton transformer类型的预训练模型层出不穷，其中的tokenizer方法作为一个非常重要的模块也出现了一些方法。本文对tokenizer方法做一些总结。参考来自hunggingface。 tokenizer在中文中叫做分词器，就是将句子分成一个个小的词块(token),生成一个【NLP learning】Tokenizer分词技术概述
【NLP learning】Tokenizer分词技术概述 目录 【NLP learning】Tokenizer分词技术概述 极简方法——空格分词（Space） 预训练模型的分词方法——子词分解/子标记（Subtokens） BPE分词算法 极简方法——空格分词（Space） 通过空格进行分词是最简单的分词方法，但是仅对英文而言，对于中针对一个数据集合，BPE工具自动获得该数据集的token的集合
这里用BERT举例说明预训练模型训练方法。基于Transformer。其基本模型为 12 层模型，还有一个大型模型为 24 层模型。这里说明几个关键地方。 tokenizer，简单地理解为词的切分，比如工具BPE。针对一个数据集合，BPE工具自动获得该数据集的token的集合，取频率最高的前N个token作为moses(mosesdecoder)&BPE数据预处理
mosesdecoder&BPE数据预处理moses数据预处理BPE分词 moses数据预处理 源码链接： https://github.com/moses-smt/mosesdecoder 做机器翻译的小伙伴应该会moses很熟悉，这是一个很强大的数据预处理工具，虽然已经用了很多年了，但现在依然非常流行。 很多人做数据预处理都会用到BPE算