首页 > TAG信息列表 > MacBERT

Bert不完全手册6. Bert在中文领域的尝试 Bert-WWM & MacBert & ChineseBert

一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM，MacBert，ChineseBert主要从3个方向在预训练中补充中文文本的信息：词粒度信息，中文笔画信息，拼音信息。与其说是推荐帖，可能更多需要客观看待以下'中文'改良的在实际应用中的效果~ Bert-WWM Take Away: Whole Word Mas

MacBERT

目录前言 前言 相信做中文NLP的朋友们，对哈工大和科大讯飞发布的一系列中文预训练模型(https://github.com/ymcui/） 并不陌生。它们在各个预训练原论文的基础上，基于中文语料，发布了诸如BERT、RoBERTa、ELECTRA、XLNet等模型，极大推动了中文NLP的发展。 不同的预训练模型用了不同的tric