• 前言

前言

相信做中文NLP的朋友们，对哈工大和科大讯飞发布的一系列中文预训练模型(https://github.com/ymcui/）
并不陌生。它们在各个预训练原论文的基础上，基于中文语料，发布了诸如BERT、RoBERTa、ELECTRA、XLNet等模型，极大推动了中文NLP的发展。

不同的预训练模型用了不同的tricks，但由于论文的发表是以英文为主的，这些tricks移植到中文，是否还是有效的？于是，他们在2020年也发表了一个新的预训练模型，叫MacBERT，只针对中文，在各种中文评测任务都取得SOTA的效果。

下图很好地概述了各种预训练模型的区别。

标签：NLP,中文,MacBERT,训练,模型,tricks
来源： https://www.cnblogs.com/zjuhaohaoxuexi/p/16412165.html