预训练模型系列

1.Roberta

2.XLM

3.XLNet

4.Electra

https://mp.weixin.qq.com/s/um9jnDLGt5JejmVyeOSukw

5 Albert

https://mp.weixin.qq.com/s/um9jnDLGt5JejmVyeOSukw

6 调参技巧

6.1 How to Fine-Tune BERT for Text Classification 论文笔记
论文地址：How to Fine-Tune BERT for Text Classification？
实验主要在8个被广泛研究的数据集上进行，在BERT-base模型上做了验证。
文章的主要结论如下：

1. 微调（fin-tune）策略 对于长文本，尝试了（1）取头部510 tokens，（2）尾部510 tokens，（3）头部128 tokens+尾部382
   tokens，（4）分片并进行最大池化、平均池化、attention，发现方法（3）最好。因为文章的关键信息一般在开头和结尾。
   分层训练，上层对文本分类更加重要。 灾难性遗忘：在下游finetune可能会遗忘预训练的知识。需要设置较小的学习率，如2e-5.
   分层衰减学习率（Layer-wise Decreasing Layer
   Rate），对下层设置更小的学习率可以得到更高的准确率，在lr=2e-5，衰减率ξ \xiξ=0.95
   2. 继续预训练（Further Pretraining） 任务内（within-task） 和同领域（in-domain）的继续预训练可以大大提高准确率。 In-domain比within-task要好。
   3. 多任务微调（Multi-task Finetuning） 在单任务微调之前的多任务微调有帮助，但是提升效果小于Further pretraining。
   4. 小数据集 BERT对小数据集提升很大，这个大家都知道的。Further pretraining对小数据集也有帮助

标签：BERT,task,系列,训练,模型,微调,tokens,Further
来源： https://blog.csdn.net/weixin_36378508/article/details/109474560