面试题:预训练方法 BERT和OpenAI GPT有什么区别?
作者:互联网
解析:
1.GPT在BooksCorpus(800M单词)训练;BERT在BooksCorpus(800M单词)和维基百科(2,500M单词)训练
2.GPT使用一种句子分隔符([SEP])和分类符词块([CLS]),它们仅在微调时引入;BERT在预训练期间学习[SEP],[CLS]和句子A/B嵌入
3.GPT用一个批量32,000单词训练1M步;BERT用一个批量128,000单词训练1M步
4.GPT对所有微调实验使用的5e-5相同学习率;BERT选择特定于任务的微调学习率,在开发集表现最佳
标签:BERT,面试题,训练,单词,BooksCorpus,OpenAI,GPT,1M 来源: https://blog.51cto.com/15057851/2673002