其他分享
首页 > 其他分享> > 为什么BERT是无监督模型?

为什么BERT是无监督模型?

作者:互联网

确切来说BERT这种预训练模型属于自监督学习,将一句话屏蔽掉一分部分token,输入到模型中。然后让模型预测整句话,让模型学习数据集的上下文关系。
数据没有通过人工标记label,勉强可看成无监督式学习吧。

MLM可看作 加噪自编码

标签:BERT,模型,label,学习,监督,屏蔽掉
来源: https://www.cnblogs.com/ArdenWang/p/15724093.html