编程语言
首页 > 编程语言> > 课程九学习笔记: 自监督ViT算法:BeiT和MAE

课程九学习笔记: 自监督ViT算法:BeiT和MAE

作者:互联网

课程九学习笔记: 自监督ViT算法:BeiT和MAE


自监督+ Transformer

1. SSL在NLP中的应用:

  1. Self-Supervised Learning (SSL):通过自己“监督”自己的方式学习通用特征表达,用来作为下游任务的预训练或者backbone。(自监督学习SSL:假装看不到输入的某一部分 ,然后学习怎么去预测它!)
  2. Bidirectional Encoder Representations from Transformers :(BERT)
    (1)Transformer的Encoder
    (2)Self-Supervised Learning ( SSL )

标签:学习,Transformer,BeiT,SSL,监督,MAE,ViT
来源: https://blog.csdn.net/qq_37486501/article/details/121763882