首页 > 其他分享> > 【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

2021-12-23 20:59:43 作者：互联网

文章目录

3_BERT的奇闻轶事

Why does BERT work？

在这里插入图片描述

在这里插入图片描述

To Learn More

在这里插入图片描述

Multi-lingual BERT（多语言BERT）

在这里插入图片描述

BERT有跨语言的功能？前提是资料量要够多才能train起来…，过了两天loss掉下去了

在这里插入图片描述

BERT还有很多不被理解的，说明可以探究的空间很大

在这里插入图片描述

4_GPT的野望

在这里插入图片描述

在这里插入图片描述

20分钟就可以微调作业7了，但GPT实在太过巨大了，train一个epoch可能都有困难

How to use GPT？

在这里插入图片描述

Self-supervise Learning还有更多的领域应用，不止在翻译，还有CV

在这里插入图片描述

你也可以做语音版的GPT

在这里插入图片描述

语音版的基准集，10个不同的任务

在这里插入图片描述

Self-supervise Learning在语音上，在图像上还有非常大的空间可以应用，加油！

标签：BERT,李宏毅,Self,supervise,学习,Learning,语音版,GPT
来源： https://blog.csdn.net/weixin_43154149/article/details/122115624