自然语言处理笔记02 -- Bert模型解读和实战

位置嵌入的含义

位置嵌入不仅仅是反应了时间序列信息，而且从直观上来看，将位置嵌入和其转置做点积，其结果如下。

即距离较近的字之间的相关性要大于距离较远字。所以其建立了时间维度上 的关联性。

语言模型的定义和BERT如何预训练语言模型

1. 语言模型定义：什么是语言模型, 其实用一个公式就可以表示

   标签：02,Bert,嵌入,语言,训练,--,模型,token,遮盖
   来源： https://blog.csdn.net/WANFANQ/article/details/117604195