博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html

预训练

预先训练

我们有两个相似的任务 A 和 B，任务 A 已经完成了得到了一个模型 A

任务 B（数据量小）

用到了一个特性：CNN 浅层参数通用

任务 B 就可以使用模型 A 的浅层参数，后面的参数通过任务 B 训练--》1. 冻结（浅层参数不变）2. 微调（变）

任务 B（大数据）可以训练出模型 B（我还可以使用模型 A 的浅层参数，节省训练时间，节省成本）

统计语言模型

语言模型

语言（人说的话）+模型（表示某个东西，完成某个任务）

1. P(“判断这个词的词性”)，P(“判断这个词的磁性”)
2. “判断这个词的______”

统计语言模型

用统计的方法去解决上述两个问题

“判断这个词的词性” = “判断”，“这个”，“词”，“的”，“词性”

这句话是序列（有顺序的）

用了一个条件概率的链式法则（概率论）


通过这个法则，我们可以求出每一个词出现的概率，然后连乘，就是这句话出现的概率

解决第二个问题：

“判断这个词的__”

P(w_next | “判断”，“这个”，“词”，“的”) （1）

词库（词典）V--》新华字典，高处一个集合，把所有词装到集合 V 里

把集合里的每一个词，都进行上一步（1）的计算

词库 V = { “词性”， “火星”}

P(词性| “判断”，“这个”，“词”，“的”)

P(火星| “判断”，“这个”，“词”，“的”)

P(词性| “判断”，“这个”，“词”，“的”，……， “……”)


n 元统计语言模型

P(词性|“这个”，“词”，“的”)

P(火星| “这个”，“词”，“的”)

P(词性|“词”，“的”)

P(火星|“词”，“的”)

P(词性|“的”)

P(火星|“的”)

把 n 个词，取 2 个词（2 元），取 3 个词（3 元）

如何去计算

“词性是动词”
“判断单词的词性”
“磁性很强的磁铁”
“北京的词性是名词”

标签：词性,判断,语言,04,模型,元语言,..,image
来源： https://www.cnblogs.com/nickchen121/p/16470579.html