首页 > 其他分享> > Feedforward Neural Network Language Model(NNLM)原理及数学推导

Feedforward Neural Network Language Model(NNLM)原理及数学推导

2021-01-03 20:01:06 作者：互联网

本文来自CSDN博客，转载请注明出处：http://blog.csdn.net/a635661820/article/details/44130285

参考资料：词向量部分: http://licstar.net/archives/328#s21 ngram部分: http://www.zhihu.com/question/21661274 论文参考: A Neural Probabilistic Language Model 本文的学习介绍来自一篇Bengio(2003)的论文(点此在线阅读论文PDF), 这篇论文是用神经网络训练语言模型的经典之作，后面我想继续学习RNN，LSTM等，这一篇论文绝对是入门的不错选择。下面是自己对文章的一些理解，毕竟自己刚接触NLP方面的东西，必然有一些不对的地方，还请多多指正。前面一篇MIT的学习笔记介绍了统计语言模型，但传统的统计语言模型有一些缺点：

由于维度灾难(特别是离散变量)，在高维下，数据的稀缺性，导致统计语言模型存在很多为零的条件概率，传统的统计语言模型也花费了很大的精力来处理零概率问题，比如现在有很多的平滑、插值、回退等方法用来解决该问题。
语言模型的参数个数随阶数呈指数增长，所以一般情况统计语言模型使用的阶数不会很高，这样n-gram语言模型无法建模更远的关系。
n-gram无法建模出多个相似词的关系。比如在训练集中有这样的句子，The cat is walking in the bedroom，但用n-gram测试时，遇到 A dog was running in a room这个句子，并不会因为两个句子非常相似而让该句子的概率变高。

这篇文章使训练得到的模型比n-gram能够建模更远的关系，并且考虑到了词的相似性，一些相似词获得了自然的平滑。前者是因为神经网络的结构可以使得，后者是因为使用了词向量。

词向量

下面先介绍本文中的词向量(distributed representation for words)，本文中单词的特征向量是把单词映射为一个具有一定维度实数向量(比如50,100维，这里记为m)，每一个词都和一个特征向量相关联，词向量初始化可以为随机的数，文中介绍也可以使用一些先验知识来初始化词向量，随着训练的结束，词向量便获得了。词向量的引入把n-gram的离散空间转换为连续空间，并且两个相似的词之间它们的词向量也相似，所以当训练完毕时，一个句子和其所有相似的句子都获得了概率。而把词映射到词向量是作为整个网络的第一层的，这个在后面会看到。

神经模型

神经网络的模型如图：

先从整体来看一下模型，其中概率函数表示如下：

在这个模型中，它可以分解为两部分： 1. 一个 |V|×m映射矩阵C，每一行表示某个单词的特征向量，是m维，共|V|列，即|V|个单词都有对应的特征向量在C中 2. 将条件概率函数表示如下：

即该函数是来估计

，其中i有|V|种取值。如果把该网络的参数记作ω，那么整个模型的参数为 θ = (C,ω)。我们要做的就是在训练集上使下面的似然函数最大化：

下面看一下网络里面的每一层，输出层是用softmax做归一化，这个能够保证概率和为1，如下：

其中yi是未规范化的概率，yi即是输出层的输入，它的计算如下：

其中Wx表示输入层与输出层有直接联系，如果不要这个链接，直接设置W为0即可，b是输出层的偏置向量，d是隐层的偏置向量，里面的x即是单词到特征向量的映射，计算如下：

记录隐层的神经元个数为h，那么整个模型的参数可以细化为θ = (b, d, W, U, H, C)。下面计算一下整个模型的参数个数：输出层偏置向量：|V| 隐层偏置向量：h 隐层到输出层之间的权重矩阵：|V|*h 输入层到输出层的权重矩阵：|V|*(n-1)*m 输入层到隐层的权重矩阵：h*(n-1)*m 特征矩阵C：|V|*m 所有的参数和计算如下：