其他分享
首页 > 其他分享> > 词向量

词向量

作者:互联网

词向量

为了数字化的表示词汇表里的一个词,我们很自然的就能想到独热编码的方式。然而这样做不仅会导致维度过大,而且会造成不同词的词向量之间的关系无法通过向量表示出来。所以需要用一种维度更低的向量来表示词语:词向量。词向量是一个维度远远小于词汇表大小的向量,向量里的每个元素都是浮点数。

skip-gram

按照下图所示优化模型(训练权重矩阵W和各权重矩阵W‘ ),则得到的矩阵W的第i行,就是第i个单词的词向量。W的列数(N)就是词向量的维数。

这个方法的核心思想是通过一个单词预测它的上下文单词。

CBOW

按照下图的方式优化模型(计算时要考虑中心词取词表中的不同词的情况,也要考虑中心词在训练数据中的所有出现情况)。

训练得到两个权重矩阵:W,W'。W的第i行就是第i个词汇的词向量,W的列数(N)就是词向量的维数。

核心思想是根据一个单词的上下文来推测它本身的含义。

总之,寻找词向量就是要寻找这样一个矩阵:独热向量乘这个矩阵得到词向量。

标签:中心词,词汇表,矩阵,单词,维度,向量
来源: https://www.cnblogs.com/biganabc/p/15120190.html