其他分享
首页 > 其他分享> > 关于word2vec负采样的简单理解

关于word2vec负采样的简单理解

作者:互联网

每次训练时,将需要预测的目标词分成两类。一类是目标词,一类是非目标词。

此时多分类的softmax函数变成了二分类的sigmoid函数,这样前向传播的时候不需要计算softmax的开销,而且反向传播由更新所有词的参数变成了更新目标词的参数。

 

标签:采样,word2vec,函数,分类,更新,目标,理解,参数,softmax
来源: https://www.cnblogs.com/ygxdbmx/p/15919625.html