其他分享
首页 > 其他分享> > 推荐系统--n--模型DeepCrossing和PNN

推荐系统--n--模型DeepCrossing和PNN

作者:互联网

微软2016年提出的DeepCrossing 是经典的Embedding+MLP结构。

Embedding + MLP 模型结构

微软把DeepCrossing用于广告推荐这个业务场景上。DeepCrossing从下到上可以分为5层,分别是Feature层、Embedding层、Stacking层、MLP层和Scoring层。
在这里插入图片描述

Feature层

feature 层也叫输入特征层,它处于DeepCrossing的最底部,作为整个模型的输入。但是仔细观察feature层,我们会发现不同的特征在细节上的一些区别,比如Feature#1向上连接到了Embedding层,而Feature#2就直接连接到了更上方的stacking层。这是怎么回事?

原因在于Feature#1 代表的是类别型特征经过one-hot编码后生成的特征向量,而Feature#2代表的是数值型特征。由于one-hot特征太稀疏,不适合直接输入到后续的神经网络中进行训练,所以我们需要通过连接到Embedding层的方式,把这个稀疏的one-hot向量转换成比较稠密的Embedding向量。

Embedding层

Embedding层就是为了把稀疏的One-hot向量转换成稠密的Embedding向量而设置的。我们需要注意的是Embedding层不是全部连接起来的,而是每一个特征对应一个Embedding层,不同Embedding层之间互不干涉。

embeding层的内部结构是什么样子的呢?Embedding内部结构就是word2vec模型中输入神经元到隐层神经元的部分,可以参考下图
在这里插入图片描述
一般来说Embedding向量维度应远小于原始的稀疏特征向量,按照经验,几十到上百维就能满足需求了,这样才能够实现从稀疏特征向量到稠密特征向量的转换。

Stacking层

Stacking层中文名就是堆叠层,也常叫Concatenate层,它的作用比较简单,就是把不同的Embedding特征和数值型特征拼接到一起,形成新的包含全部特征的特征向量。

MLP层

MLP层就是多层神经网络层,图中指的是Multiple Residual Units层(多层残差网络)。微软在实现Deep Crossing 时 针对特定的问题选择了残差神经元,但事实上,神经网络的选择有非常多种,比如以sigmoid函数为激活函数的神经元,以及使用tanh、reLu等其他激活函数的神经元。不管使用哪种神经元,MLP层的特点是全连接,就是不同层的神经元两两之间都有连接,它们两两连接只是连接权重会在反向传播的学习过程中会发生改变。

MLP层的作用是让特征向量不同维度之间做充分的交叉,让模型能够抓取到更多的非线性特征和组合特征的信息,这就使得深度学习模型在表达能力上较传统机器学习模型大为增加。

Scoring 层

这层也是输出层。虽然模型结果很复杂,最终我们要预测的目标就是一个分类的概率,如果是点击率预估,就是一个二分类问题,那么就可以采用逻辑回归作为输出层神经元,而如果是类似图像分类这样的多分类问题,我们往往在输出层采用softmax这样的多分类模型。

Embedding+MLP的结构重点用一句话总结就是,对于类别特征,先利用Embedding层进行稠密化,再利用Stacking层连接其他特征,输入MLP的多层结构,最后用Scoring层预估结果。

PNN

DeepCrossing + product 层就是PNN。

未完待续。。

标签:特征向量,--,DeepCrossing,特征,MLP,Embedding,PNN,神经元
来源: https://blog.csdn.net/m0_37531129/article/details/111464741