动机

本文是2019年AAAI上的一篇论文，提出了经典的深度学习推荐模型DIEN。之前的工作大多数是直接将用户的行为序列建模为用户的兴趣，没有具体为这些行为背后的潜在兴趣进行建模。本文提出的DIEN模型使用兴趣提取层和兴趣演变层更好地建模用户兴趣。DIN和DIEN都是阿里团队提出的模型，本文的DIEN可以看作是DIN的改进版本。

方法

用户的兴趣是不断变化的，因此捕获兴趣的动态性对于表示兴趣来说十分重要。这里就只介绍关键的两部分，兴趣提取层和兴趣演变层。其余部分和DIN模型相似。

兴趣提取层

在电子商务系统中，用户采取一系列行为后，兴趣会发生变化。在兴趣提取层中，我们要从连续的用户行为中提取兴趣状态。这里选择GRU作为提取来提取兴趣

由于对物品点击行为的预测取决于最终的兴趣状态，标签中只包含监督最终兴趣的真值GRU中一些列隐藏状态无法得到很好的监督，因此引入一个辅助损失，我们使用t+1时刻的行为监督t时刻的隐藏状态，同时再采样一个不在交互序列中的物品当作负样本。然后有以下损失函数

总的损失函数为

兴趣演变层

在兴趣演变层，我们使用注意力机制和GRU建模用户兴趣演变。注意力分数由以下公式求出

作者介绍了三种结合注意力机制和GRU的方法，主要就是将注意力分数加入GRU，修改GRU里的一些公式。
AIGRU。

AGRU。

AUGRU。

实验结果

DIEN在公共数据集上和工业数据集上均取得最好的效果。

总结

本文提出的DIEN建模了用户动态兴趣的演变，可以更准确地表示出用户真正的兴趣。相比与DIN，它将序列时间信息加入到模型，有更出色的表现。

标签：Evolution,GRU,提取,Network,Prediction,用户,DIEN,兴趣,建模
来源： https://www.cnblogs.com/ambition-hhn/p/16542167.html