其他分享
首页 > 其他分享> > Neural Graph Collaborative Filtering阅读笔记

Neural Graph Collaborative Filtering阅读笔记

作者:互联网

动机

本文是2019年SIGIR的一篇文章。在推荐系统中,用户和物品的向量表示(embeddings)是推荐系统的核心,但目前的方法都是根据用户(物品)原有的特征通过映射获取embeddings,并没有将用户与物品交互中的潜在的协同信号编码进embeddings,因此产生的embeddings可能不足以支持捕获协同过滤效果。本文提出一种新的图神经协同过滤模型(NGCF),将协同信号显示地注入在用户物品的向量表示中。

算法

在本文中,作者通过利用用户项目互动的高阶连通性解决上述问题。举个栗子来说明大致思路,左子图是用户与物品交互图,图中\(u_1\)是我们感兴趣的用户,以\(u_1\)为根节点将左图转换成树结构(右图),高阶连通性指的就是那些从任意节点到\(u_1\)且路径长度l大于1的节点,例如\(u_1⬅i_2⬅u_2\),这表示\(u_1\)和\(u_2\)行为相似,因为他们都对\(i_2\)产生过交互。

作者设计了一个嵌入传播层(基于GNN),通过聚合项目的embeddings来改进用户的embeddings,或者是聚合用户的embeddings来改进项目的embeddings。通过堆叠多个嵌入传播层来捕获高阶连接信息,例如,堆叠2层捕获\(u_1⬅i_2⬅u_2\)中用户的行为相似度,堆叠3层\(u_1⬅i_2⬅u_2⬅i_4\)发现潜在的推荐。

一层嵌入传播层

嵌入传播层由两个部分组成:信息构建和信息聚合。
信息构建:对于每一个用户项目交互对(u,i)来说,定义从i到u的数据为

\(m_{u⬅i}\)是信息嵌入,也是之后需要传播的信息。在本篇\(f(·)\)是编码函数,\(e_i\)和\(e_u\)分别是物品与用户的embedding,作为输入。\(p_{ui}\)是衰减因子。在本篇论文中,作者使用以下编码函数

\(W_1\),\(W_2∈\mathbb{R}^{d'×d}\)是可以训练的权重矩阵,用于提取有用信息,\(\odot\)表示向量对应元素相乘。根据图卷积神经网络,将\(p_{ui}\)设为\(1 / \sqrt{\left | \mathcal{N_u} \right | \left | \mathcal{N_i} \right |}\),其中\(\mathcal{N_u}\)和\(\mathcal{N_u}\)代表用户u和物品i的第一跳邻居。我们也可以用相同的方法获得u到i的信息\(m_{i⬅u}\)

信息聚合:定义优化后u的信息表示为

\(e^{(1)}_u\)表示在第一个嵌入传播层后用户u的表示,其中\(m_{i⬅u}=W_1e_u\)。它不仅考虑到用户自己与自己的连接,还考虑到邻居传播的信息。我们也可以用同样的方法得到优化后的物品表示\(e^{(1)}_i\).

多层嵌入传播层

通过堆叠l个嵌入传播层,用户和物品能接收到l跳邻居传播的信息,在第l层中,用户表示为

消息传播表示为

模型预测

通过L个嵌入传播层,我们可以将L个嵌入传播层得到的用户(物品)表示连接起来作为它们最终的embedding

最后,使用内积计算用户对项目的偏好度

优化

在这里,作者通过优化成对的BPR损失来学习模型,损失函数定义如下

其中,\(\mathcal{R}^+\)表示可以观测到的交互,\(\mathcal{R}^-\)表示观测不到的交互,\(\Theta\)表示所有可以训练的参数。

与NGCF相关的工作

与NGCF相关的工作有基于模型的协同过滤方法,基于图结构的协同过滤方法和图卷积网络。基于模型的协同过滤模型利用用户物品交互矩阵,将用户与物品的id投影到一个embedding中,早期工作是利用用户和物品的embedding内积计算用户对物品的偏好度,近期有许多工作使用非线性的深度神经网络作为交互函数,尽管这类方法取得成功,但是嵌入函数的设计不足以产生优秀的embedding。基于图结构的协同过滤方法本质上属于基于邻居的方法,它缺乏模型参数来优化目标函数,在概念上不如基于模型的协同过滤方法。最近提出的HOP-Rec将基于图的方法与基于嵌入的方法相结合来缓解这个问题,但是HOP-Rec没有充分探索高阶连通性,并且极大程度依赖随机游走的结果。最后是图卷积网络,作者在本文中提出的NGCF就属于图卷积网络方法中的一种,另外还有一些其他应用到图卷积网络的工作,GC-MC使用一个卷积层利用用户与物品的直接连接,但它无法发现高阶的连通性。

结果

与当时最先进的模型相比,在本文实验所使用的三个数据集上Gowalla、Yelp2018及Amazon-book,NGCF均取得最好的效果。

因为NGCF中每层嵌入传播层捕捉到不同距离的信息,最后还将每层的嵌入向量聚合在一起,由此得到的用户(物品)表示向量包含了用户物品的交互信息,包含的信息更全面,因此会有更好的结果。更直观的可以从下图看出,该图星星表示用户,与用户连线的点表示为测试集中与该用户有交互的物品,相比与矩阵分解,NGCF-3中相同颜色的点更趋向于聚成一团。

总结

可学习的协同过滤模型有两个关键的组成部分,一个是用户与物品的embeddings的构建,另外一个是用户与物品的embeddings的交互函数。在上周读的《Neural Collaborative Filtering》这篇论文中是使用非线性深度神经网络作为用户与物品的embeddings的交互函数,本文是用图神经网络将用户和物品embeddings传播实现获得包含用户物品交互信息的embeddings,如果将这两篇论文中的方法结合,我认为会有更好的效果,作者也在文章中提到这个想法。将深度学习应用到推荐系统是目前的一个趋势,我在接下来也会探索更多这方面的知识。

标签:Filtering,embeddings,Collaborative,Neural,用户,传播,嵌入,物品,交互
来源: https://www.cnblogs.com/ambition-hhn/p/15725400.html