动机

本文是2019年KDD上的一篇论文。现有的推荐系统探索新用户偏好时，通常是向用户提供一系列物品作为候选池，然后根据用户在候选池中选择交互的物品提出推荐建议。这样的方法有一些局限性：1.对只有少量交互物品的用户提供的推荐较差。2.候选池中的物品可能并不能真正体现出用户的偏好。作者提出了一种基于元学习的推荐系统MeLU去克服以上两个局限性，并提出了一种选择候选池的策略。

算法

本文提出的方法基于MAML,MAML可参考知乎上的这个介绍MAML模型介绍及算法详解。

用户偏好估计器

下图是用户偏好估计器的结构图。

首先我们将用户与物品的属性转换为one-hot向量作为输入，经过embedding层后，可以得到用户和物品每个属性的embedding向量。


其中c表示one-hot向量，e表示属性的embedding矩阵。之后将这些属性的embedding向量拼接起来，如果是连续值的属性，直接拼接就好，不需要经过embedding层。
之后，通过一个多层感知机预测用户对物品的评分或是反馈。

这里W，b分别是可训练的权重和偏置。a和\(\sigma\)是激活函数。

基于元学习的用户偏好估计器

这里的用户偏好估计器和上述一样。
元学习需要将用户的数据划分为支持集和查询集，其中支持集用于本地更新，查询集用于全局更新。算法流程如下。

第1-2行，初始化参数，其中\(\theta_1\)是用户与物品的embedding，\(\theta_2\)是多层感知机的参数。
第4行，随机采样一批用户。
第6-8行，本地更新，针对采样的每个用户，首先将\(\theta_2\)复制一份到本地，为\(\theta_2^i\)。根据以下损失函数计算\(\theta_2^i\)的梯度

然后使用梯度下降更新\(\theta_2^i\)。
这里没有本地更新\(\theta_1^i\)是为了保证模型稳定性。
第10行，全局更新\(\theta_1\)和\(\theta_2\)，这里是用批量梯度下降的方法。对于\(\theta_2\)的更新，还需要注意一点，这里梯度下降使用到的梯度是第8行中\(\theta_2^i\)的梯度，但是更新的是\(\theta_2\)，这是元学习和普通机器学习不同的地方。

候选池的选择

使用本地更新的梯度的F-范数和物品流行度两个指标作为参考(两个值都是越大越好)，选出物品作为候选池。

实验结果

作者在两个数据集上，四种情况下做了实验，四种情况分别是:1.为用户推荐物品。2.为新用户推荐物品。3.为用户推荐新物品。4.为新用户推荐新物品。本文提出的MeLU在冷启动场景(2-4)中取得了最好的效果。

MeLU-l代表本地更新了l次。

总结

本文是针对冷启动问题的一篇论文，作者设计了一个基于元学习的用户偏好预测器，使得在常见的用户冷启动、物品冷启动及用户物品冷启动的情况下，都可以做到一个较好的预测。之后可以向着元学习协同过滤方向研究。

标签：梯度,用户,更新,MeLU,Start,Estimator,embedding,物品,theta
来源： https://www.cnblogs.com/ambition-hhn/p/16292866.html