其他分享
首页 > 其他分享> > 论文阅读:matrix factorization techniques for recommender systems—我的第一篇博客

论文阅读:matrix factorization techniques for recommender systems—我的第一篇博客

作者:互联网

论文阅读:matrix factorization techniques for recommender systems—我的第一篇博客

Authors : Xin Zhang from Xinjiang University
本篇论文2009年由推荐系统领域大神Yehuda Koren团队发表,他曾是Nexflix冠军队队员。众所周知,本文也是许多大佬推荐的第一篇入门论文。
论文地址:自己去网上搜,一搜一大把。
一、前言
指出了随着Netflix比赛(百万大奖赛)的落幕,矩阵分解(matrix factorization)方法显而易见优于经典最近邻技术(classic nearest-neighbor techniques)。
随着信息洪泛时代的到来,每个人面临着大量各种各样的选择,为了更好的迎合消费者的喜好与口味,个性化推荐系统越来越得到各大电商巨头的青睐。有了大量的数据,我们可以“搞出”很多事情。
二、推荐系统策略(RECOMMENDER SYSTEM STRATEGIES)
这一部分介绍了推荐系统常见的两种策略,即内容过滤(content filtering)协同过滤(collaborative filtering)。
内容过滤策略:建立了大量用户文档(user profile)与商品文档(product profile)。举例来说,对于一个电影推荐系统,它的product profile可能包含了某部电影的类型、参演明星、票房等等;它的user profile可能包含了人口统计信息(性别、年龄等)与通过问卷调查得到的其他信息。同时作者也指出了这种方法的缺点,就是这种方法需要收集额外的信息,但这些信息往往难以收集。采用这种策略做的比较好的有the Music Genome Project(音乐基因组计划)。
协同过滤策略:完全免费,受困于冷启动问题(cold start problem)。但优于内容过滤的是不需要建立用户/商品文档,仅仅依赖于用户的历史交易与商品评级进行推荐,通过分析大量用户间的关系以及商品间的相关性进行推荐。
作者指出,相对于内容过滤,采用协同过滤策略的推荐系统更加准确。
*1.简介协同过滤(collaborative filtering)的两大主要领域
(1)neighborhood methods:又分为面向商品方式(the item-oriented approach)与面向用户 (the user-oriented approach)。在这里如何解释邻居(neighborhood)?以面向商品方式举例,根据用户以前评分过的电影《拯救大兵瑞恩》,推荐系统开始寻早这部电影的邻居,这部电影是战争片,斯皮尔伯格电影,也是汤姆汉克斯电影,根据这三个标签开始寻找相似的邻居商品;
*(2)latent factor models:隐语义模型试图把用户与商品之间的联系解释出来,比如对于电影来说,它是戏剧还是戏剧,是面向儿童还是充满了大量暴力动作?本文采用了隐语义模型的协同过滤。
三、矩阵分解方法 MATRIX FACTORIZATION METHODS
作者首先指出大多是隐语义模型(latent factor models)的成功实现都是基于矩阵分解。这里的矩阵指的是user-item interaction matrix,即用户-项目交互矩阵,这个矩阵可能是每个用户对具体商品的评分,也可能是点赞、差评这样的简单评价,此矩阵既有可能稠密,也有可能稀疏。di
对于我们的推荐系统,我们需要各种各样不同的数据,在这个评分矩阵中,通常纵列表示不同的用户,而横列表示不同的商品(某个电影、音乐等等),最好的数据就是高质量显示反馈数据(high-quality explicit feedback),在这个矩阵中,相对每个用户而言,不可能每个用户都对所有的商品进行了评分,如果这样的话,推荐系统还有什么意义?因此,我们的这个矩阵是一个稀疏矩阵(稀疏到何种程度分情况而定)。
**矩阵分解的好处:**我们可以自由添加额外信息,当显式反馈不好使或者得不到时,就可以使用隐式反馈来推断用户的偏好,隐式反馈可以根据观察用户行为、购买记录,甚至是鼠标的移动来进行推断。
四、基本矩阵分解模型 A BASIC MATRIX FACTORIZATION MODEL
对于一个用户-物品评分矩阵,我们的矩阵分解模型可以将这个评分矩阵分解成为两个部分,模型将用户群与物品群隐形因子映射到f维度,每个用户对应了一个向量p,每个物品对应了对应一个向量q,通过p与q的内积表示用户对此商品的评分。
这种方法就是传统SVD方法(奇异值分解),对于一个用户-商品矩阵而言,其最大的问题是这个矩阵中大部分单元格都是缺失的,也称为稀疏矩阵。传统SVD方法没有对这种大量缺失数据的情况进行定义,早期采用这种方法的SVD靠瞎猜去填满这些缺失的数据,手动狗头!
我们先不管缺失数据的解决办法,仅仅关注如何用这种方法如何完成任务,请看下图:
损失函数
上图中的表达式是损失函数表达式,何为损失函数?
我们之前通过SVD方法对训练集中的每个参数进行了分解,并对真实评分做出了预测,即向量q的转置与向量p的乘积,也可以倒过来,都是一样的,Rui是真实的评分,再减去预测值的平方。在上图的右边,我们把这一部分成为正则项,正则项存在的意义是为了防止出现过拟合现象。
何为过拟合现象?说白了就是构建的模型在训练数据集中表现的很好,等到了测试集就会出现非常大的波动,甚至表现非常糟糕。其中括号外的λ是一个常数,在实验过程中,我们可以认为对其进行调整,以获得更好的推荐效果。括号内的部分是范数,范数是衡量一个向量大小的标准,需要详细了解的请自行百度。
五、学习算法 LEARNING ALGORITHMS
当本小白第一次看到“学习”这两个字的时候也是很懵A,最后看完了这部分才发现也就是那么一回事。
本部分内容主要介绍了为了最小化损失函数,也就是为了我们的预测更加精确所采用的方法,第一种称为随机梯度下降法(Stochastic gradient descent),第二种方法称为交替最小二乘法(Alternating least squares),作者在文中简单描述了这两种方法,这两种方法也是目前机器学习课程首先要进行介绍的方法。
废话少说,开整!
在这里插入图片描述

在这里插入图片描述
如果你是一颗推荐系统小白菜的话,惊不惊喜?意不意外?手动狗头!
下面我们就来介绍下随机梯度下降法(Stochastic gradient descent)
随机梯度下降法,那么什么是梯度?为什么又随机了呢?
所谓随机梯度下降法,是为了找到局部的最优解,对于我们的推荐系统,是想找到损失函数的最小值,找到了这个“偏差”函数最小值,那就找到了我们的最好推荐。
来!让我们讨论下前面那个图是怎么来的?
上面那个图并不是等式,而是一种迭代的形式,qi与pu通过不断地移动,以寻求局部的最优解,γ是一个参数,可以控制qi及pu移动的远近,也成为学习率,一般会设成一个非常小的值,eg:0.0001
γ后面括号内的内容是算是函数分别对qi及pu求导得到的内容,如果你高等数学学的好的话,秒懂,这部分内容也成为梯度,也可以把它理解为微分(仅作理解)。
为什么需要随机呢?正如前文所说,梯度下降仅仅只能找到具备最优解,我们在训练集中随机去找多个样本点,就可以避免掉到坑里,增大我们找到最优解的可能。
下一部分是交替最小二乘法,我就不说了,手动捂脸,老铁们自己去查,手动捂脸。
尴尬!
六、加入偏置量(ADDING BIASES)
在上文中,我们已经探讨了加入正则项防止过拟合的问题,那么,为什么还需要偏置量呢?
下次有空再更

标签:recommender,matrix,评分,推荐,矩阵,用户,factorization,过滤,方法
来源: https://blog.csdn.net/qq_38361431/article/details/98104276