人工智能应用-推荐系统概述 2021-11-20
作者:互联网
人工智能基础总目录
推荐系统概述
一、AI 概述
机器学习的模型十大模型
1 分类算法
分类与回归在一起。
- C4.5,
- 朴素贝叶斯(Naive Bayes),
- SVM,
- KNN,
- Adaboost,
- CART
2 聚类算法
- K-Means
- EM
3 关联分析
从数据中挖掘关联的关系,组合。
- Apriori
4 连接分析
用来做排名等相关内容,源自于网页的排名(不仅限),网页影响力的计算方法。
- PageRank
5 python 相关算法包
Step1 引用工具包
Step2 数据预处理:方便后续处理
Step3 选择模型,比如CART决策树
Step4 训练模型(训练集)
Step5 模型评估(测试集)
深度学习的模型
神经网络不是一个新的概念,端到端的黑盒,可解释性较差,自适应完成特征提取。
1 深度学习的经典网络模型
1、卷积神经网络(CNN)
LeNet-5、AlexNet、VGG、GoogleNet、ResNet、DenseNet
2、 循环神经网络(RNN)
应用领域:机器翻译、情感分析等NLP领域
3、深度信念网络(DBN,Deep Belief Network)
2006年由Geoffreg Hinton(机器学习泰斗)提出,是一种生成模型,由多个受限玻尔兹曼机组成。
4、生成对抗网络(GAN)
对抗的双方分别为:判别模型和生成模型
5、深度强化学习(DRL)
四个基本组件组成:环境、代理、动作、反馈
2 深度学习框架
- Tensorflow, Keras, Paddle(百度)
- Tensorflow 2.0, 2019年发布,相比于1.0更加简洁
- Pytorch,Facebook开发,Python + Torch
尽量使用科学计算库,代替 Numpy,利用 GPUs
二、推荐系统概述
推荐系统是一种 信息过滤 系统,根据用户的历史行为、社交关系、兴趣点。算法可以判断用户当前感兴趣的物品或内容。实现每个人的界面不同,千人千面。
1.机器如何找到这些适合你的商品
1 推荐实现方法
- 1 Content-based Filtering (内容的标签)
最早人们使用的是基于内容的推荐方法,根据物品的属性为他们打上标签,再通过这些标签计算他们之间的相似度。 静态数据 - 2 Collaborative Filtering(协同过滤)
协同过滤就是通过数据找到与你相似的用户,通过他们的行为和他们喜欢的内容。为你推荐你可能感兴趣的物品或内容。 动态数据
2 收集数据
在推荐系统中,Using data重在“相似度”,Solve problems在于“推荐”。data可以是物品本身的,也可以是基于用户行为的。
- 物品信息
Content-based 基于物品本身的内容。 - 用户行为
显性反馈数据:用户明确表示对物品的喜欢行为:评分,喜欢,收藏,购买
隐性反馈数据:不能明确反映用户喜好的行为:浏览,停留时间,点击
3 协同过滤的思想
矩阵: 行 人 U1, U2; 列 物品I1, I2; 值为对物品的喜好程度。
行向量的相似度。
-
如何评判“相似”
User-based,两个人共同喜欢的东西越多,那么两个人就越相似
Item-based,两个物品共同喜欢的人越多,这两个物品就越相似 -
如何进行“推荐”
UserCF,和你兴趣相投的用户,推荐他们喜欢的商品
ItemCF,给用户推荐和他们之前喜欢的物品相似的物品
(ItemCF不利用物品的内容属性计算物品之间的相似度,主要通过分析用户的行为记录计算物品之间的相似度)
2.推荐系统的冷启动问题
用户冷启动:新用户来的时候,如何推荐
物品冷启动:新的物品,如何推荐
系统冷启动:新的网站上线,如何推荐
3 Exploit & Explore问题(利用与探索)
选餐厅:
Exploitation : 去最喜欢的餐厅。 充分利用已有的资源,信息茧房
(信息圈养)。
Exploration: 尝试新餐厅。 认知未知的世界。 准确率低。
3.1 Bandit算法解决冷启动
如果用户对推荐的某个Topic感兴趣,就代表获得了收益。否则就表示遗憾
“选择-观察-更新-选择”的循环,将收益最大化。 过几次试验,刻画出新用户心中对每个Topic的感兴趣概率。
目标是带来更多收益(累积收益最大化)
3.2 AlphaGo中的UCB算法
3 推荐系统架构
- A 数据源
item特征,用户画像,用户行为。 数据量大 - B 召回阶段
粗筛,得到候选物品集。简单数据量,后续计算复杂 - C 排序阶段
对多个召回通道的内容进行打分排序,选出最优的少量结果。兼顾推荐系统的多维度指标:覆盖率,多样性,新颖度。
标签:11,20,推荐,用户,算法,2021,物品,模型,冷启动 来源: https://blog.csdn.net/qq_21438267/article/details/121437945