首页 > TAG信息列表 > MMoE
MMoE 应用篇
这篇文章再仔细看一下 https://mp.weixin.qq.com/s/w2U5GBPLmWTDSFKBGaViQQ 《多任务学习经典品读：MMoE 应用篇》 优化的多个目标往往不同，有时相互冲突。例如，除了点击观看视频(ctr)外，我们可能还想推荐给用户评价较高或者更可能个朋友分享的视频。 系统中经常存在隐性偏见。例如多任务学习模型MTL: MMoE、PLE
常见的监督学习包括： 回归：预测值为连续值，如销售额；二分类：预测值为离散值，且只有两种取值，如性别，要么是男，要么是女；多分类：预测值为离散值，且多于两种取值，如动物分类，可能有猫、狗、狮子等等；还有另外一种，也是本文的主角：多任务学习（Multi Task Learning）。 MTL介绍 首先，介绍什么是多任务推荐系统（三）：推荐系统中常见多任务模型MMOE，ESMM，CGC，AITM
在实际生活中，我们关注的任务往往是一对多的，例如推荐系统场景中，我们希望物品的点击率和转化率都要高，如果只是单纯的集中于优化某一个目标，往往会导致其他被忽略的目标变差。多任务学习通过共享目标之间的表征，优化多个任务的目标，从而改善多个任务的模型性能，因此MMOE 论文阅读
MMOE 简介 MMOE 是一个 multitask 模型 multitask 主要有以下有点： 1. 把几个任务合为一个模型，相比于每个任务各训练一个模型来说，可以节省资源 2. 由于几个任务共享了数据，对于相关性比较大的任务来说，可以使数据学的更充分 multitask 也存在以下几个问题： 1. 对于几个任务共享的参数，多任务学习——【KDD 2018】MMoE
多任务模型通过学习不同任务的联系和差异，可提高每个任务的学习效率和质量。 多任务学习的的框架广泛采用 shared-bottom 的结构，不同任务间共用底部的隐层。这种结构本质上可以减少过拟合的风险，但是效果上可能受到任务差异和数据分布带来的影响。也有一些其他结构，比如两个任推荐系统（5）—— 推荐系统多目标优化 ESMM-MMOE
参考文献： esmm模型详解：https://imzhanghao.com/2020/11/06/alimama-cvr-esmm/ 漫谈深度学习时代点击率预估技术进展：https://zhuanlan.zhihu.com/p/54822778 1、基本思想 目前用的较多的算法ESMM和MMOE类的算法，都是基于目标的重要性是对等或线性相关来优化的，也一定程度上仿真建模CTR预估 论文精读(十六)--Youtube 排序系统：Recommending What Video to Watch Next
1. 摘要 In this paper, we introduce a large scale multi-objective ranking system for recommending what video to watch next on an industrial video sharing platform. The system faces many real-world challenges, including the presence of multiple competing多目标优化概论及基础算法ESMM与MMOE对比
一、总起 多目标优化现在成为了排序算法的主流方式。之所以有这个算法方向其实还是业务的需求驱动的，拿广告算法来说，主体逻辑是平台业务的目标是提升点击挣广告费，但广告主希望花出去的广告费能带来成交量。次逻辑是新广告主希望他买了广告就有成单的机会，不要冷启动买