其他分享
首页 > 其他分享> > MMOE 论文阅读

MMOE 论文阅读

作者:互联网

MMOE 简介

MMOE 是一个 multitask 模型

multitask 主要有以下有点:

1. 把几个任务合为一个模型,相比于每个任务各训练一个模型来说,可以节省资源

2. 由于几个任务共享了数据,对于相关性比较大的任务来说,可以使数据学的更充分

multitask 也存在以下几个问题:

1. 对于几个任务共享的参数,不同任务在训练时可能会有冲突,导致参数学不好

2. 模型的迭代变得更复杂了

 

MMOE 模型和另外两个 MultiTask 模型对比

图 a

图a中的模型是最常用也是最基础的模型,这个模型不同任务共享底层的tower,然后每个任务各自学习一个上层的tower

优缺点分析:

由于多个任务共享底层的tower,可以使底层的信息学习的非常充分,同样的,如歌不同任务间相关性不强,在学习过程中可以发生参数冲突(即同个特征在不同任务中可能是相反的作用)

图 b

为了底层的共享网络对不同任务也能做到个性化,图 b 中的共享网络由多个专家网络组成,并用了一个gate模型去学习不同专家网络的权重,最后每个任务是不同专家网络的加权和

优缺点分析:

优点就是底层共享网络由多个专家网络组成,增加了底层网络的个性化,可以减少参数参数冲突

图 c

图 C 中的网络就是论文提出的 MMOE 网络,和图b中的网络对比,每个任务学了单独的gate

优缺点分析:

优点就是对共享的底部网络增加了个性化,对于相关性比较差的任务也能表现的很好

缺点就是增加了模型的复杂度,而且每个任务都学了一个gate网络,最优解非常多,难以学好

 

标签:模型,论文,任务,网络,MMOE,阅读,共享,底层
来源: https://www.cnblogs.com/xumaomao/p/15208528.html