其他分享
首页 > 其他分享> > 深入理解搜索引擎——基于DPSR的个性化召回模型

深入理解搜索引擎——基于DPSR的个性化召回模型

作者:互联网

DPSR是京东发表于SIGIR2020 的paper,是京东在搜索推荐系统领域的实践经验总结,京东自2019年起就开始部署DPSR搜索推荐系统框架,总体网络结构如下:

 

 

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

从整体看,离线模型是一个双塔模型结构,query 和 item 分别有一个 model tower。

Query 端:包括query tokens、user profile、user history events 等特征。

item端:包括title tokens、brand、category、shopid 等特征。

离线索引(offline indexing):使用的是item tower,导出item的embedding 构建 QP 索引。

在线服务(online serving):使用的是query tower,实时计算Query Embedding,模型加载在tensorflow service,在线召回 TopK Item。

 

整个模型并不复杂,现在很多搜索推荐的召回算法中都有类似的想法,就是把用户和个性化信息作为一个tower,item信息作为另一个tower,然后通过多层的感知机进行训练建模,最后计算相似度排序召回。

模型最终公式如下:

f(q,s)=G(Q(q),S(s))

Q(q)∈Rd×m 表示query的embedding

S(s)∈Rd×m 表示sku的embedding

G 表示打分计算函数,比如内积或者余弦相似度等,具体跟随场景的变化而变化。

 

 

乍一看,和DSSM双塔模型很像,有木有?确实,都是双塔模型,但细节方面还是有很大不同:

1.基于multi-heads的query tower

2.基于attention的损失函数

3.设计了不一样负采样方法

4.DPSR构建了个性化的在线语义召回模型

 

 

【基于multi-heads的query tower】

      在query tower这个层面,不单单使用query单个维度去构建Embedding向量,因为从实验来看,单query维度建模效果不是很好,例如我们在query理解那篇文章提到的一个案例(query=苹果,可以是手机,也可以是水果,虽然query文本相同,但代表的意思不同)。

 

所以在此模型中,就提出了一种multi-heads的query tower,不同的head可以捕获query不同的语义、品牌、属性等,用多个mlp从不同维度建模query的tower

 

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

 

 

【基于attention的损失函数】

基于muti-head的query可以训练出多个不同维度Embedding,并将其与item的Embedding计算打分。模型采用了attention loss做优化,r(qi,si+) 为正样本,r(qi,si-) 为负样本,模型优化的 loss 可表示为:

公式如下:

 

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

 

【设计了不一样的负采样方法】

在搜索场景构建正负样本,大多数模型都是基于用户的点击日志这种弱监督数据,同query词下曝光了多个item,点击了为正样本,未点击则是负样本,但其实这种方式对于电商领域来讲存在一些问题,容易引入bad case,因为实际点击行为中,存在很多噪声数据,并且点击了也不一定是强相关的。举个例子搜索“手机”,展示了苹果、华为、小米手机,不能说未点击就是不相关商品。

 

所以此模型提出一种混合的负采样方式,即random negatives(全局的随机)和batch negatives(batch的随机)的混合负采样,使用了一组超参来调整两者的比例。全局随机服从某种特定分布,而batch的随机则是根据item的点击频次进行采样,最后通过人工监督的方式进行修正。

 

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

 

上图是超参比例调整的实验结果,发现random negatives越多,召回商品的popularity越高,更能吸引用户点击下单,但会降低商品与检索query的相关性。

 

【DPSR构建了个性化的语义召回模型】

在以上3点的模型设计方案上,基于构建的用户画像和物品画像,使用亿级别的60天用户点击日志的数据集,其中包含56亿个会话,训练个性化语义召回模型。

模型在多个方面做了优化,比如:

1.通过训练数据压缩,修改训练数据格式,把共用的特征数据加载内存,训练时展开从而降低数据存储;

2.可伸缩分布式,切分大的 embedding,并将 sum up 放到 ps 以解决带宽瓶颈;

3.模型分片部署,可以支持上百个模型同时服务或者 A/B 实验;

总体来说,模型效果不错,总体效果如下:

 

DPSR在语义层面、个性化层面做了很多尝试,在实际的工业级搜索引擎的召回过程中还是有很强的借鉴意义。https://mp.weixin.qq.com/s/n3Z1g3vMvx-_GDEghyIM3w

标签:DPSR,模型,搜索引擎,item,点击,召回,query,tower,个性化
来源: https://blog.51cto.com/u_15064648/2884323