推荐系统序列化建模总结(二)

简介: 推荐系统序列化建模总结(二)

3.5 CIKM’20 京东 | Deep Multifaceted Transformers for Multi-objective Ranking in Large-Scale E-commerce Recommender Systems [2]


  • 问题背景:已有工作缺少对用户多种行为的利用,缺少对多任务的建模,缺少对场景Bias的建模。


  • 业务场景:商品搜索排序阶段


  • 特征方面:使用了点击,加购,成交3个Item Sequence,分别表征短期,中期和长期兴趣;对连续型数值特征使用了Z-score归一化;Bias Deep Neural Network中使用了Neighbor Feature,即商品展示时周围的商品信息,他们会影响用户对商品的点击。


  • 模型方面


e72e66564aad05a46a8b4fe490b19d11.png


DMT


  • 序列建模部分使用Self Attention+Target Attention,位置编码通过sin-cos或可学习的方式生成。


  • 多任务建模部分使用MMOE,相比较简单共享底层Embedding,MMOE相当于学习了一组“基”Embedding(划分多个Expert),然后通过Gate机制为每个任务针对性的加权组合“基”Embedding。


  • Bias建模部分使用Bias特征+MLP,输出的Logits与主网络Logits相加。


3.6 AAAI’20 阿里 | Deep Match to Rank Model for Personalized Click-Through Rate Prediction [17]


  • 问题背景:已有工作更关注对User Embedding的表达,而没有关注到User和Item的相关性,该相关性可以更直接地反映User对Item的偏好。个人理解是,DIN等模型将学习到的Sequence Embedding(用户兴趣向量)与User Profile,待排序物品特征等Concat后送入最上层的MLP进行特征交叉最终输出一个CTR预估分数,作者认为在Concat特征送入MLP进行交叉前就计算一个User和Item相关性可以降低模型的学习难度。


  • 业务场景:商品推荐排序阶段


  • Feature Representation:将召回得分也作为了排序时的特征。


7613e1970753803c3c8244a06c1825b9.png


DMR


  • User-to-Item Network



1.png


b31870404cf2c9240248f1ff7d767a56.png

68040f2550d42f177c582beb5e91e7fb.png



  • 是位置特征, 是Item特征,这里用序列中Item自身特征学习其重要性总感觉有点奇怪,不过换个角度将随机初始化的z作为一个与任务相关的Query,最终重要性则取决于与该Query的相关性。


  • 对行为序列加权求和后得到User Embedding u,再将该Embedding与待排序的Item v计算点积r作为相关性特征。不过在一个上千维的Concat特征中多一个一维的相关性特征真的有效吗?


  • Auxiliary match network


09c6d36102e82f2136bc044fee6b73f6.png


Auxiliary match network


  • 这里是用行为序列中前T-1个Item表征用户,然后用该表征去召回第T个Item(类似于DIEN的Auxiliary Loss的特殊形式)。


  • 这里其实相当于一个召回过程。召回和排序是工程上的折中,召回阶段模型简单但打分域大,模型见识过的数据多,排序阶段模型复杂但打分域小,模型见识过的数据少。将召回过程引入排序阶段,扩大了模型的打分域(体现在负采样),让模型见过了更多样本从而表达能力更强,但是线上部署恐怕是个问题。


  • Item-to-Item Network


f485bd0dbcd380dd891b784d90e98117.png


Item-to-Item Network


  • 加性模型计算Attention,用到了待排序的Item特征,属于Target Attention。


  • Target Item的Embedding和Sequence Item的Embedding不是共享的。


  • 将未经softmax归一化的Attention之和作为另一个User和Item的相关性分特征。


3.7 AAAI’21 腾讯 | U-BERT: Pre-training User Representations for Improved Recommendation [4]


[外链图片转存中…(img-PKHOQRkc-1635863814266)]


U-BERT


这篇论文主要是用BERT对Review(评论)数据进行预训练,加入了领域相关的特征,加入了特征互交叉的操作,在数据集比较小的目标领域上取得了不错的效果,但是对于像手淘搜索这样的大流量场景,预训练的方式想要取得效果可能不太容易。


3.8 IJCAI’19 阿里 | Deep Session Interest Network for Click-Through Rate Prediction [6]


  • 问题背景:序列可以被划分为多个Session(一个时间窗口),Session内的Item是同构的,Session间的Item是异构的。例如,用户在一个Session内购买了衣服,裤子,鞋等,在另一个Session内购买了switch,便携屏,投影仪等。直接对整个行为序列用RNN或Attention模型建模会存在问题。


[外链图片转存中…(img-5VZxIz3p-1635863814267)]


Session


  • 业务场景:商品推荐排序阶段


  • Session Division Layer:将行为序列按照30分钟的时间窗口划分为多个Session。


/

a6b29330f637a51073838c38dbe22b8c.png

相关文章
|
机器学习/深度学习 存储 人工智能
推荐系统序列化建模总结(三)
推荐系统序列化建模总结(三)
493 0
推荐系统序列化建模总结(三)
|
机器学习/深度学习 存储 人工智能
推荐系统序列化建模总结(一)
推荐系统序列化建模总结(一)
754 0
推荐系统序列化建模总结(一)
|
27天前
|
搜索推荐 算法 小程序
基于Java协同过滤算法的电影推荐系统设计和实现(源码+LW+调试文档+讲解等)
基于Java协同过滤算法的电影推荐系统设计和实现(源码+LW+调试文档+讲解等)
|
27天前
|
搜索推荐 算法 小程序
基于Java协同过滤算法的图书推荐系统设计和实现(源码+LW+调试文档+讲解等)
基于Java协同过滤算法的图书推荐系统设计和实现(源码+LW+调试文档+讲解等)
|
1月前
|
机器学习/深度学习 搜索推荐 算法
基于深度学习神经网络协同过滤模型(NCF)的图书推荐系统
登录注册 热门图书 图书分类 图书推荐 借阅图书 购物图书 个人中心 可视化大屏 后台管理
12951 2
基于深度学习神经网络协同过滤模型(NCF)的图书推荐系统
|
2月前
|
搜索推荐 算法 前端开发
美食物管理与推荐系统Python+Django网站开发+协同过滤推荐算法应用【计算机课设项目推荐】
美食物管理与推荐系统Python+Django网站开发+协同过滤推荐算法应用【计算机课设项目推荐】
148 4
美食物管理与推荐系统Python+Django网站开发+协同过滤推荐算法应用【计算机课设项目推荐】
|
19天前
|
JavaScript Java 测试技术
基于springboot+vue.js+uniapp小程序的协同过滤电影推荐系统附带文章源码部署视频讲解等
基于springboot+vue.js+uniapp小程序的协同过滤电影推荐系统附带文章源码部署视频讲解等
14 0
|
2月前
|
机器学习/深度学习 搜索推荐 算法
推荐系统算法的研究与实践:协同过滤、基于内容的推荐和深度学习推荐模型
推荐系统算法的研究与实践:协同过滤、基于内容的推荐和深度学习推荐模型
435 1
|
2月前
|
算法 搜索推荐 数据挖掘
MATLAB模糊C均值聚类FCM改进的推荐系统协同过滤算法分析MovieLens电影数据集
MATLAB模糊C均值聚类FCM改进的推荐系统协同过滤算法分析MovieLens电影数据集