带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(5)

简介: 带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(5)

带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(4) https://developer.aliyun.com/article/1247000?groupCode=taobaotech



image.png 存在两个问题:


1)用户的兴趣是多峰的,这意味着用户的行为序列有着丰富的类目,如

果盲目的将目标正样本与历史行为序列的所有样本进行聚拢会导致模型的崩塌。


2)由于流行度偏差的存在,热门商品的曝光频率远远大于长尾商品。因此,如果忽略流行因子的存在,将会再次引入流行度偏差,因为很多无效的热门商品对的存在。综上分析,我们引入了由image.png 两部分组成的权重 image.png,类似于DIN,image.png 用于保存序列中与目标商品相似的商品, image.png用于抑制热门商品的影响。值得注意的是,权重image.png 的梯度是停止的。该损失函数使得相似商品的向量互相靠近,并拉开与无关负样本的距离。基于域对齐和实例对齐,用于抑制长尾分布差异的正则化被定义为:

image.png


联合训练及在线服务


联合训练 在模型获得无偏的商品属性向量image.png,我们可以采取内积的形式image.png 训练无偏的召回模型。但正如我们所说,热门商品总体品质优于长尾商品,值得更多的推荐。为了更好的利用流行度信息,我们利用商品的真实流行度向量表示 image.png来提取有偏的流行度商品向量,可以被定义为:


image.png 。基于 image.pngimage.png ,模型用batch sample softmax进行召回任务的优化:


image.png


因为image.png 中已经解耦出流行度信息,有偏模型的训练只会去拟合流行度偏差,而不会去放大它。综上, image.png的损失函数为:


image.png




带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(6) https://developer.aliyun.com/article/1246998?groupCode=taobaotech

相关文章
|
机器学习/深度学习 算法 Python
一文速学-时间序列分析算法之加权移动平均法详解+Python代码实现
一文速学-时间序列分析算法之加权移动平均法详解+Python代码实现
1962 0
一文速学-时间序列分析算法之加权移动平均法详解+Python代码实现
|
Unix Linux
Linux中的Crontab:定时任务管理器
`crontab`是Linux下的定时任务管理器,用于设置周期性执行的任务。用户可以通过`crontab -l`查看任务,`crontab -e`编辑,`crontab -r`删除任务。任务格式为:`* * * * * command`,分别代表分钟、小时、日期、月份、星期,例如`30 10 * * * /path/to/script.sh`。注意确保命令有执行权限,处理环境变量,并关注日志文件 `/var/log/syslog` 或 `/var/log/cron`。学会使用`crontab`能有效自动化Linux系统的日常任务。
基于卡尔曼滤波的系统参数辨识matlab仿真
此程序采用卡尔曼滤波技术实现系统参数在线辨识,通过MATLAB 2022a仿真展现参数收敛过程、辨识误差,并比较不同信噪比下系统性能。卡尔曼滤波递归地结合历史估计与当前观测,优化状态估计。参数辨识中,系统参数被视为状态变量,通过迭代预测和更新步骤实现在线估计,有效处理了线性系统中的噪声影响。
600 12
|
设计模式 数据中心 网络架构
|
机器学习/深度学习 人工智能 算法
「我在淘天做技术」迈步从头越-阿里妈妈广告智能决策技术的演进之路
随着智能化营销产品和机器学习的发展,阿里妈妈将深度学习和强化学习等AI技术越来越多地应用到广告智能决策领域。本文将以阿里妈妈广告智能决策技术的演进为例,分享我们工作和思考。
|
设计模式 运维 监控
运维一体化平台的能力要素
【6月更文挑战第7天】一体化运维平台的重要性,旨在建立覆盖运维全生命周期的统一平台,提升效率,保障业务连续性,实现数字化运维管理。
|
XML Java 数据库连接
技术笔记:Maven的pom.xml(坐标的gav、依赖的scope)
技术笔记:Maven的pom.xml(坐标的gav、依赖的scope)
1107 0
|
机器人 Linux 开发工具
嵌入式BSP工程师基本任务分析
嵌入式BSP工程师基本任务分析
1076 1
|
机器学习/深度学习 智能设计 自然语言处理
冷启动系统优化与内容潜力预估实践
本专题共8篇内容,包含每平每屋过去一年在召回、排序和冷启动等模块中的一些探索和实践经验,本文为该专题第一篇。
1959 0
冷启动系统优化与内容潜力预估实践