带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(8)

简介: 带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(8)

带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(7) https://developer.aliyun.com/article/1246997?groupCode=taobaotech



流行度偏移权重分析


image.png

图6 流行度偏移权重 ,柱状图代表C-Ratio,折线代表Hitrate@300


我们考量了流行度便宜权重对于离线指标的影响, image.png表示有偏召回模型, image.png表示无偏召回模型,中间的取值为两者的加权求和,可以发现随着 image.png的增大,召回结果的集中度逐渐下降,长尾商品的Hitrate逐渐提高,这证明通过对 image.png的调整,可以让模型有方向的去拟合用户的从众性和真实兴趣。


总结


虽然分发侧总是存在着流行度偏差,但不可否认的是该偏差体现了用户的反馈,一味的去抑制流行度偏差使得整体模型是无偏的并不能带来最好的收益。因此,我们认为模型应该去利用流行度偏差,但不能毫无扩张的去放大它。正如本文所说,用户的反馈是从众性和真实兴趣的体现,但是在此工作中只在商品测进行探索,并没有去建模用户侧每个用户从众性和真实兴趣的个性化倾向,在后期工作中,我们将会去探索如何分开去建模用户的这两种倾向。


致谢


感谢怀风、从之、徐往、斯陌、孑行、晨良等团队成员的帮助,感谢横云、明逸、文通等各位老师的支持。


参考文献


【1】A re-visit of the popularity baseline in recommender systems.

【2】Model-agnostic counterfactual reasoning for eliminating popularity bias in recommender system.


团队介绍


有好货算法团队:有好货做为淘宝中的内容导购场景,旨在帮助消费者发现新颖好货。团队主要负责整体推荐链路的技术探索,目前主要致力于无偏学习,全链路建模、连续迁移范式、不确定性量化、长短期兴趣挖掘等方面的探索,以提高优势商品挖掘能力和频道导购能力。在创造业务的同时,我们同样在进行技术沉淀,在SIGIR等国际会议上发表数篇论文,主要成果有PDN,UMI等。

相关文章
|
算法 程序员 C语言
【C++ 随机数分布类型 】深入探索C++随机数分布:原理、应用与实践(二)
【C++ 随机数分布类型 】深入探索C++随机数分布:原理、应用与实践
530 0
【C++ 随机数分布类型 】深入探索C++随机数分布:原理、应用与实践(二)
|
存储 算法 调度
探索AIOS:LLM智能代理操作系统的未来
【4月更文挑战第5天】AIOS是一种创新的LLM智能代理操作系统,旨在解决资源分配、上下文维护和异构代理集成的挑战。它将OS作为代理的“大脑”,采用模块化设计优化LLM功能,包括代理调度、上下文管理、内存和存储管理。AIOS提供并发执行、工具集成及访问控制,提升效率和安全性。其SDK加速应用开发,开源特性促进研究合作。尽管有调度优化、上下文管理效率和安全性的改进空间,AIOS为智能代理的发展开辟了新途径。
1193 11
探索AIOS:LLM智能代理操作系统的未来
|
Python
python numpy安装
一、python下的numpy安装方法 第一步:安装python,这里不做介绍。 第二步:打开cmd看python是否安装成功。 第三步:输入 python -m pip install -U pip 安装pip文件,pip文件一般在python安装包的script目录下。
6550 0
|
XML 前端开发 Java
深入了解Spring MVC工作流程
深入了解Spring MVC工作流程
|
4月前
|
数据采集 人工智能 并行计算
别再分不清显存和内存了!一文讲透AI算力的核心秘密
博主maoku用“厨房分工”妙喻,通俗解析内存(RAM)与显存(VRAM)的本质区别:内存是CPU的通用备料台,显存是GPU的专属猛火灶台。二者容量、带宽、用途截然不同——AI报错“CUDA out of memory”实为显存不足,加内存无效。文章厘清原理、对比参数、指导配置,助你科学选卡、高效开发。
2174 10
|
4月前
|
物联网 开发者 异构计算
从入门到精通:大模型微调实战全攻略
本文系统讲解大模型微调实战:涵盖环境搭建、数据准备、主流方法(LoRA/QLoRA)、完整训练流程及过拟合、显存不足等常见问题解决方案,并分享数据质量、混合精度、评估体系等进阶技巧,助力开发者快速定制专属大模型。
从入门到精通:大模型微调实战全攻略
|
弹性计算 运维 监控
云产品评测|阿里云服务诊断
云服务诊断是阿里云提供的运维工具,帮助用户快速定位和解决云资源问题。通过“健康状态”和“诊断”两大功能,用户可实时查看云资源状态,排查如网站无法访问、ECS故障、配置错误等常见问题,并根据修复建议迅速恢复业务。该工具显著提升了问题解决效率,降低了使用门槛。建议增加自定义告警、多维度数据展示、自动化修复等功能,进一步优化用户体验。
621 152
云产品评测|阿里云服务诊断
|
监控 数据可视化 数据挖掘
干货|FESCO Adecco外企德科:Quick BI打造战略管理“观数台”(1)
干货|FESCO Adecco外企德科:Quick BI打造战略管理“观数台”
580 4
|
数据挖掘 Linux iOS开发
Pandas
【7月更文挑战第4天】Pandas
1115 59
|
机器学习/深度学习 数据挖掘 Python
Anaconda下载安装与使用
Anaconda下载安装与使用
763 0