带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(7)

简介: 带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(7)

带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(6) https://developer.aliyun.com/article/1246998?groupCode=taobaotech



线上实验


将原有的Base双塔替换为图片模型,线上指标如下表所示:


image.png


分析A/B结果可以发现,虽然无偏召回模型(仅利用无偏商品属性表示 )可以使得集中度大幅度下降,且能提高长尾商品的曝光概率,但是在效率上几乎没有收益,这说明了盲目的去除流行度偏差会丢失掉流行度所带来的效率增益;而有偏的召回模型(仅利用有偏的流行度商品向量 )在效率和集中度上都有所改善,说明 可以利用流行度信息同时满足用户的从众性和真实兴趣。


向量可视化


image.png

图4 商品向量的T-sne可视化,红点为热门商品,蓝点为长尾商品,黄点为热门商品解耦出的流行度表示,绿点为长尾商品解耦出的流行度表示。


从图4a可以发现,由于流行度偏差的存在,Base模型所提取的商品向量表示存在着分布差异,这会导致过拟合于热门商品的模型难以精准评估长尾商品的好坏;从图4b可以看出, 提取的无偏属性向量和解耦流行度向量符合预期,即属性向量不存在分布差异,而流行度向量具有区分度,且和属性向量有着明显的分界线。


image.png

图5 每种颜色代表一个类目


为了验证 image.png的有效性,我们对image.png 进行了消融研究并进行了向量可视化,可以发现基于实例对齐的 image.png可以促使同一个类目的商品向量聚类的更紧凑。




带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(8) https://developer.aliyun.com/article/1246995?groupCode=taobaotech

相关文章
|
7月前
|
人工智能 边缘计算 监控
《解锁分布式软总线:构建AI分布式推理临时集群的密钥》
分布式软总线是一种创新的软件定义通信技术,通过自发现与自组网特性,构建高效的人工智能分布式推理临时计算集群。它能自动识别并连接多设备,优化任务分配与数据交互,广泛应用于智能安防、工业制造及科学研究等领域,大幅提升推理效率与性能,为人工智能发展开辟新路径。
238 6
|
数据可视化 JavaScript 图形学
Threejs实现音乐节奏表演
这篇文章详细介绍了如何使用Three.js结合音频频谱分析来创建一个随着音乐节奏变化的3D视觉表演,提供了实现音乐可视化效果的具体步骤和代码示例。
266 60
Threejs实现音乐节奏表演
|
Ubuntu
Ubuntu学习笔记(七):ubuntu下jupyter指定虚拟环境
本文介绍了如何在Ubuntu系统下使用Anaconda和Jupyter Notebook指定并切换不同的虚拟环境。
297 0
Ubuntu学习笔记(七):ubuntu下jupyter指定虚拟环境
|
SQL 关系型数据库 数据库
实时计算 Flink版产品使用合集之同步PostgreSQL数据时,WAL 日志无限增长,是什么导致的
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
机器学习/深度学习 JSON 测试技术
CNN依旧能战:nnU-Net团队新研究揭示医学图像分割的验证误区,设定先进的验证标准与基线模型
在3D医学图像分割领域,尽管出现了多种新架构和方法,但大多未能超越2018年nnU-Net基准。研究发现,许多新方法的优越性未经严格验证,揭示了验证方法的不严谨性。作者通过系统基准测试评估了CNN、Transformer和Mamba等方法,强调了配置和硬件资源的重要性,并更新了nnU-Net基线以适应不同条件。论文呼吁加强科学验证,以确保真实性能提升。通过nnU-Net的变体和新方法的比较,显示经典CNN方法在某些情况下仍优于理论上的先进方法。研究提供了新的标准化基线模型,以促进更严谨的性能评估。
486 0
|
存储 缓存 JavaScript
npm详解
npm详解
224 0
|
消息中间件 Java Kafka
Flink的DataSource三部曲之一:直接API
《Flink的DataSource三部曲》系列通过实战熟悉和了解flink的数据源,从内置到自定义逐步上手。
227 0
Flink的DataSource三部曲之一:直接API
|
存储 Shell
编译移植龙芯2K1000平台下的qt-5.13
本文记录对龙芯2K进行qt5.13.1版本的移植。 本文中对于tslib的安装不做讲解,使用了QT4进行核心板开发的童鞋一般情况下,应该已经安装好了tslib了,直接使用就行。
870 0
|
存储 关系型数据库 Serverless
大咖与小白的日常:高性价比的数据归档解决方案
本文为您介绍一个全新数据归档方案(DMS + AnalyitcDB PostgreSQL),帮助客户用低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析。
大咖与小白的日常:高性价比的数据归档解决方案
|
算法 安全 关系型数据库
《PolarDB for PostgreSQL源码与应用实战》——PolarDB for PostgreSQL高可用原理(中)
《PolarDB for PostgreSQL源码与应用实战》——PolarDB for PostgreSQL高可用原理(中)
237 0