淘宝粗排问题之在粗排模型中引入交叉特征如何解决

简介: 淘宝粗排问题之在粗排模型中引入交叉特征如何解决

问题一:离线hitrate提升幅度与线上A/B test中hitrate提升幅度的一致性如何?


离线hitrate提升幅度与线上A/B test中hitrate提升幅度的一致性如何?


参考回答:

离线hitrate提升幅度与线上A/B test中hitrate提升幅度的一致性取决于多种因素。场景内提升幅度离在线必定不同,因为精排候选集分布的变化会影响最终指标。场景外提升幅度也可能不同,这取决于场景外转化到场景内的情况以及在线生效问题。如果场景外提升幅度相同且没有转化到场景内,则需要进一步分析粗排后续阶段对粗排新召回商品的认可程度。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654794



问题二:蒸馏样本的进一步扩充是如何进行的 ? 会遇到哪些问题?


蒸馏样本的进一步扩充是如何进行的 ? 会遇到哪些问题?


参考回答:

蒸馏样本的进一步扩充主要包括三种尝试:单独添加引入M个未曝光样本的蒸馏、去掉base中的pv distill loss增加一个N+M+K的蒸馏、保留base的蒸馏loss并添加一个N+M+K的蒸馏。

在尝试过程中,会遇到:

一是随机负样本中的未曝光样本的精排分数可能会高于曝光样本,二是未曝光商品的后验P(海选->曝光)=0,难以直接表征从海选到点击的概率。通过分析和实验,最终发现保留base蒸馏loss并添加一个N+M+K的蒸馏方案效果最好。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654795



问题三:为什么需要引入更多的特征到粗排模型中?


为什么需要引入更多的特征到粗排模型中?


参考回答:

引入更多的特征到粗排模型中是为了进一步加强粗排模型的表达能力,并提高与精排模型的一致性。这些特征主要包括用户画像特征和用户的长期成交序列,它们能帮助粗排模型更准确地建模用户侧信息。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654796



问题四:如何尝试在粗排模型中引入交叉特征?


如何尝试在粗排模型中引入交叉特征?


参考回答:

为了向粗排模型中引入交叉特征,我们在原有的Item Tower和User Tower的基础上引入了Cross Tower。Cross Tower的输出向量与User侧向量计算内积,并与原有的内积结果相加得到最终的计算结果。然而,在离线和在线实验中,加入交叉特征并未带来显著的效果提升。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654797



问题五:为什么从内积模型结构切换到MLP结构没有带来预期的效果提升?


为什么从内积模型结构切换到MLP结构没有带来预期的效果提升?


参考回答:

从内积模型结构切换到MLP结构并没有带来预期的效果提升,可能是因为MLP结构需要更多的特征输入才能发挥其优势,而在粗排场景下,由于性能和效率的限制,无法引入过多的特征。此外,MLP结构本身也可能不适合粗排阶段的特点。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654798

相关文章
|
4月前
|
图计算
综合评价法与权重方法汇总
综合评价法与权重方法汇总
|
4月前
|
机器学习/深度学习 数据采集 搜索推荐
Paper Digest | 突破个性化推荐数据稀疏性:长尾增强的图对比学习算法研究
本文提出了一种新的长尾增强的图对比学习方法(LAGCL),该方法促使模型同时兼顾头部节点与尾部节点之间的知识,并通过长尾增强技术来使模型产出更均匀更准确的节点表征,从而改进基于 GNN 的推荐任务。
|
4月前
|
机器学习/深度学习 数据采集 监控
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
727 0
|
2月前
|
机器学习/深度学习 数据采集 数据挖掘
Python实现深度神经网络gcForest(多粒度级联森林)分类模型
Python实现深度神经网络gcForest(多粒度级联森林)分类模型
Python实现深度神经网络gcForest(多粒度级联森林)分类模型
|
1月前
|
搜索推荐
淘宝粗排问题之引入未曝光样本和随机负样本对粗排模型有何影响,如何解决
淘宝粗排问题之引入未曝光样本和随机负样本对粗排模型有何影响,如何解决
|
1月前
淘宝粗排问题之对粗排阶段打分集合归因到对应的场景内和场景外成交如何解决
淘宝粗排问题之对粗排阶段打分集合归因到对应的场景内和场景外成交如何解决
|
3月前
|
机器学习/深度学习 自然语言处理 算法
用神经架构搜索给LLM瘦身,模型变小,准确度有时反而更高
【6月更文挑战第20天】研究人员运用神经架构搜索(NAS)压缩LLM,如LLaMA2-7B,找到小而精准的子网,降低内存与计算成本,保持甚至提升性能。实验显示在多个任务上,模型大小减半,速度加快,精度不变或提升。NAS虽需大量计算资源,但结合量化技术,能有效优化大型语言模型。[论文链接](https://arxiv.org/pdf/2405.18377)**
40 3
|
4月前
|
机器学习/深度学习 数据可视化
数据分享|R语言生存分析模型因果分析:非参数估计、IP加权风险模型、结构嵌套加速失效(AFT)模型分析流行病学随访研究数据
数据分享|R语言生存分析模型因果分析:非参数估计、IP加权风险模型、结构嵌套加速失效(AFT)模型分析流行病学随访研究数据
|
4月前
|
机器学习/深度学习 算法 数据挖掘
一文介绍回归和分类的本质区别 !!
一文介绍回归和分类的本质区别 !!
158 0
|
11月前
|
机器学习/深度学习 自然语言处理 数据挖掘
向量召回:深入评估离线体系,探索优质召回方法
向量召回:深入评估离线体系,探索优质召回方法
向量召回:深入评估离线体系,探索优质召回方法