淘宝粗排问题之引入未曝光样本和随机负样本对粗排模型有何影响,如何解决

简介: 淘宝粗排问题之引入未曝光样本和随机负样本对粗排模型有何影响,如何解决

问题一:淘宝主搜索的多阶段检索系统主要包括哪些阶段?粗排阶段与精排阶段的主要差异是什么?


淘宝主搜索的多阶段检索系统主要包括哪些阶段?粗排阶段与精排阶段的主要差异是什么?


参考回答:

淘宝主搜索的多阶段检索系统主要包括召回、粗排、精排等阶段。召回阶段由文本召回、个性化等多路召回构成,粗排阶段从多路召回集合中筛选,精排阶段再进行筛选输出最终给用户的曝光商品。

粗排阶段与精排阶段的主要差异在于目标不同。粗排注重从海量候选集中选出优质的子集,而精排则更注重头部商品的排序。因此,尽管两者都是排序,但优化的方向和目标存在显著差异。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654784



问题二:为什么只提高NDCG而不增加负采样会让粗排效果更差?


为什么只提高NDCG而不增加负采样会让粗排效果更差?


参考回答:

只提高NDCG而不增加负采样会让粗排效果更差,是因为NDCG这个指标本身与粗排实际的优化方向存在很大偏差。粗排最要解决的是如何从召回集合中选出优质的子集,而NDCG无法衡量召回-粗排的损失,也无法衡量粗排负采样的好坏。因此,盲目提高NDCG并不一定能提升粗排的实际效果。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654785



问题三:今年引入的“全域成交hitrate”作为粗排评价标准有什么作用?


今年引入的“全域成交hitrate”作为粗排评价标准有什么作用?


参考回答:

今年引入的“全域成交hitrate”作为粗排评价标准,可以帮助我们更准确地衡量召回-粗排的损失,从而更有效地评估粗排负采样的好坏。通过这一指标,我们可以对从召回->粗排->精排的全域成交漏斗损失进行系统的分析,进而规范与统一各个阶段的优化空间和优化目标。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654786



问题四:引入未曝光样本和随机负样本对粗排模型有何影响?


引入未曝光样本和随机负样本对粗排模型有何影响?


参考回答:

引入未曝光样本和随机负样本这两部分负样本的扩充共带来约5.5 pt的场景外的hitrate的提升,这有助于模型更好地拟合粗排阶段的打分空间。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654787



问题五:在粗排模型中,蒸馏任务的作用是什么?


在粗排模型中,蒸馏任务的作用是什么?


参考回答:

在粗排模型中,蒸馏任务的作用是进一步提高模型与精排模型的一致性。具体做法是在曝光样本上让粗排模型学习精排模型的打分分数,从而使粗排模型能够学习到精排模型的排序逻辑。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654788

相关文章
|
7月前
|
图计算
综合评价法与权重方法汇总
综合评价法与权重方法汇总
【数理统计实验(一)】统计量近似分布的随机模拟
【数理统计实验(一)】统计量近似分布的随机模拟
|
4月前
|
SQL 自然语言处理 算法
评估数据集CGoDial问题之计算伪OOD样本的软标签的问题如何解决
评估数据集CGoDial问题之计算伪OOD样本的软标签的问题如何解决
|
4月前
|
存储 机器学习/深度学习 物联网
基于重要性加权的LLM自我改进:考虑分布偏移的新框架
本文提出一种新的大型语言模型(LLM)自我改进框架——基于重要性加权的自我改进(IWSI),旨在优化自动生成数据的质量。通过引入DS权重指标衡量数据的分布偏移程度(DSE),该方法不仅能确保答案正确性,还能过滤掉那些虽正确但分布上偏离较大的样本,以提升自我训练的效果。IWSI使用一个小的有效数据集来估算每个自生成样本的DS权重,并据此进行筛选。实验结果显示,相比于仅依赖答案正确性的传统方法,IWSI能更有效地提高LLM在多种任务上的表现。特别是在数学问题解答任务上,相较于基线方法,IWSI带来了显著的性能提升,证实了过滤高DSE样本的重要性及该方法的有效性。
78 0
基于重要性加权的LLM自我改进:考虑分布偏移的新框架
|
4月前
|
UED
评估数据集CGoDial问题之主流生成伪OOD样本的问题如何解决
评估数据集CGoDial问题之主流生成伪OOD样本的问题如何解决
|
4月前
|
搜索推荐 测试技术
淘宝粗排问题之在粗排模型中引入交叉特征如何解决
淘宝粗排问题之在粗排模型中引入交叉特征如何解决
|
4月前
淘宝粗排问题之对粗排阶段打分集合归因到对应的场景内和场景外成交如何解决
淘宝粗排问题之对粗排阶段打分集合归因到对应的场景内和场景外成交如何解决
|
4月前
|
SQL 自然语言处理 算法
预训练模型STAR问题之计算伪OOD样本的软标签的问题如何解决
预训练模型STAR问题之计算伪OOD样本的软标签的问题如何解决
|
4月前
|
Oracle Java 关系型数据库
淘宝粗排问题之引入场景外成交样本以优化全域成交hitrate,如何解决
淘宝粗排问题之引入场景外成交样本以优化全域成交hitrate,如何解决
|
7月前
R语言向量误差修正模型 (VECMs)分析长期利率和通胀率影响关系
R语言向量误差修正模型 (VECMs)分析长期利率和通胀率影响关系