淘宝粗排问题之对粗排阶段打分集合归因到对应的场景内和场景外成交如何解决

简介: 淘宝粗排问题之对粗排阶段打分集合归因到对应的场景内和场景外成交如何解决

问题一:全域成交hitrate指标是如何划分的?


全域成交hitrate指标是如何划分的?


参考回答:

全域成交hitrate指标可以划分为场景内成交和场景外成交两类。场景内成交是用户在搜索场景内产生的所有成交,而场景外成交是同一个用户关联到的非搜索场景产生的成交。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654789



问题二:如何对粗排阶段打分集合归因到对应的场景内和场景外成交?


如何对粗排阶段打分集合归因到对应的场景内和场景外成交?


参考回答:

通过埋点的方式,将多路召回结果统一使用粗排模型打分进行排序,并截断Top K计算搜索引导成交和符合相关性要求的非搜索关联成交对应的hitrate@K。对于场景外成交,需要根据搜索意图的相关性进行过滤。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654790



问题三:从场景外hitrate角度分析,粗排在输出10^3量级优质商品这个任务上的提升空间如何?


从场景外hitrate角度分析,粗排在输出10^3量级优质商品这个任务上的提升空间如何?


参考回答:

从场景外hitrate角度分析,当K从召回缩减到10^3时,场景内/外成交的hitrate衰减非常缓慢;当小于10^3后,指标衰减逐渐加快。因此,对于从召回集合中输出10^3量级的优质商品这个任务,粗排可以提升的空间天花板较低。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654791



问题四:衡量粗排->精排损失的指标有哪些?


衡量粗排->精排损失的指标有哪些?


参考回答:

衡量粗排->精排损失的指标包括粗排hitrate@10等粗排头部场景内成交、曝光商品粗排总分与精排效率分数的NDCG/逆序对,以及AUC。这些指标旨在评估粗排模型预测的准确性以及与精排模型的一致性。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654792



问题五:如何衡量召回->粗排损失?


如何衡量召回->粗排损失?


参考回答:

衡量召回->粗排损失的指标包括场景内hitrate@103和场景外hitrate@103。场景内hitrate@103通过比粗排打分小不到一个量级的集合近似表征,而场景外hitrate@103则以场景外指标为基准,判断粗排模型的能力。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654793

相关文章
|
机器学习/深度学习 自然语言处理 并行计算
Self-Attention 原理与代码实现
Self-Attention 原理与代码实现
709 0
|
机器学习/深度学习 人工智能 自然语言处理
一文搞懂【知识蒸馏】【Knowledge Distillation】算法原理
一文搞懂【知识蒸馏】【Knowledge Distillation】算法原理
一文搞懂【知识蒸馏】【Knowledge Distillation】算法原理
|
机器学习/深度学习 自然语言处理 搜索推荐
承上启下:基于全域漏斗分析的主搜深度统一粗排
两阶段排序(粗排-精排)一开始是因系统性能问题提出的排序框架,因此长期以来粗排的定位一直是精排的退化版本,业内的粗排的优化方向也是持续逼近精排。我们提出以全域成交的hitrate为目标的全新指标,重新审视了召回、粗排和精排的关系,指出了全新的优化方向
94063 3
|
搜索推荐
淘宝粗排问题之引入未曝光样本和随机负样本对粗排模型有何影响,如何解决
淘宝粗排问题之引入未曝光样本和随机负样本对粗排模型有何影响,如何解决
|
机器学习/深度学习 监控 搜索推荐
深度粗排模型的GMV优化实践:基于全空间-子空间联合建模的蒸馏校准模型
随着业务的不断发展,粗排模型在整个系统链路中变得越来越重要,能够显著提升线上效果。本文是对粗排模型优化的阶段性总结。
1909 0
深度粗排模型的GMV优化实践:基于全空间-子空间联合建模的蒸馏校准模型
|
数据可视化 Python
五种Pandas图表美化样式汇总
五种Pandas图表美化样式汇总
100 2
|
搜索推荐 测试技术
淘宝粗排问题之在粗排模型中引入交叉特征如何解决
淘宝粗排问题之在粗排模型中引入交叉特征如何解决
|
搜索推荐 测试技术 流计算
承上启下:基于全域漏斗分析的主搜深度统一粗排
文章首先介绍了淘宝搜索的多阶段检索系统,包括召回、粗排和精排阶段。粗排模型的目标是优化商品的排序,以提高在召回集合中选择优质商品的能力。文章提到,粗排模型与精排模型的目标有所不同,粗排更注重腰部商品的排序,而精排更注重头部商品的排序。 此外,文章还探讨了模型的损失函数形式,发现原始的softmax损失函数在处理多正样本时存在问题,提出了改进的损失函数,使得模型在粗排阶段的表现更佳。最后,作者们总结了优化工作的进展,以及优化样本对齐,以实现更好的整体效果。
|
机器学习/深度学习 存储 搜索推荐
连续迁移学习跨域推荐排序模型在淘宝推荐系统的应用
本文探讨了如何在工业界的连续学习的框架下实现跨域推荐模型,提出了连续迁移学习这一新的跨域推荐范式,利用连续预训练的源域模型的中间层表征结果作为目标域模型的额外知识,设计了一个轻量级的Adapter模块实现跨域知识的迁移,并在有好货推荐排序上取得了显著业务效果。
1161 0
连续迁移学习跨域推荐排序模型在淘宝推荐系统的应用
|
机器学习/深度学习 搜索推荐 算法
【前沿解读】17篇2023淘天业务技术A类顶会论文(下)
【前沿解读】17篇2023淘天业务技术A类顶会论文(下)
414 3