淘宝粗排问题之在粗排模型中引入交叉特征如何解决

简介: 淘宝粗排问题之在粗排模型中引入交叉特征如何解决

问题一:离线hitrate提升幅度与线上A/B test中hitrate提升幅度的一致性如何?


离线hitrate提升幅度与线上A/B test中hitrate提升幅度的一致性如何?


参考回答:

离线hitrate提升幅度与线上A/B test中hitrate提升幅度的一致性取决于多种因素。场景内提升幅度离在线必定不同,因为精排候选集分布的变化会影响最终指标。场景外提升幅度也可能不同,这取决于场景外转化到场景内的情况以及在线生效问题。如果场景外提升幅度相同且没有转化到场景内,则需要进一步分析粗排后续阶段对粗排新召回商品的认可程度。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654794



问题二:蒸馏样本的进一步扩充是如何进行的 ? 会遇到哪些问题?


蒸馏样本的进一步扩充是如何进行的 ? 会遇到哪些问题?


参考回答:

蒸馏样本的进一步扩充主要包括三种尝试:单独添加引入M个未曝光样本的蒸馏、去掉base中的pv distill loss增加一个N+M+K的蒸馏、保留base的蒸馏loss并添加一个N+M+K的蒸馏。

在尝试过程中,会遇到:

一是随机负样本中的未曝光样本的精排分数可能会高于曝光样本,二是未曝光商品的后验P(海选->曝光)=0,难以直接表征从海选到点击的概率。通过分析和实验,最终发现保留base蒸馏loss并添加一个N+M+K的蒸馏方案效果最好。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654795



问题三:为什么需要引入更多的特征到粗排模型中?


为什么需要引入更多的特征到粗排模型中?


参考回答:

引入更多的特征到粗排模型中是为了进一步加强粗排模型的表达能力,并提高与精排模型的一致性。这些特征主要包括用户画像特征和用户的长期成交序列,它们能帮助粗排模型更准确地建模用户侧信息。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654796



问题四:如何尝试在粗排模型中引入交叉特征?


如何尝试在粗排模型中引入交叉特征?


参考回答:

为了向粗排模型中引入交叉特征,我们在原有的Item Tower和User Tower的基础上引入了Cross Tower。Cross Tower的输出向量与User侧向量计算内积,并与原有的内积结果相加得到最终的计算结果。然而,在离线和在线实验中,加入交叉特征并未带来显著的效果提升。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654797



问题五:为什么从内积模型结构切换到MLP结构没有带来预期的效果提升?


为什么从内积模型结构切换到MLP结构没有带来预期的效果提升?


参考回答:

从内积模型结构切换到MLP结构并没有带来预期的效果提升,可能是因为MLP结构需要更多的特征输入才能发挥其优势,而在粗排场景下,由于性能和效率的限制,无法引入过多的特征。此外,MLP结构本身也可能不适合粗排阶段的特点。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/654798

相关文章
|
7月前
|
机器学习/深度学习 数据采集 监控
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
999 0
|
机器学习/深度学习 算法 Python
K最近邻算法:简单高效的分类和回归方法(三)
K最近邻算法:简单高效的分类和回归方法(三)
|
5月前
|
机器学习/深度学习 数据采集 数据挖掘
Python实现深度神经网络gcForest(多粒度级联森林)分类模型
Python实现深度神经网络gcForest(多粒度级联森林)分类模型
Python实现深度神经网络gcForest(多粒度级联森林)分类模型
|
4月前
|
搜索推荐
淘宝粗排问题之引入未曝光样本和随机负样本对粗排模型有何影响,如何解决
淘宝粗排问题之引入未曝光样本和随机负样本对粗排模型有何影响,如何解决
|
4月前
淘宝粗排问题之对粗排阶段打分集合归因到对应的场景内和场景外成交如何解决
淘宝粗排问题之对粗排阶段打分集合归因到对应的场景内和场景外成交如何解决
|
4月前
|
Oracle Java 关系型数据库
淘宝粗排问题之引入场景外成交样本以优化全域成交hitrate,如何解决
淘宝粗排问题之引入场景外成交样本以优化全域成交hitrate,如何解决
|
7月前
|
机器学习/深度学习
大模型开发: 解释批量归一化以及它在训练深度网络中的好处。
批量归一化(BN)是2015年提出的加速深度学习训练的技术,旨在解决内部协变量偏移、梯度消失/爆炸等问题。BN通过在每层神经网络的小批量数据上计算均值和方差,进行标准化处理,并添加可学习的γ和β参数,保持网络表达能力。这样能加速训练,降低超参数敏感性,对抗过拟合,简化初始化。BN通过稳定中间层输入分布,提升了模型训练效率和性能。
192 3
|
数据采集 存储 运维
K最近邻算法:简单高效的分类和回归方法
K最近邻算法:简单高效的分类和回归方法
|
机器学习/深度学习 监控 搜索推荐
深度粗排模型的GMV优化实践:基于全空间-子空间联合建模的蒸馏校准模型
随着业务的不断发展,粗排模型在整个系统链路中变得越来越重要,能够显著提升线上效果。本文是对粗排模型优化的阶段性总结。
1616 0
深度粗排模型的GMV优化实践:基于全空间-子空间联合建模的蒸馏校准模型
|
机器学习/深度学习 数据采集 并行计算
K最近邻算法:简单高效的分类和回归方法(二)
K最近邻算法:简单高效的分类和回归方法(二)