带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3)

简介: 带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3)

带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2) https://developer.aliyun.com/article/1246844?groupCode=taobaotech



DPP


基于DPP的多样性算法通过计算核矩阵 image.png的行列式找到候选内容集合中相关性和多样性最大的子集。相比于MMR每次只考虑当前内容与前序已选内容中最相似的内容的相似度,DPP会综合考虑所有已选内容的相互影响。


image.png


image.png 为候选内容集合,image.png 为已选中内容集合,image.png 为内容i的相关性分,image.png 为内容i和内容j的相似度分, image.png 为平衡相关性与多样性的因子, image.png越大生成的列表多样性越高。我们使用多组不同超参数image.png 生成了具有不同多样性程度的候选列表。


基于DPP的多样性重排打散是我们在线上全量部署的方法,通过复用线上已有的重排打散方法可以确保在序列评估模型不差的情况下取得和线上base相近的效果。


beam search


MMR和DPP均为greedy search策略,每一步选当前状态下目标效用函数最大的内容加入候选列表中,直到候选列表长度满足要求。贪心策略的每一步都采取的是局部最优策略,并不能保证产生是全局最优解。例如第一坑位选择效率分最高的内容并不一定能保证整个列表的收益最大化。


exhaustive search策略相比greedy search能够确保产生全局最优的策略,假设从m个候选内容中挑选n个组成最终的候选列表,那么一共有 image.png种组合方式。假设从50个内容选择10个内容返回,那么则约有 image.png种组合,庞大的计算量对于线上的推荐系统来说是不可接受的。


beam search则是exhaustive search和greedy search之间的一种折中解法,能够以较低的计算代价产生接近全局最优的策略。设定超参数k为beam size,那么在序列生成的每一步我们都会有k个序列,在已选中的k个序列的基础上再加入新的内容,得到m个候选序列,根据序列价值从高到底选择这m个序列中的k个作为下一步的已选中序列,不断迭代直到列表中所有位置都被填充完毕,此时序列价值最高的k个将作为最终的结果。




带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(4) https://developer.aliyun.com/article/1246841?groupCode=taobaotech

相关文章
|
机器学习/深度学习 算法 搜索推荐
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
236 0
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
|
机器学习/深度学习 自然语言处理 搜索推荐
承上启下:基于全域漏斗分析的主搜深度统一粗排
两阶段排序(粗排-精排)一开始是因系统性能问题提出的排序框架,因此长期以来粗排的定位一直是精排的退化版本,业内的粗排的优化方向也是持续逼近精排。我们提出以全域成交的hitrate为目标的全新指标,重新审视了召回、粗排和精排的关系,指出了全新的优化方向
94102 3
|
搜索推荐 测试技术
淘宝粗排问题之在粗排模型中引入交叉特征如何解决
淘宝粗排问题之在粗排模型中引入交叉特征如何解决
|
搜索推荐 测试技术 流计算
承上启下:基于全域漏斗分析的主搜深度统一粗排
文章首先介绍了淘宝搜索的多阶段检索系统,包括召回、粗排和精排阶段。粗排模型的目标是优化商品的排序,以提高在召回集合中选择优质商品的能力。文章提到,粗排模型与精排模型的目标有所不同,粗排更注重腰部商品的排序,而精排更注重头部商品的排序。 此外,文章还探讨了模型的损失函数形式,发现原始的softmax损失函数在处理多正样本时存在问题,提出了改进的损失函数,使得模型在粗排阶段的表现更佳。最后,作者们总结了优化工作的进展,以及优化样本对齐,以实现更好的整体效果。
|
机器学习/深度学习 算法 vr&ar
南大最新综述论文:基于模型的强化学习
南大最新综述论文:基于模型的强化学习
524 0
|
机器学习/深度学习 监控 搜索推荐
深度粗排模型的GMV优化实践:基于全空间-子空间联合建模的蒸馏校准模型
随着业务的不断发展,粗排模型在整个系统链路中变得越来越重要,能够显著提升线上效果。本文是对粗排模型优化的阶段性总结。
1953 0
深度粗排模型的GMV优化实践:基于全空间-子空间联合建模的蒸馏校准模型
|
机器学习/深度学习 PyTorch 算法框架/工具
SENet代码复现+超详细注释(PyTorch)
SENet代码复现+超详细注释(PyTorch)
1317 1
|
搜索推荐 算法
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(1)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(1)
257 0
|
机器学习/深度学习 人工智能 算法
Generator-Evaluator重排模型在淘宝流式场景的实践
Generator-Evaluator重排模型在淘宝流式场景的实践
1114 0
|
机器学习/深度学习 资源调度 算法
【RLchina第四讲】Model-Based Reinforcement Learning(上)
【RLchina第四讲】Model-Based Reinforcement Learning(上)
1225 0