带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(1)

简介: 带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(1)

作者:阅谦

出品:大淘宝技术


本系列文章包含每平每屋过去一年在召回、排序和冷启动等模块中的一些探索和实践经验,本文为该专题的第四篇。


第一篇指路:冷启动系统优化与内容潜力预估实践

第二篇指路:GNN在轻应用内容推荐中的召回实践

第三篇指路:基于特征全埋点的精排ODL实践总结

第四篇指路:Gradient Normalization在多任务学习中的优化实践


问题背景


每平每屋频道是每平每屋业务在淘宝建立用户家居、生活方式心智场的主要阵地。在频道中,内容主要以场景搭配为主,内容内挂载了多个商品锚点,点击商品锚点可以跳转到商品的详情页。


image.png


频道中的内容具有多样的空间和风格属性,空间包含客厅,餐厅,卧室,书房等,风格属性包含日式,北欧,欧式,中式等。这些多样化的内容承载着不同用户在不同时刻买和逛的需求。


多样性和相关性的平衡是推荐系统中长期存在的问题之一。以点击率/转化率等效率目标进行优化的算法虽然能够做到用户-内容的精准匹配,但其point-wise最优的排序策略容易导致相似的内容聚集扎堆出现。对用户而言看到的内容越来越单一和同质化,信息茧房不断加重,探索型用户诉求也无法得到有效满足,最终导致用户疲劳甚至流失。对内容而言,系统流量逐渐被头部高热内容占据,长尾内容无法得到有效曝光,创作者的积极性也会受到打击,长期来看不利于整个系统的生态建设。


推荐结果的多样性的依赖于系统中各模块的协同,在淘宝每平每屋频道推荐系统中,我们在召回模块使用了MIND多兴趣向量召回[1]和基于淘宝商品行为的跨域向量召回[2]以及召回类目数量控制等方法提升了召回结果的多样性,在排序模块中我们引入了用户超长周期的历史行为[3]以及窗口打散,MMR[4]和DPP[5]等重排方法显著提升了推荐结果多样性和浏览深度,Visual EE[6] 和Impression Discounting[7] 等方法则在系统链路和机制策略的层面提升了系统的多样性。


本文将介绍每平每屋频道在推荐链路末端的重排序环节使用生成式重排技术进行优化的方案和实验分析。前期我们使用基于DPP的多样性重排方法在浏览深度,人均点击量和曝光内容的多样性等指标上均获得了一定的收益,但我们认为这类方法在对最终展现给用户的内容间的相互影响和列表整体的收益进行建模上仍存在不足,体现在:


内容与用户兴趣相关性的度量依赖point-wise的rank score,没有考虑到内容之间的相互作用


MMR/DPP等基于贪婪策略选择的方法难以获得获得全局最优解,如第一坑位选择rank分数最高的内容并不一定能保证整个列表的收益最大化


相关性与多样性的平衡依赖超参数的控制,难以满足不同用户对多样性的诉求,以点击不同空间内容的信息熵来评估用户兴趣的发散程度,可以看到下图呈现出多峰分布的状态,说明用户对多样性的诉求程度是不同的


image.png


带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2) https://developer.aliyun.com/article/1246844?groupCode=taobaotech

相关文章
|
23天前
|
机器学习/深度学习 人工智能 资源调度
大语言模型的核心算法——简要解析
大语言模型的核心算法基于Transformer架构,以自注意力机制为核心,通过Q、K、V矩阵动态捕捉序列内部关系。多头注意力增强模型表达能力,位置编码(如RoPE)解决顺序信息问题。Flash Attention优化计算效率,GQA平衡性能与资源消耗。训练上,DPO替代RLHF提升效率,MoE架构实现参数扩展,Constitutional AI实现自监督对齐。整体技术推动模型在长序列、低资源下的性能突破。
192 8
|
2月前
|
人工智能 数据可视化 开发者
深度解析基于LangGraph的Agent系统架构设计与工程实践
LangGraph作为Agent 生态中非常热门的框架,今天我将借助 LangGraph,更高效、更优雅的方式构建复杂智能体系统。
645 0
|
算法 C++
剑指offer(C++)-JZ41:数据流中的中位数(算法-排序)
剑指offer(C++)-JZ41:数据流中的中位数(算法-排序)
168 0
剑指offer(C++)-JZ41:数据流中的中位数(算法-排序)
|
人工智能 自然语言处理 搜索推荐
LLM在电商推荐系统的探索与实践
LLM在电商推荐系统的探索与实践
3844 1
|
人工智能 负载均衡 网络架构
混合专家更有主见了,能感知多模态分情况行事,Meta提出模态感知型专家混合
【9月更文挑战第3天】在人工智能领域,多模态学习备受关注。Meta AI提出了一种名为模态感知型专家混合(MoMa)的新架构,通过模态特定的专家模块组合处理图像和文本,提升了多模态早期融合语言模型的预训练效率。MoMa在1万亿令牌训练下,实现了3.7倍的FLOPs节省,优于标准混合专家方案。尽管存在因果推理性能和负载平衡方面的局限性,MoMa仍为多模态预训练提供了高效新方法。论文详细内容见:https://arxiv.org/pdf/2407.21770
238 3
|
机器学习/深度学习 算法 搜索推荐
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
236 0
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
|
搜索推荐 测试技术
淘宝粗排问题之在粗排模型中引入交叉特征如何解决
淘宝粗排问题之在粗排模型中引入交叉特征如何解决
|
搜索推荐
淘宝粗排问题之引入未曝光样本和随机负样本对粗排模型有何影响,如何解决
淘宝粗排问题之引入未曝光样本和随机负样本对粗排模型有何影响,如何解决
|
搜索推荐 测试技术 流计算
承上启下:基于全域漏斗分析的主搜深度统一粗排
文章首先介绍了淘宝搜索的多阶段检索系统,包括召回、粗排和精排阶段。粗排模型的目标是优化商品的排序,以提高在召回集合中选择优质商品的能力。文章提到,粗排模型与精排模型的目标有所不同,粗排更注重腰部商品的排序,而精排更注重头部商品的排序。 此外,文章还探讨了模型的损失函数形式,发现原始的softmax损失函数在处理多正样本时存在问题,提出了改进的损失函数,使得模型在粗排阶段的表现更佳。最后,作者们总结了优化工作的进展,以及优化样本对齐,以实现更好的整体效果。
|
机器学习/深度学习 监控 搜索推荐
深度粗排模型的GMV优化实践:基于全空间-子空间联合建模的蒸馏校准模型
随着业务的不断发展,粗排模型在整个系统链路中变得越来越重要,能够显著提升线上效果。本文是对粗排模型优化的阶段性总结。
1953 0
深度粗排模型的GMV优化实践:基于全空间-子空间联合建模的蒸馏校准模型