带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: 带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)

带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(1) https://developer.aliyun.com/article/1246845?groupCode=taobaotech



相关工作


带着上述问题,我们调研了一些具备上下文感知能力的个性化重排方法。


DLCM[8]和PRM[9]分别使用GRU和Transformer结构对候选列表中内容的特征进行提取从而得到每个内容在考虑了上下文相互影响和列表整体信息的预估分,按预估分对候选列表中的内容进行重排序。这类方法虽然简洁高效,但重排序后的列表每个内容的上下文已经发生了改变,即内容参与打分时的上下文与最终内容展现时的上下文并不一致。


miRNN[10]和Seq2slate[11]分别使用RNN和PointerNetwork通过对列表中已选中内容对当前内容的影响进行建模来逐个生成展现列表中的内容。这类方法能够确保打分时的上下文和最终展现给用户时候内容的上下文一致,但在生成每个内容时无法考虑到后续内容对该内容的影响,即对上下文信息的建模并不充分。


EG-Rerank[12]和GRN[13]提出将将重排拆解成由序列生成和序列评估组成的两阶段任务,来实现保持打分上下文与展现上下文一致以及充分建模内容上下文信息从而实现列表整体收益最大化的目标。下面介绍我们在每平每屋频道中应用生成式重排的方案。


技术方案


序列生成


在序列生成环节,出于整体系统链路性能的考虑,我们采用了若干不同的启发式策略并行产生兼顾效率目标与多样性目标的候选列表。


MMR


MMR是一种启发式的多样性算法,其在产生推荐列表每个位置内容时会同时考虑当前内容的相关性和当前内容与前序已选内容中最相似的内容的相似度。


image.png


image.png为候选内容集合,image.png 为已选中内容集合, image.png为内容i的相关性分, image.png为内容i和内容j的相似度分, image.png 为平衡因子, image.png越小生成的列表多样性越高,我们使用不同的超参数image.png 产生了若干组候选列表。



带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3) https://developer.aliyun.com/article/1246843?groupCode=taobaotech

相关文章
|
算法 搜索推荐 安全
淘宝信息流融合混排服务升级
淘宝信息流融合混排服务升级
1561 1
|
机器学习/深度学习 自然语言处理 搜索推荐
自注意力机制全解析:从原理到计算细节,一文尽览!
自注意力机制(Self-Attention)最早可追溯至20世纪70年代的神经网络研究,但直到2017年Google Brain团队提出Transformer架构后才广泛应用于深度学习。它通过计算序列内部元素间的相关性,捕捉复杂依赖关系,并支持并行化训练,显著提升了处理长文本和序列数据的能力。相比传统的RNN、LSTM和GRU,自注意力机制在自然语言处理(NLP)、计算机视觉、语音识别及推荐系统等领域展现出卓越性能。其核心步骤包括生成查询(Q)、键(K)和值(V)向量,计算缩放点积注意力得分,应用Softmax归一化,以及加权求和生成输出。自注意力机制提高了模型的表达能力,带来了更精准的服务。
13996 46
|
存储 人工智能 搜索推荐
RAG系统的7个检索指标:信息检索任务准确性评估指南
大型语言模型(LLMs)在生成式AI领域备受关注,但其知识局限性和幻觉问题仍具挑战。检索增强生成(RAG)通过引入外部知识和上下文,有效解决了这些问题,并成为2024年最具影响力的AI技术之一。RAG评估需超越简单的实现方式,建立有效的性能度量标准。本文重点讨论了七个核心检索指标,包括准确率、精确率、召回率、F1分数、平均倒数排名(MRR)、平均精确率均值(MAP)和归一化折损累积增益(nDCG),为评估和优化RAG系统提供了重要依据。这些指标不仅在RAG中发挥作用,还广泛应用于搜索引擎、电子商务、推荐系统等领域。
8896 2
RAG系统的7个检索指标:信息检索任务准确性评估指南
|
编译器 开发工具 C语言
vscode安装+配置+使用+调试【保姆级教程】
vscode安装+配置+使用+调试【保姆级教程】
61476 9
|
数据采集 自然语言处理 搜索推荐
心得经验总结:浅析PageRank算法
心得经验总结:浅析PageRank算法
394 0
|
机器学习/深度学习 存储 算法
脱胎换骨的生成模式:强化学习重排
AliExpress 搜索重排项目在 6 月份时全量发布了第一个 fined tuned 的 DNN 版重排模型,本次的工作作为上一版本的升级,在日常、大促时的表现均有显著优势。本文将深入浅出强化学习框架重排实践,并引出几个潜在的提升空间。 作者:辰火、讷朴、达卿
3639 0
脱胎换骨的生成模式:强化学习重排
|
存储 SQL 数据采集
SaaS厂商数据库设计(3)-租户元数据管理&数据管理
SaaS厂商设计中元数据管理以及逻辑视图方式下数据管理
1187 2
SaaS厂商数据库设计(3)-租户元数据管理&数据管理
|
机器学习/深度学习 人工智能 算法
Generator-Evaluator重排模型在淘宝流式场景的实践
Generator-Evaluator重排模型在淘宝流式场景的实践
2698 0
|
算法 搜索推荐
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3)
448 0
|
搜索推荐 算法
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(1)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(1)
422 0