带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(6)

简介: 带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(6)

带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(5) https://developer.aliyun.com/article/1246840?groupCode=taobaotech



实验结果分析


序列生成方法对比


使用列表整体PV和IPV衡量不同的序列生成方法的效果,raw方法为按照原始rank score排序得到的列表。


image.png


IPV指标可以通过提升浏览深度和点击率来优化,代表了推荐列表的整体收益。在一些情形下,虽然PCTR提高了,但整体的IPV指标确是下降的,这一般是由于浏览深度下降的幅度超过了点击率提升的幅度。信息流推荐场景中,提高分发内容的多样性通常可以间接地提升浏览深度。


image.png


引入多样性后,列表的浏览深度均有提高。基于DPP方法生成的列表在PV和IPV指标上相比其他几种具有最好的效果表现,这也说明DPP确实是一种不错的多样性重排方法。MMR虽然在PV指标上显著高于其他,但整体IPV具有较大的下降,主要是整体的PCTR降低导致,通过调整生成MMR序列的超参数降低多样性程度可以缓解。beam search方法具有与DPP相近的PV和IPV收益,并且具有接近一半的分发占比,说明了相比于greedy search具有更广泛的解搜索能力,未来可以对beam search的价值评估策略做进一步优化提升效果。


注意到按原始rank score排序的列表仍然具有18.65%的分发比例,这说明在序列评估模型的视角下并不是所有时候都需要引入多样性,生成式重排具有一定的自适应平衡相关性和多样性的能力。



带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(7) https://developer.aliyun.com/article/1246838?groupCode=taobaotech


相关文章
|
搜索推荐 机器学习/深度学习 算法
如何增加用户的参与感?交互式推荐来了!
一方面,互动能让用户感受到更多的参与感,并能一定程度上干预推荐结果,而不只是被动接受推荐结果;另一方面,系统通过与用户的互动能更加了解用户的偏好,从而提升推荐效果。那么,我们是如何让用户和推荐系统互动起来的呢?且看下文。
4662 0
|
23天前
|
机器学习/深度学习 负载均衡 网络架构
Mixture of Experts架构的简要解析
Mixture of Experts(MoE)架构起源于1991年,其核心思想是通过多个专门化的“专家”网络处理输入的不同部分,并由门控网络动态组合输出。这种架构实现了稀疏激活,仅激活部分专家,从而在模型规模与计算成本之间取得平衡。MoE的关键在于门控机制的设计,如线性门控、噪声Top-K门控等,确保模型能根据输入特征自适应选择专家。
146 8
|
人工智能 负载均衡 网络架构
混合专家更有主见了,能感知多模态分情况行事,Meta提出模态感知型专家混合
【9月更文挑战第3天】在人工智能领域,多模态学习备受关注。Meta AI提出了一种名为模态感知型专家混合(MoMa)的新架构,通过模态特定的专家模块组合处理图像和文本,提升了多模态早期融合语言模型的预训练效率。MoMa在1万亿令牌训练下,实现了3.7倍的FLOPs节省,优于标准混合专家方案。尽管存在因果推理性能和负载平衡方面的局限性,MoMa仍为多模态预训练提供了高效新方法。论文详细内容见:https://arxiv.org/pdf/2407.21770
238 3
|
Linux 网络安全 开发者
【Python】已解决:WARNING: pip is configured with locations that require TLS/SSL, however the ssl module i
【Python】已解决:WARNING: pip is configured with locations that require TLS/SSL, however the ssl module i
4253 3
|
机器学习/深度学习 算法 搜索推荐
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
236 0
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
|
搜索推荐 测试技术 流计算
承上启下:基于全域漏斗分析的主搜深度统一粗排
文章首先介绍了淘宝搜索的多阶段检索系统,包括召回、粗排和精排阶段。粗排模型的目标是优化商品的排序,以提高在召回集合中选择优质商品的能力。文章提到,粗排模型与精排模型的目标有所不同,粗排更注重腰部商品的排序,而精排更注重头部商品的排序。 此外,文章还探讨了模型的损失函数形式,发现原始的softmax损失函数在处理多正样本时存在问题,提出了改进的损失函数,使得模型在粗排阶段的表现更佳。最后,作者们总结了优化工作的进展,以及优化样本对齐,以实现更好的整体效果。
|
算法 搜索推荐
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3)
243 0
|
机器学习/深度学习 存储 算法
Faiss为啥这么快?原来是量化器在做怪!1
Faiss为啥这么快?原来是量化器在做怪!
889 0
|
机器学习/深度学习 人工智能 算法
Generator-Evaluator重排模型在淘宝流式场景的实践
Generator-Evaluator重排模型在淘宝流式场景的实践
1114 0
|
机器学习/深度学习
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(7)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(7)
228 0