带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(7)

简介: 带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(7)

带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(6) https://developer.aliyun.com/article/1246839?groupCode=taobaotech



上下文感知模型对比


使用pv auc评估模型对返回列表中内容的排序能力,对比的基准为使用线上精排模型的排序分计算得到的结果。这里分别对比了单向LSTM,双向LSTM以及Multihead Self Attention(MSA)等结构。


image.png


带有上下文感知能力的重排模型对topN列表进行打分重排后,离线pv auc相比于使用精排模型的排序分有明显的提升。


使用双向LSTM相比于单向LSTM能够同时捕获到每个位置内容的前后序内容的相互影响,对于pv auc的提高有一定帮助。


MSA使用多头自注意力机制能够从多个不同子空间中捕获到内容之间更细粒度的交互关系,并且我们认为在每平每屋频道的双列feeds流中,LSTM的顺序依赖假设不一定符合用户真实的浏览习惯。


考虑到MSA中完全忽略了内容的位置关系,我们在其中加入了position embedding,相比于不含position embedding的MSA离线pv auc有进一步的提升。


需要注意的是,这里的pv auc能够一定程度上衡量序列评估模型的排序能力,但其并不能真实反应模型线上排序能力的提升。因为如果按照重排模型打分的结果对列表重新排序那么打分时的上下文和最终展现给用户时候内容的上下文就不一致了,这也是我们采用生成式重排方案的原因之一。


不同坑位的点击率对比


image.png


从坑位点击率的变化情况上可以看到首坑的点击率是下跌的,这印证了我们在问题背景中提到的关于DPP使用贪心策略选取内容并不一定能保证整个列表的收益最大化的分析。生成式重排以整个列表的收益最大化为目标,虽然牺牲了首坑点击率,但却提高了整体推荐列表的效果。第4,5,6坑位的点击率提升幅度低于其他坑位,我们认为模型在一定程度上感知到了将用户感兴趣的内容有间隔地展示给用户可以在吸引用户点击的同时引导其浏览更多的内容,从而从整体上产生更多的点击数量。



带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(8) https://developer.aliyun.com/article/1246837?groupCode=taobaotech

相关文章
|
并行计算 数据挖掘 PyTorch
【YOLOv8改进 - 特征融合】DySample :超轻量级且高效的动态上采样器
【YOLOv8改进 - 特征融合】DySample :超轻量级且高效的动态上采样器
【YOLOv8改进 - 特征融合】DySample :超轻量级且高效的动态上采样器
|
机器学习/深度学习 人工智能 监控
计算机视觉技术在安防领域的应用深度解析
【7月更文挑战第28天】计算机视觉技术作为人工智能领域的重要分支,在安防领域的应用前景广阔。通过不断提升技术性能和解决实际应用中的问题,计算机视觉技术将进一步提升安防工作的效率和准确性,为公共安全和社会稳定贡献更大的力量。
|
机器学习/深度学习 算法 搜索推荐
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
254 0
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
|
机器学习/深度学习 自然语言处理 搜索推荐
承上启下:基于全域漏斗分析的主搜深度统一粗排
两阶段排序(粗排-精排)一开始是因系统性能问题提出的排序框架,因此长期以来粗排的定位一直是精排的退化版本,业内的粗排的优化方向也是持续逼近精排。我们提出以全域成交的hitrate为目标的全新指标,重新审视了召回、粗排和精排的关系,指出了全新的优化方向
94149 3
探索Linux操作系统的内核模块
本文将深入探讨Linux操作系统的核心组成部分——内核模块,揭示其背后的工作机制和实现方式。我们将从内核模块的定义开始,逐步解析其加载、卸载以及与操作系统其他部分的交互过程,最后探讨内核模块在系统性能优化中的关键作用。
|
机器学习/深度学习 算法 异构计算
[FNet]论文实现:FNet:Mixing Tokens with Fourier Transform
[FNet]论文实现:FNet:Mixing Tokens with Fourier Transform
139 1
|
算法 搜索推荐
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3)
254 0
|
小程序 JavaScript Java
android电子班牌人脸识别系统源码
智慧校园云平台全套源码包含:电子班牌管理系统、成绩管理系统、考勤人脸刷卡管理系统、综合素养评价系统、请假管理系统、电子班牌发布系统、校务管理系统、小程序移动端、教师后台管理系统、SaaS运营云平台。
207 1
|
算法 Serverless 计算机视觉
Fast Fourier Transform,简称 FFT
快速傅里叶变换(Fast Fourier Transform,简称 FFT)是一种高效计算离散傅里叶变换(DFT)的算法。它可以将一个有限长度的离散信号序列转换为一系列不同频率的正弦和余弦波,从而使我们能够更容易地分析和处理信号。与传统的 DFT 算法相比,FFT 算法具有更高的计算效率,因为它利用了对称性和周期性的性质,将计算复杂度从 O(N^2) 降低到 O(NlogN)。
335 5
|
机器学习/深度学习 人工智能 算法
Generator-Evaluator重排模型在淘宝流式场景的实践
Generator-Evaluator重排模型在淘宝流式场景的实践
1236 0