带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(5)

简介: 带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(5)

带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(4) https://developer.aliyun.com/article/1246841?groupCode=taobaotech



上下文感知的评估模型


image.png


上下文感知的评估模型的整体结构示意图如上,每个模块的功能如下:


Input


模型的输入包括用户侧特征图片和一个长度为n的候选列表,列表内第i个位置对应的内容特征为 。内容侧特征由内容的属性特征,历史曝光点击特征以及上游的精排模型效率分等构成。


Context-Aware Encoder


对于序列内第i个位置的内容image.png ,使用context-aware encoder获得其在列表内前后内容相互影响下的表示向量image.png ,context-aware encoder 可以是任意具有上下文感知能力的结构,如LSTM,Self Attention等。

image.png


Shared Task Net


Shared Task Net以用户侧特征image.png ,内容特征 image.png以及内容经过context-aware encoder得到表示向量 image.png作为输入,根据具体的任务目标可以使用不同的模型结构,我们对线上精排模型使用的MMoE结构进行了简化作为Shared Task Net,不同位置的内容共享相同的网络参数。


image.png


Output


模型最终会输出列表内每个内容的效率分image.pngimage.png。训练阶段以线上真实的曝光点击数据作为label采用交叉熵损失函数进行参数优化。


序列整体价值评估


序列的整体价值表示为:


image.png


最终选取SequenceValue最高的列表展现给用户。



带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(6) https://developer.aliyun.com/article/1246839?groupCode=taobaotech

相关文章
|
23天前
|
机器学习/深度学习 人工智能 资源调度
大语言模型的核心算法——简要解析
大语言模型的核心算法基于Transformer架构,以自注意力机制为核心,通过Q、K、V矩阵动态捕捉序列内部关系。多头注意力增强模型表达能力,位置编码(如RoPE)解决顺序信息问题。Flash Attention优化计算效率,GQA平衡性能与资源消耗。训练上,DPO替代RLHF提升效率,MoE架构实现参数扩展,Constitutional AI实现自监督对齐。整体技术推动模型在长序列、低资源下的性能突破。
192 8
|
23天前
|
机器学习/深度学习 负载均衡 网络架构
Mixture of Experts架构的简要解析
Mixture of Experts(MoE)架构起源于1991年,其核心思想是通过多个专门化的“专家”网络处理输入的不同部分,并由门控网络动态组合输出。这种架构实现了稀疏激活,仅激活部分专家,从而在模型规模与计算成本之间取得平衡。MoE的关键在于门控机制的设计,如线性门控、噪声Top-K门控等,确保模型能根据输入特征自适应选择专家。
146 8
|
机器学习/深度学习 人工智能 搜索推荐
探究人工智能在医疗健康中的应用与挑战
本文深入探讨了人工智能(AI)在医疗健康领域中的应用及其所面临的挑战。随着科技的不断进步,AI技术在医疗领域的应用日益广泛,从疾病诊断、治疗方案制定到患者护理等方面都展现出巨大的潜力。然而,尽管AI在医疗健康领域取得了显著成果,但也面临着数据隐私、算法偏见和伦理道德等方面的挑战。本文将详细介绍这些应用和挑战,并探讨可能的解决方案,以期为读者提供对AI在医疗健康领域发展的全面理解。
|
机器学习/深度学习 算法 搜索推荐
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
236 0
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)
|
存储
数组与链表有什么区别
数组与链表有什么区别
378 1
|
搜索推荐 测试技术
淘宝粗排问题之在粗排模型中引入交叉特征如何解决
淘宝粗排问题之在粗排模型中引入交叉特征如何解决
|
人工智能 自然语言处理 IDE
《AIGC+软件开发新范式》--01.当「软件研发」遇上 AI 大模型(2)
在AI 热度持续上升的当下,阿里云推出AI智能编码助手—通义灵码。通义灵码是一款基于阿里云通义代码大模型打造的智能编码助手,基于海量优秀开源代数据集和编程教科书训练,为开发者带来高效、流畅的编码体验。
307 1
|
算法 搜索推荐
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3)
243 0
|
搜索推荐 算法
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(1)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(1)
257 0
|
SQL 存储 缓存
【数据库设计与实现】第二章:数据前像与回滚
数据前像与回滚设计原则事务中重要的一点是事务的原子性,即事务中的所有操作要么全部生效,要么全部都不生效。数据的前像和回滚是保证事务原子性的重要手段。修改记录前,先将记录的前像(即修改前的记录)保存下来,当事务需要回滚时,将记录恢复到前像,从而保证事务的原子性。从当前的实现情况来看,前像保存主要有两种技术手段:本地更新方案:直接在原记录上进行更新,把被更新列的前像保存到独立的undo区域;异地更新方
【数据库设计与实现】第二章:数据前像与回滚