【推荐系统】美团外卖推荐场景的深度位置交互网络DPIN的突破与畅想

简介: 美团基础研发机器学习平台训练引擎团队,联合到家搜推技术部算法效能团队、NVIDIADevTech团队,成立了联合项目组。目前在美团外卖推荐场景中进行了部署,多代模型全面对齐算法的离线效果,对比之前,优化后的CPU任务,性价比提升了2~4倍。


今天介绍一篇美团在SIGIR 2021中稿的一篇paper,主要介绍在解决点击率预估中位置偏置(position-bias)方面的一些工作,一起来看一下。


美团基础研发机器学习平台训练引擎团队,联合到家搜推技术部算法效能团队、NVIDIA
DevTech团队,成立了联合项目组。目前在美团外卖推荐场景中进行了部署,多代模型全面对齐算法的离线效果,对比之前,优化后的CPU任务,性价比提升了2~4倍。

🍁 一、背景 🍁


点击率(CTR)预测在在线广告和推荐系统中起着重要的作用。在实践中,对CTR模型的培训依赖于点击数据,而在较高的位置上,从本质上偏向于更高的位置,因为较高的位置在本质上有更高的CTR。现有的方法,如实际位置训练,具有固定位置推理和逆倾向加权训练,无位置推理,减轻了偏差问题。
过往也有一些工作来解决位置偏置的问题。最常见的做法是将位置特征作为一个模型训练的一个特征,而在线上预测时,所有候选广告使用相同的位置特征输入。这种方案实现较为简单,但是线上预测时,选择不同的位置,得到的推荐结果会存在差异,结果往往是次优的。



华为提出的PAL框架将广告被点击的概率分为两个因素:广告被用户看到的概率和用户看到广告后点击的概率。论文做了进一步的假设:用户是否看到广告只跟广告的位置有关系;同时,用户看到广告后,是否点击广告与位置无关。因此整个框架也是包含两个部分,如下图所示。在线上预测时,只需要部署右边的网络,所得到的点击率就是消除了位置偏置后的点击率。这种方案的缺点是假设太强,将问题过于简化了,没有充分考虑位置偏置与用户特征、上下文特征以及候选item之间的关系。


🍁 二、DPIN介绍 🍁


DPIN由三个模块组成,分别是处理𝐽项的基本模块、处理𝐾项的深度按位置交互模块和组合𝐽项和𝐾项的按位置组合模块。通过该网络,可以在服务性能的限制下预测每个职位的所有候选人的CTRs。


2.1 base module


与大多数深度CTR模型相似,我们采用嵌入的结构,MLP (Multiple Layer Perception)作为我们的基础模块。对于一个请求,基本模块将一个用户、一个上下文和𝐽候选条目作为输入,然后使用请求信息𝒓表示第j个条目:


2.2 deep position-wise interaction module


该模块独立检索每个位置的用户行为序列,进行基于位置的兴趣聚合,消除终身序列的位置偏差。然后,利用位置、环境和用户之间的位置非线性交互。最后,采用变压器实现不同位置之间的深度交互。


2.3 position-wise combination module


位置组合模块的目的是通过组合J个物品和预测每个物品在每个位置的点击率K的位置。𝒓之间的非线性互动𝒌和𝐸(𝑘)用于学习用户、上下文、条目和位置之间的非线性关系。第k个位置第j项的CTR为𝐶𝑇𝑅𝑗𝑘的计算方法如下:

🍁 三、实验结果及分析 🍁


最后看一下实验结果:
下表展示了比较方法在常规和随机测试集上的实验结果。我们首先分析不同方法在常规交通上的差异。与DIN相比,DIN+PosInWide和DIN+PAL方法在AUC上的性能有所下降,但在PAUC上有所提高,这表明两种方法都能有效地缓解位置偏差,但会导致离线和在线之间的不一致。

位差组合模块的服务延迟与DIN模型相比微不足道,因为用户序列操作有很大的延迟。DPIN的服务延迟缓慢增加,因为深位交互模块与项目无关。与DIPIN + ItemAction相比,DPIN在服务性能上有很大的改进,对模型性能没有什么损害,这表明我们的方法既有效又有效。

好了,本文就介绍到这里啦~

目录
相关文章
|
5月前
|
机器学习/深度学习 搜索推荐 算法
推荐系统网络序言
推荐系统的基本架构包括用户画像、召回、粗排、精排与混排五个模块。用户画像构建兴趣,召回筛选候选集,粗排和精排排序商品,混排处理多内容展示。精排阶段是学术界和工业界的重点,目标是筛选用户可能最喜欢的item列表,主要采用CTR预估模型进行排序。CTR模型从LR进化到embedding+MLP范式,探索高效高阶交叉信息。推荐系统是一个系统工程,需考虑在线与离线一致性,特征和模型的在离线不一致会带来问题。CTR模型输入为大量成对(features、label)数据,特征包含用户本身、行为、上下文和物品特征,离散型特征可采用one-hot或embedding方式处理,连续型特征可分段离散化。
|
自动驾驶 物联网 5G
深入探索5G网络中的网络切片技术及其应用场景
深入探索5G网络中的网络切片技术及其应用场景
3242 3
|
7月前
|
安全 自动驾驶 物联网
新四化驱动,如何构建智能汽车的“全场景”可进化互联网络?
在智能化、电动化、网联化、共享化的时代浪潮中,汽车正从单纯的 “机械产品” 进化为先进的 “移动智能终端”。在软件定义汽车(SDV)的崭新时代,每一次 OTA 升级的顺利完成、每一秒自动驾驶的精准决策、每一帧车载娱乐交互的流畅呈现,都离不开一张实时响应、全域覆盖、安全可靠的广域网络。
|
7月前
|
监控 算法 安全
公司电脑网络监控场景下 Python 广度优先搜索算法的深度剖析
在数字化办公时代,公司电脑网络监控至关重要。广度优先搜索(BFS)算法在构建网络拓扑、检测安全威胁和优化资源分配方面发挥重要作用。通过Python代码示例展示其应用流程,助力企业提升网络安全与效率。未来,更多创新算法将融入该领域,保障企业数字化发展。
169 10
|
8月前
|
缓存 小程序 API
微信小程序网络请求与API调用:实现数据交互
本文深入探讨了微信小程序的网络请求与API调用,涵盖`wx.request`的基本用法、常见场景(如获取数据、提交表单、上传和下载文件)及注意事项(如域名配置、HTTPS协议、超时设置和并发限制)。通过一个简单案例,演示了如何实现小程序与服务器的数据交互。掌握这些技能将帮助你构建功能更丰富的应用。
|
11月前
|
人工智能 自然语言处理
WebDreamer:基于大语言模型模拟网页交互增强网络规划能力的框架
WebDreamer是一个基于大型语言模型(LLMs)的网络智能体框架,通过模拟网页交互来增强网络规划能力。它利用GPT-4o作为世界模型,预测用户行为及其结果,优化决策过程,提高性能和安全性。WebDreamer的核心在于“做梦”概念,即在实际采取行动前,用LLM预测每个可能步骤的结果,并选择最有可能实现目标的行动。
276 1
WebDreamer:基于大语言模型模拟网页交互增强网络规划能力的框架
|
12月前
|
机器学习/深度学习 自然语言处理 自动驾驶
神经网络有哪些应用场景呢
【10月更文挑战第14天】神经网络有哪些应用场景呢
|
Java Linux
【网络】高并发场景处理:线程池和IO多路复用
【网络】高并发场景处理:线程池和IO多路复用
301 2
|
机器学习/深度学习 自然语言处理 算法
神经网络算法以及应用场景和基本语法
神经网络算法以及应用场景和基本语法
272 0

热门文章

最新文章