SIGIR阿里论文 | 一种端到端的模型:基于异构内容流的动态排序

简介: 小叽导读:搜索引擎在电商领域扮演着极其重要的角色,它可以很好地引导用户的潜在购买行为。传统电商搜索引擎通常指商品搜索引擎,用户输入一个query,返回一个商品列表。然而,随着自媒体的发展,越来越多的用户更愿意分享自己的购物体验,他们以文章、评价和视频等形式将自己的观点展示出来。

小叽导读:搜索引擎在电商领域扮演着极其重要的角色,它可以很好地引导用户的潜在购买行为。传统电商搜索引擎通常指商品搜索引擎,用户输入一个query,返回一个商品列表。然而,随着自媒体的发展,越来越多的用户更愿意分享自己的购物体验,他们以文章、评价和视频等形式将自己的观点展示出来。在这篇文章中,这些统称为内容流。为了给用户提供更多的购物帮助,内容搜索引擎应运而生。在用户搜索商品的时候,给用户推荐高质量的内容流,帮助用户选择自己中意的以及用户可能喜欢的商品。

▌研究背景:

目前,对于异构数据的排序还存在很多的挑战。首先,商品搜索引擎和内容搜索引擎所提供的跨领域知识要被充分利用,使用户在商品搜索引擎中的行为偏好应用到内容搜索引擎中。其次,现有的算法需要支持多媒体内容的排序。
image
在本文中,我们的目标是解决商品搜索引擎和内容搜索引擎中异构数据排序的问题,给用户推荐丰富的、个性化的内容流。我们把算法分成了两部分:1)异构内容流类型排序,即决定每个坑位展示何种类型的内容流,文章、视频还是商品列表;2)同构的内容流内容排序,第二个步骤使用广为人知的DSSM模型,在这个内容流类型下,对内容流的内容进行排序,选择相似度最高的内容插入。本文主要聚焦在第一个步骤。

▌ 所提出的算法:

本文提出两种算法用于内容流类型的排序,独立多臂老虎机算法和个性化马尔科夫深度神经网络算法。

在独立多臂老虎机算法中,我们需要计算一个比例θ,由ipv和pv计算而来,如果θ更高,表示当用户在搜索列表中看到这个内容流的时候,更有可能点击。对于每一个搜索坑位,我们先会计算一个θ的先验分布,这里我们使用Beta分布image, 其中i表示post, list, video。image 代表类型i的历史ipv点击数据,image表示历史浏览数据。image的期望是image,后验概率分布通过一个实时的流数据任务来更新。表示为如下的概率公式:
image
通过这种方式,所有坑位的内容流类型都是独立的,伪代码如下:
image
有依赖的异构数据流类型选择由三种因素决定:用户,query和前一个坑位类型。首先,在同一个query下,用户可以表示出不同的偏好。比如用户搜索“连衣裙”,某个用户可能更偏好介绍的文章,另一个用户可能会更喜欢视频的介绍。而且,没有用户喜欢单一的类型展示,或多或少都喜欢多元化的内容流类型的排列。针对同一个query,应该给不同的用户展示不同的排序结果。我们提出的个性化马尔科夫深度神经网络算法包含两个步骤,包括对用户和query的表示任务学习和坑位类型的预测学习。

用户和query的低维表示 我们构建了一个graph,包含用户,query和内容。使用node2vec学习用户和query的embedding,如下图:

image

图中的中间部分是训练节点的embedding表示。输入层是节点的独热编码。权重矩阵W是所有节点的embedding,其将节点独热编码映射到一个D维的空间中。

坑位类型预测 我们的目标函数定义为
image
其中X表示输入第i个坑位的特征,为了简化我们pMDNN模型并且加速运行的速度,我们只使用跟当前预测的坑位前一个坑位的信息。然而这带来了一个问题,如何预测第一个坑位的类型,这里我们使用到了跨领域知识,我们从用户最近在商品搜索引擎中浏览的宝贝信息中抽取将其映射为内容搜索坑位特征,使其满足当前模型的输入要求。我们的模型输入层为用户的embedding,query embedding和前一个坑位的embedding。可以表示为
image
三个全连接层接入输入层中。每一层使用一个线性分类器和交叉熵作为loss function。激活函数选择Relu,输出层应用Softmax为激活函数。

▌ 实验结果:

我们将提出的模型部署到A/B测试分桶环境中,选择了5个主要的指标来对比两个模型iMAB和pMDNN。pv代表展示内容的个数;pvclick表示展示的内容多少被点击;uv是多少个用户使用了内容搜索引擎,uv click表示多少用户点击了内容流;至于uv ctr,表示用户是否点击内容流的比率。

下表展示了实验结果,其中pMDNN的实验结果优于iMAB。尤其是uv click和uv ctr,这对于我们的场景非常重要,因为uv click的增长表示更多的用户倾向于内容搜索引擎因为其能帮助他们更好的购物。同时,uv ctr的增长展示出使用内容搜索引擎的用户对我们推荐的内容流是认可的。至于pv click的提高也代表了我们提出的模型更加的符合用户的个性化需求。

基于pv click和uv ctr,我们可以认为pMDNN应用了跨领域知识并且全局优化多坑位类型确实要优于坑位独立的iMAB。

image
原文发布时间为:2018-06-29
本文作者:阿里巴巴机器智能
本文来自云栖社区合作伙伴“ 阿里技术”,了解相关信息可以关注“ 阿里技术”。

相关文章
|
9月前
|
机器学习/深度学习 编解码 文字识别
视频生成领域的发展概述:从多级扩散到LLM
2023年是语言模型(llm)和图像生成技术激增的一年,但是视频生成受到的关注相对较少。今年刚到2月份,OpenAI就发布了一个惊人的视频生成模型Sora。虽然它的架构没有披露,但是通过总结现有的视频生成领域可能能对Sora的构架有所理解。
163 0
|
2月前
|
人工智能 运维 算法
突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner
南加州大学提出TS-Reasoner,一种基于大型语言模型的时间序列一站式多步推理框架。它能将复杂任务分解为多个子任务,如预测、异常检测等,通过组合现有模型完成多步推理。实验显示,TS-Reasoner在金融和能源领域的多步推理任务中表现出色,但需大量计算资源且灵活性有限。论文链接:https://arxiv.org/pdf/2410.04047
73 14
|
4月前
|
人工智能 前端开发
大模型体验体验报告:OpenAI-O1内置思维链和多个llm组合出的COT有啥区别?传统道家理论+中学生物理奥赛题测试,名不虚传还是名副其实?
一个月前,o1发布时,虽然让人提前体验,但自己并未进行测试。近期终于有机会使用,却仍忘记第一时间测试。本文通过两个测试案例展示了o1的强大能力:一是关于丹田及练气的详细解答,二是解决一道复杂的中学生物理奥赛题。o1的知识面广泛、推理迅速,令人印象深刻。未来,或许可以通过赋予o1更多能力,使其在更多领域发挥作用。如果你有好的测试题,欢迎留言,一起探索o1的潜力。
216 1
|
6月前
|
存储 人工智能 语音技术
通义语音AI技术问题之动态加权采样策略的工作原理如何解决
通义语音AI技术问题之动态加权采样策略的工作原理如何解决
66 5
|
机器学习/深度学习 人工智能 Devops
破解自注意力推理缺陷的奥秘,蚂蚁自研新一代Transformer或实现无损外推
随着大语言模型的快速发展,其长度外推能力(length extrapolating)正日益受到研究者的关注。尽管这在 Transformer 诞生之初,被视为天然具备的能力,但随着相关研究的深入,现实远非如此。传统的 Transformer 架构在训练长度之外无一例外表现出糟糕的推理性能。
124 0
|
9月前
|
存储 机器学习/深度学习 人工智能
社区供稿 | Yuan2.0千亿大模型在通用服务器上的高效推理实现:以NF8260G7服务器为例
浪潮信息联合Intel在IPF大会上发布了可运行千亿参数大模型的AI通用服务器,首次实现了单机通用服务器,即可运行千亿参数大模型。并在发布现场演示了基于NF8260G7服务器进行yuan2.0-102B模型在代码编写、逻辑推理等高难度问题上的实时推理效果,引起了业界广泛的关注。本文将详细解读yuan2.0-102B模型在NF8260G7服务器上进行高效实时推理的原理和技术路径。
|
8月前
|
机器学习/深度学习 监控
【机器学习】基于扩散模型的文本到音频生成:突破数据局限,优化音频概念与实践顺序
【机器学习】基于扩散模型的文本到音频生成:突破数据局限,优化音频概念与实践顺序
225 0
|
9月前
|
人工智能
全方位解析PAI:数据准备、模型开发、模型训练一网打尽
全方位解析PAI:数据准备、模型开发、模型训练一网打尽 随着人工智能技术的飞速发展,越来越多的企业开始关注并投入到AI的研发中。然而,AI的研发并非易事,从数据准备、模型开发、模型训练到模型服务,每一个环节都需要专业的工具和平台来支持。阿里云的PAI(Powered by AI)正是一个涵盖了数据准备、模型开发、模型训练、模型服务全流程的AI工作平台。本文将为您详细介绍PAI的各个子产品的产品线上规格及使用指引。
231 2
|
算法 搜索推荐
【直播预告】融合复杂目标且支持实时调控的重排模型在淘宝流式推荐场景的应用
【直播预告】融合复杂目标且支持实时调控的重排模型在淘宝流式推荐场景的应用
333 1
|
自然语言处理 监控 机器人
能看图、会聊天,还会跨模态推理和定位,能落地复杂场景的DetGPT来了
能看图、会聊天,还会跨模态推理和定位,能落地复杂场景的DetGPT来了
199 0