阿里云智能推荐AIRec产品介绍

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 本文中,来自阿里云搜索推荐技术团队的三秋为大家介绍了阿里云智能推荐AIRec产品的技术架构、核心功能,并与大家分享了使用阿里云智能推荐AIRec的实际案例以及技术场景。

一、智能推荐(AIRec)简介

AIRec背景介绍
智能推荐(简称AIRec)基于阿里巴巴集团领先的大数据和人工智能技术,结合阿里巴巴在电商、内容、新闻、视频直播和社交等多个行业领域的积累,为全球企业及开发者提供云推荐服务。AIRec能够有效解决用户偏好和物品之间的曝光选择问题。AIRec产品与淘宝、天猫推荐的底层是同根共源的,是淘宝、天猫推荐技术的首次对外输出。目前对于电商而言,获客等成本非常高,AIRec也希望能够解决以上这些问题,帮助用户去深度运营好每一个流量,将每一个流量的价值都充分地挖掘出来。因此AIRec在促活、留存、收入等整个流量生命周期中都可以提现它的价值。
image.png

AIRec产品架构
阿里云智能推荐AIRec产品的实现方式整体上大致分为三层。其中最底层是数据接入层,对于这一层而言,一般需要客户提供两种数据,初始化离线数据和在线数据。初始化离线数据将用于整个推荐实例的启动,而在线数据则用于当服务启动之后在后续实时收集用户的行为,以及更新和回传。在数据接入层之上是推荐模型层,这里主要分为三部分,第一部分是特征工程,主要是对于用户的特征、商品的特征进行一定的挖掘;第二部分是召回模块;第三部分是排序模块。在推荐模型之上是业务逻辑层,各个应用厂家或者应用的场景不同,业务逻辑也会比较复杂,推荐系统往往无法覆盖所有的业务场景,所以AIRec覆盖了一些比较具有通用性的业务逻辑以及打散策略和混排策略等。在此基础之上,业务方也可以根据AIRec推荐的结果来进行第二次封装来满足业务上更为复杂的需求。
image.png

二、核心功能介绍

AIRec核心功能-接入使用
整个AIRec接入使用主要分为四个部分:数据准备、服务开通、生效测试和增量对接。在数据准备方面,目前AIRec只能通过阿里云大数据计算服务MaxCompute上传初始数据,MaxCompute是一个能够处理PB级别的数据仓库解决方案。AIRec初始时需要三张表,分别为User表、Item表和Behavior表,User表存储了用户的基本信息、用户ID以及是否给这个用户进行推荐以及一些用户特征维度的信息。针对于表中的这些字段,客户可以根据自己的数据埋点以及数据收集情况酌情地进行上传,并且表中的字段也是分为必填、选填和推荐等类别。当然,这些数据如果填写的越饱满,对于后期的效果调优而言,就会越有优势。同样的,Item表存储了物品信息,Behavior表则存储了用户与物品之间的关联信息,数据中的点击和展示是必须要上传的,其次内容型的点赞等行为也推荐客户上传。在数据准备完成之后就可以开通AIRec服务了,开通完成之后可以进行对于行业、场景以及数据源的选择。选择完成之后,就可以在数据生效的页面检查数据生效的质量,同时在数据生效之后进行数据的测试。当测试完成之后就可以确认AIRec实例已经正常地运行起来了,在此基础之上可以对接服务端的SDK或者API实现增量数据的回传。
image.png

AIRec核心功能-行业
阿里云智能推荐AIRec现在向外输出的行业主要包括四种,即电商行业、新闻行业、内容行业以及视频行业。之所以对于行业进行了划分,这是因为目标行业的特点不同会导致用户的关注点不同,这也就导致了运营人员所关注的指标也各不同,因此这些因素最终也会影响推荐系统对于模型的选用。举例而言,对比一下电商型和内容型行业,前者比较关注点击率、GMV成交值以及购买率等业务指标,而后者除了常见的关注点击率之外,还会更加关注人均点击量、用户停留时间以及浏览深度等业务指标。
image.png

AIRec核心功能-场景
这里的场景可以理解为推荐所在的位置。根据推荐所在的位置不同,推荐系统使用模型和手段也会有所不同。比如在淘宝的首页推荐上“猜你喜欢”这部分属于一个比较综合的推荐位置,因此需要综合一些基于用户浏览历史行为的召回,也需要符合用户的兴趣,还需要在照顾热点的同时增加一些对于新品的关注度,因此这部分属于一个比较综合的推荐。而商品详情页的“相关推荐”位置则不同,其更加看重物品与物品之间的关联关系,这个关联可能是商品存在相似关系,也有可能商品之间存在类似于“啤酒和尿布”的关系。“热门推荐”就是热度排行榜了,其背后有着比较成熟的热度算法。而位于页面顶部Banner推荐位的“焦点图推荐”则是对于重要活动或者产品的推荐。
image.png

AIRec核心功能-召回模型
如下图的左侧的推荐模型所示,其最下面的输入可以认为是全量的Item列表,通过召回可能筛选出了一批和用户相关的Item,经过规则过滤将其放入排序层,之后根据用户行为、用户特征以及商品特征进行排序并计算分数,并将最终算分的结果放入到业务逻辑层进行封装,并Push给终端用户,使得终端用户能够看到Push的结果。下图中右侧是召回系统的简单的实现方式示意图,对于召回而言,想要判断结果是否与用户的兴趣相关,就可以通过不同的链路实现不同兴趣的召回,比如Item 2 Item、热度、新品、语义相似、User 2 X 2 Item等。
image.png

召回模型I2I
在I2I这个召回模型中,将用户的行为分为了长期行为和短期行为,进而分别训练出一些表格,这些表可能是Item_ID=A的一些商品可能有一些关联的Item_ID,并且这些Item_ID也会有对应的分值,而一些商品的权重可能会影响最终的分值。当这个表计算完成之后,后续如果有一个User过来,请求就会带来一个User_ID,根据这个User_ID就能获一个Trigger,进而获取一个Item_ID的列表将其推荐给排序模型,并且这个排序模型还能够接受其他的召回链路的推荐。
image.png

AIRec核心功能-排序模型
如下图所示的是排序模型的简单原理。AIRec会将用户特征、行为数据以及商品特征全部都进行离线计算,生成针对用户场景的排序模型。举例而言,当一个男生过来,他会带有一些用户特征和行为特征,根据这些内容就可以在模型表上找到对应的分值,将特征所代表的分值进行相加并进行整体倒排,之后就会得到一个排序完成的Item表格,最后将这些东西作为排序层的输出给到上面的业务逻辑层。
image.png

AIRec核心功能-打散混排
业务逻辑层中有两个能够控制的点,就是混排和打散。混排可以配置一些比例,而打散则可以配置一些层级和窗口等。
image.png

这里简单介绍一下混排和打散的具体功能:
 混排功能:一方面是为了让喜好多种物品类型(item_type)的客户平衡其分发,另一方面是为了让用户在浏览过程中保持物品类型上丰富的多样性,提升用户的惊喜度。AIRec的混排功能目前支持image、article、video、short video、item、recipe等6种类型,后面将会增加更多的延展。
 打散功能:是为了保障在推荐的物品流里相同类目的物品不重复出现,防止用户疲劳,保持新鲜度。使用AIRec时可按物品类目(物品表category_level字段)来打散,可根据用户具体业务的物品层级来设置打散。配置打散时选择相应的物品类目,再填写配合该类目层级的窗口期x,即x个物品推荐流里最多出现一次该类目的物品。

这里举个例子,如下图所示,我们对于体育文章、文娱文章以及经济文章可以设置窗口为3,也就是使得每3篇文章里面只能出现1次同类型的文章,这样就实现了通过类目进行打散。而混排就是设置文章大约占总量的50%,短视频和商品大约各占据25%。通过以上的混排和打散就能够满足推荐的诉求。
image.png

AIRec核心功能-数据仪表盘
阿里云智能推荐AIRec可以通过数据仪表盘实现对于数据的跟踪,包括做分桶测试等。此外,在AIRec上还可以实现基于阿里巴巴的推荐和基于自建的推荐的对比,并查看数据走向。目前,AIRec支持的数据指标包括PV_CTR、UV_CTR、PV/UV、Click/UV、活跃的用户数以及活跃的商品数等。
image.png

三、案例及场景

应用案例——内容论坛
这个案例来自深度垂直行业的UGC论坛,其主要接入了AIRec的两部分场景——首页的“猜你喜欢”和详情页面的“相关推荐”。客户使用AIRec解决两个主要痛点,一是提高首页“猜你喜欢”的用户点击率,二是期望解决论坛内文章的标题党问题。针对于这两个问题,AIRec帮助他们做了两步的优化,首先是解决标题党的问题,增加了浏览时长、点赞、收藏等重点行为特征来解决问题,也就是将标题党的文章进行降权,使得其排序结果较低,甚至使得其召回不出来。第二步就是调整了时间衰减,对于热度文章进行了及安全管理,调整了排序模型使得业务可干预推荐效果。最终达到的效果就是该论坛在其原有系统的基础之上使得用户点击率提升了50%。
image.png

应用案例——使用架构
前面所提到的论坛客户同时接入了阿里云的搜索和推荐两款产品,从而可以形成比较好的化学反应。推荐产品可以承接首页的流量,使得首页整体流量的转化率得以提升。此外,在搜索方面还接入了OpenSearch产品,能够满足用户高质量精准搜索的需求,能够提高有具体浏览目标用户的转化率。通过这两个服务整体地从流量承接以及精准搜索解决了用户的需求。下图中展示了用户使用的架构,会将主流场景下的行为包括数据都传递到RDS上,并放到MaxCompute DataWorks上进行全量导入,后续还会通过API和服务端SDK进行实时数据反馈。数据经过AIRec和OpenSearch两个产品就可以和客户的服务端进行交互,客户的服务端则会进行业务封装并给到最终的用户。
image.png

应用案例——电商
这里再介绍一个电商类客户的应用案例。该案例来自一个国内垂直类电商客户,阿里云AIRec为其打造的推荐产品不仅用于其APP上,还会用于微信小程序等方面。针对于这样的情况,阿里云AIRec也为其实现了两部分场景,一部分是“猜你喜欢”,另外一个是“相关推荐”,并最终提升了两个场景点击率。之前他们的场景中存在问题就是SKU比较少,用户量级相对而言也不是非常大,因此从整体来看在这样的场景下AIRec能够帮助客户达到点击率的提升,效果还是不错的。总体经过了一个月左右的调优,使得点击率提升了1倍左右。
image.png

应用案例——内容平台
第三个案例是内容平台,这个内容平台的特点就是推荐内容比较杂,其利用AIRec的混排和打散功能比较多,因为其主要是一个内容分享平台,同时还带有电商属性。他们原有首页推荐为运营人员人工编辑,有专门团队每日定时内容更新。后来使用阿里云智能推荐进行首页的内容推荐,经过一段时间的调优使得点击率相较原有系统提升超过一倍。
image.png

更多产品详情请见智能推荐阿里云智能推荐AIRec官网。
image.png

相关实践学习
跟阿里云技术专家学习智能推荐系统
阿里云机器学习PAI团队推出,面向的是企业级的推荐业务应用——《企业级智能推荐系统介绍》,意在结合PAI团队服务各个推荐场景互联网客户的经验,给大家带来更多推荐业务相关的知识普及。PAI是阿里云的算法平台,面向各类客户提供高性能算法和计算框架,在阿里云上有上万企业和开发者客户,其中很大比例为营销推荐场景客户。本次课程分为5个小节:课程1:推荐系统基本概念及架构说明课程2:推荐系统召回算法级架构说明课程3:推荐系统排序算法级架构说明课程4:推荐系统线上服务编排课程5:实操10分钟实现一个简单的推荐系统     -------------------------------------------------------------------------   相关的阿里云产品:机器学习PAI 阿里云机器学习平台PAI(Platform of Artificial Intelligence),为传统机器学习和深度学习提供了从数据处理、模型训练、服务部署到预测的一站式服务。 了解产品详情: https://www.aliyun.com/product/bigdata/product/learn
目录
相关文章
|
14天前
|
自然语言处理 数据挖掘 关系型数据库
欢迎加入阿里云百炼·析言GBI产品官方答疑群
在使用析言产品时遇技术难题?官方答疑群助您快速解决!群内可与其他用户交流、获取技术支持,轻松找到答案。欢迎扫描二维码或搜索钉钉号:94725009401加入我们,了解更多详情及VPC能力,让数据分析变得简单高效。
|
6天前
|
云安全 弹性计算 安全
阿里云服务器基础安全防护简介,云服务器基础安全防护及常见安全产品简介
在使用云服务器的过程中,云服务器的安全问题是很多用户非常关心的问题,阿里云服务器不仅提供了一些基础防护,我们也可以选择其他的云安全类产品来确保我们云服务器的安全。本文为大家介绍一下阿里云服务器的基础安全防护有哪些,以及阿里云的一些安全防护类云产品。
阿里云服务器基础安全防护简介,云服务器基础安全防护及常见安全产品简介
|
21天前
|
人工智能 自然语言处理 数据管理
阿里云百炼产品月刊【2024年7月】
阿里云百炼产品月刊【2024年7月】,涵盖本月产品和功能发布、市场活动和应用实践等内容,帮助您快速了解阿里云百炼产品的最新动态。
阿里云百炼产品月刊【2024年7月】
|
3天前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 API 网关 2024 年 07 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要。
|
4天前
|
人工智能 安全 云计算
Salesforce核心CRM产品问题之阿里云上的Salesforce对中国云计算市场的影响如何解决
Salesforce核心CRM产品问题之阿里云上的Salesforce对中国云计算市场的影响如何解决
|
6天前
|
API
阿里云微服务引擎及 API 网关 2024 年 7 月产品动态
阿里云微服务引擎及 API 网关 2024 年 7 月产品动态。
|
13天前
|
Prometheus 监控 Cloud Native
阿里云可观测 2024 年 7 月产品动态
阿里云可观测 2024 年 7 月产品动态
251 10
|
6天前
|
运维 物联网 关系型数据库
关于阿里云Serverless 框架的产品体验
阿里云Serverless框架简化运维,实现5分钟一键部署。弹性伸缩、按需付费等特点让企业专注业务创新,降低成本与运维负担。适用于Web应用、数据分析、物联网等多种场景,支持快速迭代与多语言开发。尽管面临资源配额、网络配置等挑战,其竞争力在于成本节约、功能集成与性能优化,尤其适合追求高效开发与弹性扩展的团队。
27 1
|
17天前
|
弹性计算
阿里云产品七月刊来啦
通义开源模型下载量破2000万,ECS经济型e实例新开服12个地域,详情请点击阿里云产品七月刊
|
20天前
|
弹性计算 Rust 监控
云服务器 ECS产品使用问题之如何在阿里云幻兽帕鲁服务器中添加Mod
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。

热门文章

最新文章