【智能推荐系列公开课讲义③】智能推荐电商行业2.0发布,算法模版再升级-阿里云开发者社区

开发者社区> 搜索与推荐技术> 正文
登录阅读全文

【智能推荐系列公开课讲义③】智能推荐电商行业2.0发布,算法模版再升级

简介: 阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,10课时,修炼推荐硬功夫。

内容要点

本文主要围绕电商推荐,从个性化推荐的核心问题、架构、推荐效果阐述智能推荐的技术演进应用。

电商推荐问题和价值


1.jpg

在看推荐系统要解决哪些问题之前,首要了解它能带来什么价值。个性化推荐之所以能如此迅速地占领各大APP的首要版块,取代了之前很多人工运营的坑位,最核心的原因是它可以更拉近用户与商品的距离,用最短的时间和路径让用户找到想要的商品,也就是常说的流量分发效率。

这就好比一个人逛超市,他喜欢吃肉,而且一般只逛3个货架,虽然还没确定这次要买什么,但是如果货架上摆的都是蔬菜,那么他大概会扫兴而归,对于超市来说,最现实的就是收入少了,归因就是流量分发效率低。所以由此引出的就是,推荐要解决的最基本问题,就是保证流量效率,也就是点击率、转化率这些指标。

电商首页的版块,一般都代表着产品的门面,它所承载的,不仅仅是怎么赚更多的钱。所以这也需要推荐系统再往前走一步,不仅仅是流量,还要能承接住用户的心智和产品的调性。这些可以概括为两个方面:用户体验和运营干预。

运营干预,就是推荐结果要可以被一些外部的输入所影响,这些输入主要来自于人的主观判断。比如能够做一些流量调控,侧重一些行业的倾斜,甚至对新店铺做一些扶持。首先这些判断对产品的发展是很重要的,其次其背后的信息是系统无法量化计算的,因此只能交给人来做,系统只需要留好接口,尽可能柔和地接住这些硬性的规则。

怎么才算是好的用户体验?这是一个综合的衡量指标,很难从单一维度回答。换个角度,当一个用户逛完某个平台,有了一定的精神满足感,那么就基本可以判断用户体验还不错。仍以逛超市举例,我们不仅希望用户在3个货架内成交,还希望他能逛更多的货架,希望他明天能来,逛完后不仅仅喜欢吃肉了,还喜欢吃水果了。所以具象化到推荐系统,就有了更多的衡量指标,如发现性、停留时长、浏览深度、复购率等,也就是说,一个好的推荐系统,不仅是让用户快速找到喜欢的商品,还能让用户逛起来。

总结起来,推荐需要解决这三方面的问题,但单靠推荐系统肯定是不够的,还需要商品、流量、运营这些因素共同来支撑。

由左侧的问题,可以推断出,判定一套推荐系统的价值,一定是多元化的。不同的业务系统,会有各自侧重的标准,所以推荐做到最后,不仅仅是算法模型的问题,它更是一个业务系统。

在此有一点需要强调,这种多元的价值判断,不同指标看上去都是相辅相成的,但是仔细思考,里面还是有很多相悖的。就比如前面说的,一个用户满足感高了,他自然买的就多了,可买的多并不仅仅是因为流量效率高了,而是因为他浏览了更多的货架,感觉越逛越开心。所以怎么去衡量这些指标之间的平衡,也是推荐系统需要考量的问题。

推荐系统架构


2.jpg

对于一个推荐系统来说,它的架构已经比较明确了。

第一部分是商品池、用户池的构建。数据是算法的基础,底层数据的丰富程度决定了推荐能力的天花板。更多的用户录入系统,使请求推荐的用户未登录占比更低。更多的特征,比如用户的年龄、性别、地域、商品的店铺、价格、类目等。更丰富的行为,曝光和点击是目前智能推荐的基本要求,其他还包括点赞、停留时长、下载等等。算法系统本质上是拿过去预测未来,如果过去什么都没有发生,那么预测出来的结果,就可想而知。

第二部分是怎么从海量的商品池选择推荐的对象。这方面主要是依靠检索的技术,包括通过协同过滤、内容过滤、用户偏好建立索引,并根据索引生成第一步的结果。这些涉及到的工程技术主要是性能,怎样一次性查得更多、更快。以阿里云智能推荐来说,主要是复用了阿里内部的系统架构,单次单链路的召回至少是几千级别的,这是这款产品的固本之策。

在算法上,主要就是各个召回链路。以最基础且最通用的协同过滤为例,ItemCF可算是推荐系统发展过程中的一个里程碑节点,它第一次解决了大规模的计算问题,并且能在效果上碾压其它普通的基于信息检索,语义检索的推荐系统。它效果好的原因,第一就是它本质上是一种迁移学习,收集用户在全场景上的行为、推荐、搜索等打造出来的信息,是一种半监督式的。另一个就是,它是通过用户的近期行为去做相关性的匹配,所以也是一个核函数的方法,就是越近的结果越容易被推荐出来。但是,i2i效果太好也会有挑战性的一面,很难去突破,而且对数据质量要求很高。以上问题的关键就在于心智的体现,落地到系统上就是需要扩召回,需要更丰富的,能体现心智的链路进来。

第三部分是在之前的基础上,需要一个精选排序。不管是LR或者GBDT,还是WDL在神经网络上4层、7层甚至10层的尝试,都是希望rank model学得更准。再配合推荐价值,不仅仅能优化例如停留时长之类的某一个目标。

最后一部分是运营干预,也就是对最后结果的一次规则性的过滤。这里其实有一个主要的矛盾点,对于运营同学来说,仅仅对最后结果的干预,还是太弱了。对于算法同学来说,强行对最后的结果进行人工规则的过滤、重排序,是非常影响效果的。所以,从系统落地的角度,我们在做的一个事情就是把运营规则前置化,可以更柔性地应用到选品、召回、排序中。

推荐效果


第三部分内容聚焦在怎样提升推荐效果上,也就是流量分发效率。

3.jpg

现阶段,机器还是一个把人的思维落地成自动化的过程。所以试想一下,如果面临一个用户要选择三个商品,你会怎么去推荐,需要什么样的信息,怎样去做决策。

第一步,需要什么样的信息。我们需要知道这3个商品是什么。是美妆,还是食品?是大品牌,还是性价比高?还需要知道用户的信息。是男是女?地域怎么样?年龄多大?最重要的是,我们得知道用户喜欢什么,他肯定不会直接告诉你,有时候他自己也不知道,那么,我们就用他过去的行为来推测,点过什么商品,买过什么商品,什么商品看了看就走了,什么商品看了很久很久。所以你需要这些信息判断,推荐系统也需要,把这些信息抽象一下,就是以上图右边的这三类,对于智能推荐这个产品来说,就是三张基础数据表。

4.jpg

第二步,需要把这些信息抽象一下,得出这个用户喜欢什么的结论。对于推荐系统,就是一个用户画像构建的过程。简单的做法,就是把用户过去的行为做个聚类。也可以做的很复杂,如需要考虑时间的衰减,需要把即时兴趣抽出来,需要考虑同特征的人群画像的输入等等,这也是各个推荐系统的核心竞争力之一。当然,还是那句话,没有最好的,只有最符合你的业务的。

拿到用户画像之后,还有很关键的一步,就是怎么把这个画像和要推荐的商品关联起来。这里就可以抽象出一个trigger的概念,是一个桥梁,以之前提到的i2i举例,图中左边这个item就是一个trigger,可通过画像知道用户更喜欢哪个item,然后进而去寻找和它最相近的右边item,这样就完成了一次召回的查询。

有了用户画像,还可以构建物品画像。举个例子,一个商品,北京的人更喜欢购买,那么它的画像中的一个因素就是北京人,一般物品画像更多地会用在新用户冷启动上。

第三步,通过这种相关性,可以拿到多商品,之后就是推荐的最后一步——精排。还是用之前的这些信息量,换个角度,重新再模型计算打分。这样,就完成了一次推荐。

在这个过程中,其实还有一些更细致的考虑,比如当拿到的信息缺失了一部分怎么办,映射到推荐系统,也就是用户冷启动和物品冷启动。

5.jpg

用户冷启动,需要明确一个前提,就是可以拿到这个用户的部分特征(每一个平台用户注册的基本信息),但是没有这个用户过去在这个平台的行为。仅仅从分发效率上说,能想的办法不多。一方面,可通过物品画像进行推荐,比如这个平台上,男生都喜欢什么,那么就给新来的男性推送这些商品。另一方面,也可以想办法扩充用户画像和特征,他在这个平台上是新用户,但并不表示在全网其它平台上也是新用户,这是一个思路。具体的操作需要第三方数据授权,在此也提醒大家,一定要注意隐私保护,因为这些信息对推荐系统来说,确实很重要。最后,如果前两个都不起作用,那就只能用热门推荐了,这是考虑效率后的最优选择。

其实,新用户对一个平台来说,留存是最重要的,所以对于推荐系统来说,就更需要特殊考虑了。以阿里云智能推荐来说,除了分发效果,也会考虑用户心智的探索,比如适当地推荐一些新鲜的东西,让用户能快速建立平台的心智,同时还会结合一些运营的需求。

6.jpg

其次,是新品冷启动,这个问题的核心在于怎么让一个未知的商品在兼顾效率的情况下,快速地热起来。对于我们智能推荐的设计,主要就是两个流量环,我们会给新品单独建立一个索引池,小流量地灰度预热这些商品,它的推荐策略主要是兼容效果和运营需求。当这个商品热起来之后,再放到正常的推荐流量环中。这样做主要的考量因素就是新品的曝光可控性。考虑到如果新品直接放入正常的推荐池中,那么大概率是得不到流量的,如果人工运营强行加权,又会干扰到正常商品池的推荐,还会导致新品自身的流量不均衡。

另外有一点也值得深思,就是怎么判断一个商品热起来了。这里有很多办法,简单点,PV达到一定量就可以了,再进一步,需要这个商品的CTR稳定下来不再波动,这个问题我们会持续迭代探讨下去。

智能推荐2.0及未来


7.jpg

基于以上产品技术的思考,本次阿里云智能推荐2.0发布了。相比之前,智能推荐加入了前文提到的价值判断的环节,目标就是为了优化用户体验。在新品的策略上进行了一些调整,希望做到可控,可调整,有分发效率。同时,2.0版本也提升了整体推荐效果,模型持续迭代,扩了很多召回,很多基础链路也进行了重构,主要是为了更适宜云上中小客户的行为规模。以上优化仅仅是个开始,我们的目标是推荐赋能用户,这条路还很长,期待我们一起探索。

加入社群


点击订阅《阿里云搜索与推荐技术交流期刊》

扫码入群,了解更多资讯,获取课程资料

5aa4fa1e3fa84556b22e9ae931cffd4d.jpg

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

AI Online Serving,阿里巴巴集团搜索与推荐,算法与工程技术的大本营,大数据深度学习时代的创新主场。

官方博客
友情链接