开发者学堂课程【搜索与推荐技术实战训练营:场景化构建与核心价值】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/919/detail/14486
场景化构建与核心价值
基本内容
一、以手机淘宝为例,浅谈场景画的搜索与推荐技术
二、如何从0到1构建场景化的推荐业务
三、基于开放搜索实现场景化的搜索业务
本课主题:对搜索推荐在目前的一个业务形态的发展下,它更趋向于常理化构建在这种场景化构建里,做推荐技术本身是发生哪些变化?应该去承担的核心价值是什么?
一、以手机淘宝为例,浅谈场景画的搜索与推荐技术
1、丰富的搜索场景
这个是手机淘宝的一个界面,从界面上可以看出,场景是非常丰富的,从搜索框里面,有推荐底纹,在右边有一个“拍立淘”,一个图片搜索,文本搜索之外的另一个搜索,最下边儿语音搜索,在这个现在业界经常会称之为多模态搜索。
除了搜索这个框,还有很多搜索的附加的外延功能去丰富、总结,比如说根据用户的历史搜索情况,能快捷地去推荐用户更快的找到曾经的一些喜好的产品,可以去挖掘用户最可能去了解和搜索的一些词。
搜索热词,包括通过对全网的一个热搜的挖掘,去引导更多人去了解热搜的状况,还有很多其他所场景。
2、丰富的推荐场景
推荐场景是非常丰富的,对于手机淘宝,作为流量分发的一个体系,搜索是站在一个比较大的比重,另外一个比较大的体重是推荐,搜索是用户已经有比较明确的意图,或者说至少是半个明确的意图,推荐是用户并不太一个有明确的意图。
3、多场景捕捉意图,最大化用户价值
购物决策周期
需求探索>信息获取>购买决策>下单
权据用户购物状态采取应推荐策略
时效性
相同需求非激活活,生命同期短
实时计算和在线推律,实时捕获和预计用户兴趣
人群结构复杂
未登陆,新用户、流久用户等
分人群推荐策略
多场景
上百个搜索推荐场景
高频场景深度优化,经过技术迁移平台化支持中低频场景
多目标
点击率、停留时长,成交等。多目标联合
多物种
商品,视频,直播、内容等
多学习,异构图表示学习
4、场景化所要解决的业务痛点
业务痛点在哪?在电商这个领域来讲,主要是货场的未匹配,在这个里面搜索推荐本身也是作为一个重要的核心点,最重要的是怎么把流量去通过策略和工程实践去达到一个结果、目标,目标可能会有分配冷启动,这是一方面;另一方面的话是会有很多用户体验,只是推荐,茧房效应这样的概念,用户喜欢这个东西,用户就一直看那个 APP 一直给用户推东西,导致用户困在这个“APP”,没有发现性、核心性。
5、痛点举例:实时交互&互动
举几个例子来展开,要做到用户沉浸式浏览,实时交互是一个必备的基础功能,需要通过实施学习终端用户当前表达,并在每一次生成的推荐结果中,从而实现互动式推荐功能,根据用户的一个长期兴趣的行为,以及短期的一个损失的捕捉去进行用户实时的交互互动,所成立的技术要求是比较高的,可能会用到一些实时计算,在内容里边,这就是一个痛点。
6、痛点举例:多目标
多目标,比如在内容这个平台上,除了 CTR 停留市场目标以外,还有一个点是要去抑制质量比较差的标题党的内容,实际一个 场景是拿着一个比较复杂的算法架构去抑制标题党内容。
二、如何从0到1构建场景化的推荐业务
1、推荐系统简述
分为三部分:第一部分是前台的产品形态,产品形态,现在去打开一个另一个电商或者内容的短视频的 APP,可以看到有信息流的卡片式的设计,会有一些相关的文案、图片,有用户体验、推荐理由,或者用户反馈等等,这些都属于前台呈现给用户的一个形态。
第二部分:推荐系统的一个基础,一个基石,需要去采集用户行为日志,所有的一些算法都是作用,在这些数据上面的,基本上可以分为三大类:物品本身的信息、用户的信息以及用户行为相关一些数据,
推荐算法系统,它本身是有算法策略加上去实现算法的工程系统来实现的,这是比较需要比较多的一些技术投入去实现的,所以这三个环节去组成了一个闭环来使用,来实现推荐系统。
2、搭建工程技术框架
推荐工程技术框架需要哪些部分?
以阿里云智能推荐的一个底层的一个技术价格为例进行说明,可以看到收集到用户物品及行为之后,把数据灌入到计算平台中,底层的计算资源,各种数据计算出结果之后推送出来,
最后的计算过程,靠推荐模型去不断的去迭代去实现,同时推荐,背后模型跟策略是分不开的,需要通过业务或者产品保证策略包装起来去,用推荐的模型去实现,当里面有外延的一些技术诉求,
最后会产生一个推荐结果的 API 的形式,推出了用户侧,根据对用户推荐结果的一个正向行为,或者做回馈优惠,去推动改变策略,去改变推荐模型,从而再一次去迭代推荐系统。
3、设计埋点方案
在推荐系统里面所要做一些基础工作,首先要设计一些方案去收集用户的一些认知行为。以视频业务为例,需要关注的一些行为,包括点击、曝光、模仿、停留、赞品、关注等等,用户有异议的话,很多视频网站会在用户推荐物品后边,有一个叉号,或者一个小提示“你对这个感兴趣吗?”
“不感兴趣”或者“希望不要再推荐”等等负反馈这样的行为收集是非常重要的,另外,在运营的一个业务逻辑里,它会是有分厂去匹配的,比如做一个大促的活动,可能有产品标签,或者针对某一个新人群,最后把行为收集、汇总,越丰富、越高质量的一个日志收集会有助于最终推荐效果的产生。
4、设计算法架构
考虑怎么去搭建一个合理的一个算法框架?首先大政策的框架需要考虑目标,用户体验生态设置,怎么去帮助中小商家,或者说怎么去利用平台,怎么抑制垃圾文章;
算法也有目标,商业目标、知识、CTR、API,看到的整个是方法,一个场景的算法、一个链条。首先需要做过滤,去除一些重复的认知、一些延迟上的处理;过滤之后,会从百万里面,留下万以上级别去做召回,召回之后根据之前的特性,推荐的一些模板:个性化、相关推荐、热门等等,也会考虑时效性、新品主推各种策略,最后去做展示 ABS,对流量的效果进行监控和复盘,来优化一些算法的逻辑。
5、猜你喜欢场景下的策略设计
策略设计是怎么去做?可能会关注这样几个问题。
(1如何去区分投放推荐的具体位置,确定了在猜你喜欢产业下去做。
(2是否支持区分投放位置的个性化建设?比如需要每个位置都要设置不同的策略,不同的个性化去快速去呈现。
(3如何支持多样化的商品呈现?
(4是否可以去实现类型多类型的一个混合展示,这些很具体的业务的需求,这是设计上的一个诉求。
6、相关推荐场景下的策略设计
在相关场景下,设计可能更多的需要关注这三个问题,
(1猜你喜欢和相关推荐的区别在哪里?
(2在相关推荐的相关度怎么去体现?
(3怎么保证相关推荐的相关性啊?涉及到用户的实际情况和算法本身的耦合度。
7、混排场景下的策略设计
混排场景下的一个策略设计,如果是单一的一个类型的推送,可能会导致用户的审美的疲劳性,所以会需要一个丰富多彩的展现形式,推送给用户,唤起用户对多样性的点击欲望,接下来用策略设计出来,但是如果背后用技术去呈现,是比较复杂的。
阿里云的智能推荐灵魂的配置界面是文章品牌以不同的流量比例分配进行配置,统一进行发布,达到混排场景下的策略设计。
8、推荐场景下的效果监测
做到策略配置之后,需要对一个推荐产品进行监测,需要去通过渠道以及场景去看,一定周期的某一个指标 CTR、点击率等等,需要合理划分,分头测试、迭代,找到适应场景的可以投放的策略。
9、从0到1构建场景化的推荐业务
- 首先人才的基础,需要有比较扎实的沉淀,比如说工程的实现以及算法的实现;
- 工程系统,它其一个不断迭代、不断成长的过程,没有谁的系统最开始就完美匹配所需求的,它是可能通过对业务的不断理解、加深,去反推技术、改变、提升的。
智能算法,基于协同过滤,后续加更高级的算法,甚至会加一些前医学比较难的高级的模型,需要比较长时间的去尝试。
10、基于阿里云智能推荐的快速搭建业务场景
阿里智能推荐的怎么可以去搭建?
它有一个好处,基于它是一个推荐服务,如果确定好业务的场景之后,推导出针对每个业务场景需要的策略是什么,那接下来就可以接触智能推荐的平台,然后去快速搭建一个性化场景的搭建;
以淘宝具体的场景为例,淘宝有一个新势力周,主要针对大促活动的搭建,首先会去做选品、做招商,比如说选品,连衣裙这一类新势力周,必须要有报名的商家,还有一些普通的商家等等,通过这种推荐的选品加权把这部商品选出来。
需要策略的话,推荐过后不能再多次去推荐,注意商品推荐的多样性,推荐这个商品之外,推荐其他商家的,最后要进行一些数据的收集,通过 access 去观察效果,从小规模投放到大规模的投放的迭代过程
11、灵活的业务适配度,赋能运营
体现了产品逻辑,可以灵活的对业务进行适配,能不能运营必须要做的是持续迭代的一运营体系,能够用产品做出来。以场景为中心,而且关切到用户的全生命周期,智能推荐也针对背后的产品逻辑提供一系列的一个产品手段。
三、基于开放搜索实现场景化的搜索业务
1、开放搜索简介
开放搜索是阿里巴巴自己研发的一款搜索引擎,它是一个注重高效果,一步到位的引擎,它内部是集成阿里巴巴二批的智能分词,综合了阿里内部搜索的强大能力,上图是整个基础架构的图。
提高很多灵活的配置工具,自定义排序结果,还有分词以及最后匹配到场景中去;
2、接下来介绍几个比较典型的场景
海淘场景商品搜索
LBS 场景搜索
鞋服场景商品搜索