闲鱼触达系统背后——我想更懂你

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 上周看完《闲鱼如何通过Push升级,更懂你?》,大家是不是一直等着下篇呢?Hermes 咋就这么敏捷呢?她咋就这么懂你呢?今天,小橙子就带领大家一起揭开她神秘的面纱。触达类业务,对用户最重要的三个问题:

屏幕快照 2020-04-09 上午11.59.47.png

作者|赵志诚(之诚)
出品|阿里巴巴新零售淘系技术部

背景

上周看完《闲鱼如何通过Push升级,更懂你?》,大家是不是一直等着下篇呢?Hermes 咋就这么敏捷呢?她咋就这么懂你呢?今天,小橙子就带领大家一起揭开她神秘的面纱。触达类业务,对用户最重要的三个问题:

• When is Right? 什么时候发给我最合适?

• Who is Right? 什么样的场景更适合我?

• What is Right? 发什么内容更吸引我,我更感兴趣,对我有帮助呢?

秉承这个原则,如何快速的触达用户,更好的更优质的推送用户感兴趣的内容,是消息推送需要解决的关键问题。

思路

Hermes 的设计理念是将系统分为三部分,不同的组件实现不同的需求:

• 合理的选择发送时机(When)通过任务中心完成。

• 不同场景选择不同的用户(Who)通过配置中心完成。

• 发送用户最感兴趣的内容(What)通过匹配中心完成。

首先,让我们来了解一下 Hermes 的整体技术架构。

3.png

我们可以从架构图中看出,配置中心负责维护平台核心的数据模型,提供任务和素材的内容给匹配中心和任务中心;任务中心负责触达的时机选择和实际的触达计划,保证系统稳定性;匹配中心负责素材场景择优,疲劳度控制以及实验。在具体讨论各个部分的设计之前,让我们先梳理一下 Hermes 在 push 整体触达链路上的不同类型:

• 个性化触发:通过洞察用户感兴趣的内容,有针对性的帮助闲鱼用户发现价值。举例来说,通过算法,找到用户最容易接受消息推送的时段(某用户 A 喜欢在上午吃完早餐后打开手机),推送用户感兴趣的消息内容(用户 A 最近喜欢浏览一些数码产品),帮助他们更好的通过闲鱼满足个人需求(闲鱼将最近有关数码产品的一些促销活动推送给用户 A,用户 A 找到了一个好 deal,很开心)

• 实时触发:通过洞察用户使用闲鱼的实时行为,更好的帮助用户实现个人需求,比如用户浏览了某个商品 x,如果商品 x 降价了,我们会通过消息推送告知用户曾经浏览过的商品降价了,这样用户就可以用更便宜的价格买到喜欢的商品。类似的还有关注卖家上新等场景。在触达方式上,我们有 push、短信、popLayer 等不同的触达方式,针对每种方式的特点,优化用户接收消息的体验。

结合上述两种类型,我们来讲解系统是如何通过各部分的配合实现上述链路的。

配置中心

配置中心是 Hermes 敏捷的重要一环,如何快速的发掘用户感兴趣的内容,快速的配置,快速的上线是影响用户体验的重要因素。

首先需要明白配置中心的三个核心角色,任务、人群和素材。运营可以通过平台配置不同的活动(就是任务),每个活动都可以创建多个素材,素材支持千人千面(个性化内容),运营同学针对各自负责的活动,圈选对应的人群(奥格用户增长平台【1】),所以任务和素材是一对多的关系,任务和人群是一对一的关系。

2.png

Hermes 的配置中心对任务和素材进行分开管理,系统会把任务按照触达目的进行分类,任务关联素材。明确的分类管理,对运营同学管理当前的营销活动,活动目的以及触达形式一目了然,任务素材审核机制保证了推送给用户的活动质量,数据大盘的报表便于后期做数据分析,更好的了解用户对发送内容的反馈。

如何发掘用户个性化的内容呢?每个业务场景都会根据不同用户的历史行为产出一张个性化 ODPS 表,这里面算法会根据不同用户的特点产出不同的内容。此外,时效性也非常关键,计算出来的个性化内容如果几天后才发给用户,可能用户已经不感兴趣或者有新的关注点,如何快速同步产出的结果来及时发送给用户呢?

在数据流转的设计架构中,配置中心的任务素材内容我们存储在 mysql 和 ODPS(阿里海量数据离线处理平台【2】)中,通过离线同步和实时同步两种方式输入到匹配中心(算法中心):任务素材的配置信息存储在 mysql 中,离线通过 ODPS 同步机制,实时通过监听 binlog 机制,同步发送 MQ 消息给匹配中心。

7.png

素材千人千面的内容我们存储在 ODPS 表中,离线同步我们采用了 ODPS 同步机制,实时同步我们利用 Blink(阿里海量数据实时流计算平台【3】)来完成,具体的方式通过 Blink 监听 ODPS 表的内容变更,然后将内容同步到匹配中心对应的数据存储中(IGraph 数据库,下文会有介绍)。通过实时的数据同步,我们可以做到内容快速配置上线,这也体现了 Hermes 的敏捷。结合个性化内容的生成,我们可以给匹配中心提供充足的素材供匹配中心找寻用户最感兴趣的内容,发掘用户的兴趣点。

4.png

任务中心

任务中心主要负责触达时机的确定,用户校验,计算任务素材匹配列表,调用匹配中心来判定是否对用户进行触达,业务校验,数据埋点,消息触达,整体链路如下图:

1.png

在触达时机上,根据不同类型的消息特点,我们把触达时机分为两类:个性化触发是算法通过离线 T-1 日算出每个用户最有可能接受触达的时间(个性化时间),产生一张 ODPS 表,任务中心通过 SchedulerX(阿里分布式调度系统)调度这张个性化时间表,查找符合条件的用户列表,将用户列表封装为消息发送(MetaQ,阿里自研分布式消息队列),接收到消息的服务针对每个用户,进行上述的链路传递。

实时触发是通过端智能的用户行为采集,上报,根据用户目前所在的场景,挑选适合该场景的信息发送给用户。

这其中,感知用户行为和决策下发是 Omega 系统实现的,Hermes 通过与 Omega 系统配合,获得触发时机以及对应场景,关于 Omega 系统的介绍,《一个实时精准触达系统的自我修养》会为你详细的阐述。

5.png

当整条链路触发之后,系统首先校验用户是否符合系统要求,如果符合的话系统会根据用户去查询用户命中的任务(其实是查询用户是否在某个人群中,还记得一个任务对应着一个人群吗?),根据用户命中的任务,通过配置中心找到对应的符合这个用户的所有的素材,然后将这个素材列表结合一些配置信息发送给匹配中心,匹配中心具体的功能下个段落会有仔细讲解,匹配中心返回决策”是否发送消息“给当前请求用户,如果发送,发什么素材以及发送什么内容;如果不发送,不发送的原因,便于做后期分析统计。如果发送的话,任务中心会进行业务参数校验,千人千面校验等一系列校验内容确保素材合理合法,然后记录数据埋点以及后期日志,最后通过闲鱼自研的消息下发渠道 Heracles 推送给用户,参见下图:

屏幕快照 2020-04-09 下午12.02.55.png

这里需要单独说明一下实时触发的场景,由于实时触发的场景多样,系统会根据用户行为推送给用户不同的消息内容。但系统又不能对用户造成骚扰,这就需要匹配中心需要区分这些场景,有针对性的选择最合适的内容,针对复杂的场景,需要进行场景隔离。这就需要不同的匹配中心,因此系统要对匹配中心灵活配置,这里我们通过传入匹配中心的 id 灵活选择对应的匹配中心,解耦了任务中心和匹配中心,对未来更多类型的场景,提供了可能。

6.png

匹配中心

Hermes 除了快,还很懂你,奥妙就在匹配中心。她不光帮助 Hermes 回答了“ 是发 or 还是不发,That is a question"(致敬著名英国文豪莎士比亚),还解答了发送什么内容对用户最有用,才是用户最感兴趣的,最能帮助到用户。咋做的呢?

匹配中心来自阿里算法平台 TPP,结合配置中心准备好的个性化内容信息,算法小姐姐会根据场景建模,根据用户的历史数据,实时行为进行模型训练,对素材进行预估打分,匹配召回,素材之间的 AB 实验和赛马【4】,最终决定哪个素材以及内容是最适合用户的。

当然,在此之前,还有非常重要的一步,就是消息触达不能对用户造成骚扰,所以根据用户、任务、素材、内容疲劳度来综合判断到底发还是不发,以及什么素材和内容满足疲劳度控制,在实时场景中,匹配中心相对个性化触发更为复杂,这里除了单场景的素材择优,还需要考虑到多个场景下如何进行场景择优的问题,比如用户进入 app 首页这个场景,可能会触发多个场景,每个场景都有对应的消息触达,那么匹配中心如何选择最优场景,再根据场景中的不同素材进行素材择优,这里的模型设计会更为复杂。在平台上,算法使用了阿里自研的推荐平台 TPP,内部使用到的数据存储是 IGraph,一种阿里自研的高性能图数据库。

8.png

小结一下,结合上述的具体阐述,通过配置中心,任务中心和匹配中心的联动,Hermes 可以快速发掘用户感兴趣的内容,并且在用户易于接受的时机把内容传播给用户,同学们,你们听明白了吗?有啥问题吗?有问题的话就留言吧,卡尔.萨根说过:"世上没有傻问题" (顺便点个"在看", 小哥哥晚餐就给自己加个鸡腿了)

业务效果

在业务效果的提升上:Hermes 平台上线之后效果非常显著,用户点击率提升两位数,说明用户对消息推送的时间相较于老系统更容易接受,消息内容更感兴趣;用户场景的覆盖量直接翻倍,这为用户提供了更丰富的场景,给用户带来了更有趣的内容,所以通过 push 激活的闲鱼 DAU 也超过了历史最高水平。

在运营效率的提升上:在 Hermes 还未诞生的时候,老系统配置,测试,审核往往需要三天以上的时间,而现在所有的流程全部在管理后天配置完成,实时生效,数据大盘统计,归纳整理一站式全部搞定,谁用谁知道,用了都说好!

未来计划

Hermes 作为闲鱼触达的统一收口平台,不光是 push,短信,未来也会接入 open page 等更丰富的触达形式,通过不同的触达方式,优化用户体验;在闲鱼触达的整体架构设计中,未来我们会对场景择优和内容选择上进行深度的优化,针对不同的业务目标,匹配出最适合用户的场景以及消息内容。为了用户,没有最懂你,只有更懂你。

备注说明

【1】奥格 -淘系用户生命周期全链路管理平台

【2】ODPS -阿里海量数据离线处理平台

【3】Blink - 基于 Flink 的阿里海量数据实时流计算平台

【4】赛马-素材竞争,一种自然的实验方式,通过素材自身内容进行竞争,优胜略汰

关注「淘系技术」微信公众号,一个有温度有内容的技术社区~

公众号二维码.jpg

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
体育直播在线观看平台开发搭建,建立常态化的促消费机制
随着体育赛事直播平台的崛起,建立常态化的促消费机制已成为运营者们的首要任务。
|
搜索推荐 定位技术 UED
淘宝用户体验分析方法论(上)
淘宝用户体验分析方法论(上)
1493 0
|
自然语言处理 数据挖掘 数据建模
淘宝用户体验分析方法论(下)
淘宝用户体验分析方法论(下)
696 0
|
存储 前端开发 JavaScript
闲鱼唤端的背后
唤醒沉睡的你
1113 1
闲鱼唤端的背后
|
机器学习/深度学习 算法 数据可视化
闲鱼触达平台的大杀器-HermesX
基于用户+基于行业+免打扰
411 0
闲鱼触达平台的大杀器-HermesX
|
存储 消息中间件 缓存
电商互动消息如何进行架构演进?
2020年双11,第一次改变节奏,从光棍节变成双节棍,从一个峰变成了两个峰,在新的挑战下,如何做好技术保障,做好技术支撑,所有技术人都进入了一个新的学习过程。新的形势下,显著特点是时间跨度长、活动周期长以及用户互动玩法更多。 从单用户CC分享到群内分享,以及直播间互动消息等,作为电商的消息IM承接着整个互动的场地,用户在整个“互动消息”场景下,可以进行实时分享、聊天、客服沟通、商家优惠、商家优惠活动和红包以及商品秒杀等。
电商互动消息如何进行架构演进?
|
搜索推荐 算法
【线上直播】智能推荐系列公开课——让产品价值最大化
阿里巴巴搜索推荐产品团队推出系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。 每期20分钟,修炼推荐硬功夫。
3525 0
【线上直播】智能推荐系列公开课——让产品价值最大化
|
算法 搜索推荐 决策智能
手淘促活那些事儿 | 智能投放算法框架助力用户增长
作为淘系用户增长算法团队,我们的定位是为淘系用户增长提供基础的用户理解、用户触达干预等算法能力,探索增长相关的玩法和机制,与产品、运营、开发等兄弟团队紧密配合,完成淘系用户增长的目标。
4136 0
手淘促活那些事儿 | 智能投放算法框架助力用户增长
|
存储 小程序 JavaScript
淘宝小程序还可以这么玩!私域互动实践总结
小程序创意互动项目,作为淘宝购物小程序全面提升消费体验和满足商家个性化运营的重点项目之一,从 2020 年 3 月底正式 KO 到今年双11,已经经历了多次迭代。在购物小程序技术、产品、运营团队同学的通力合作和共同努力下,初步实现了容器渲染层的替换、游戏引擎的谈判接入、多个引擎 IDE 的联动打通。小程序创意互动服务的旗舰店品牌 Zone、行业 3D 展示等业务也已有序铺开,项目本身的价值和意义开始逐渐展现。本文从一个较为全面的视角对淘宝小程序创意互动项目进行梳理和阶段性小结,介绍相关原理、能力、应用、现状与未来。
淘宝小程序还可以这么玩!私域互动实践总结
|
SQL 前端开发 JavaScript