开发者社区> 闲鱼技术> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

闲鱼推荐,让智能计算从云走向端

简介: 我想更懂你!
+关注继续查看


闲鱼推荐,知道你的喜欢。

作者:
储睿(刘思佳)、锦逸(陈祎平)、明栋(欧明栋)、资旭(杨子旭)。

关键词:
智能推荐、特征工程、特征处理。

术语解释:

  • 机器学习(Machine Learning):是关于在计算机上从数据中产生“模型”(model)的算法;
  • 数据集(Data Set):一组记录的集合;
  • 模型(Model):泛指从数据中学得的结果;
  • 特征(Feature):是从原始数据中抽取出来的对结果预测有用的信息,可以是文本或者数据;
  • 特征工程(Feature Engineering):是使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。过程包含了特征提取、特征构建、特征选择等模块;
  • 端计算/边缘计算:与传统的中心化思维不同,它的计算节点更靠近终端,使服务响应高于传统中心化的云计算。

1. 背景

近些年,随着云计算和大数据的快速发展,以机器学习为基础的智能推荐也得到了迅猛发展。利用云计算,不但可以每日更新模型,双11更是小时级更新模型,以实现更准确的推荐。为了更好的优化推荐系统,丰富实时特征,通常会采集大量的行为数据上报到云端。随着闲鱼DAU(日活跃用户数量)的不断增长,这种云端中心化计算模式的问题也暴露了出来。

中心化模式不但要消耗大量的服务器资源,还要面对海量数据处理所带来的延迟问题(分钟级延迟,不可原谅)。

2. 推荐系统的实时性

为什么说,延迟问题对推荐系统是致命的,不可原谅的?
推荐系统的实时性越高,更新速度越快,推荐越准。现在的用户越来越没有耐心,如果不快速抓住用户的心,用户很容易流失。

推荐系统的实时性是指:
(1)“模型”的实时性;
(2)“特征”的实时性

2.1 “模型”的实时性

“模型”的实时性:不断更新模型,可以让模型找到最新的流行趋势,以及最新的相关性信息。

比如,大家都去关注某个明星,模型会通过大多数人的行为数据,发现该明星成为了流行趋势,以及大家所关注的内容。

暂时不对模型的实时性进行详细分析,现在的模型训练还强依赖云计算。
当然,很多人也在尝试,端计算和云计算的联合训练。相信不久的将来,应该会有成果落地。

2.2 “特征”的实时性

“特征”的实时性:以用户最近的行为数据作为输入特征,模型就会发现用户最近的行为习惯,并进行相关的预测和推荐。

比如,你浏览了一部手机,系统就会给你推送不同品牌、不同价位的手机;如果你连续浏览华为手机,系统就会给你推送不同价位的华为手机。你连续行为数据越丰富,推荐越准确。

PS:我们说的,中心化计算模式数据处理所带来的延迟问题,就是影响了特征的实时性。

3. 推荐系统的实时特征

为什么,特征更新只是存在分钟级延迟就不可原谅了?而模型只需要每日更新?
模型的实时性代表流行趋势,通常情况流行趋势不会实时变化,只需要满足活动的趋势变化就可以了。
而特征的实时性代表个体用户的实时行为,如果无法对用户的实时行为做出响应,用户就可能流失。

特征的实时性很重要,其实并不是所有特征都有实时性要求,比如:性别、年龄等。对实时性有要求的特征,我们称之为实时特征。

闲鱼推荐实时特征包括:
(1)浏览行为特征,如曝光、曝光时长、滚动速度等;
(2)详情页行为特征,如进入详情页、询单、收藏、评论、点赞、点击大图等;
(3)购买行为特征,下单后不再进行相关推荐。

浏览行为特征

在推荐场景,连用户都不知道自己想要什么的情况下。我们希望通过细化用户浏览行为特征,来判读他所关注的商品。

引入端计算后,我们可以采集更多维度的用户行为数据,使用户模型更准确。

PS:长时间以来,闲鱼推荐的浏览行为特征几乎是缺失的。算法一直在用伪曝光(下发即曝光)数据做推荐,因为云端根本没有足够多的服务器对曝光数据进行特征处理。曝光数据量实在是太大了,每个用户随意的一次滚动就会产生多条曝光数据。

4. 实时聚类特征 & 实时意图特征

为了解决云端处理延迟问题,我们对实时特征进行了抽象,沉淀了两种端上的实时特征处理方案:
(1)实时聚类特征;
(2)实时意图特征。

4.1 实时聚类特征

我们利用端计算,对行为数据进行实时聚类统计。
我们现在是按60秒的时间插槽聚类统计(时间插槽太大效果不好,太小数据上报太频繁,QPS太高);
我们统计60秒内,某个类目(手机、女裙、美妆等)的曝光次数、曝光时长、点击PV等数据;
如果是强特征事件(点击事件)会实时触发特征上报,如果是弱特征事件(曝光事件)会累计到10个再上报。

全量发布两周后数据统计:


4.2 实时意图特征


该方案,是利用端智能模型,对行为数据进行实时意图判读,并上报到云端。
PS:该方案,我们还没有全量,还在尝试。

5. 总结

本文,利用端计算(边缘计算)将特征工程前置,实现了去中心化,解决了大量原始数据在云端堆积无法实时处理的问题,提高了推荐系统的特征实时性。
端计算的引入,不但提高了推荐系统的实时性,同时完善了用户行为数据,让之前很多不可能的事情变成了可能,大大提升了推荐效率。
实践证明,端云协同将成为未来的趋势。

6. 延展

现在,我们已经将特征数据实时上报到了云端,但是需要到下一次接口请求才会出现相关商品的推荐。这里存在响应的实时性问题。
最近,我们正在尝试对未曝光商品进行数据重刷(还在线上AB测试,效果挺好的,应该马上就会全量了)。
方案概述:由端模型判断是否进行数据重刷,然后客户端发起接口请求(请求新推荐的商品数据),再替换未曝光商品。
PS:本文暂不对重刷方案进行详细介绍,后面会有专题文章。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
《美柚混合云架构演进与女性个性化推荐系统》电子版地址
美柚混合云架构演进与女性个性化推荐系统
0 0
Tapdata 创始人唐建法:以秒级响应速度,为企业提供实时数据服务 | 阿里云云原生加速器特别报道
Tapdata 一直以生态伙伴的身份与阿里云保持着深度合作。未来,借助阿里云的生态战略与生态集成技术的全面开放,双方的紧密合作将进入新的阶段,共同为中国数千万家企业提供数字化转型服务。
0 0
某智能终端厂商流量商业化项目的云原生大数据平台实践
随着流量获取,移动互联网业务成为集团三大战略之一,启动流量商业化项目,包括类似阿里妈妈的流量联盟、帮助广告主更好买量的数字化营销平台以及用户体系等,其中广告检索和广告大数据平台成为支撑整个流量商业化项目的技术基础。
0 0
KubeMeet 直播 | 现场直击大规模集群、混合环境下的云原生应用交付难题
2022 年 1 月 15 日 由云原生基金会与阿里云同城会联合主办的 KubeMeet 「云原生应用交付与管理」专场开发者沙龙将在成都举办,同时,线上直播预约已开启,快参与到本次 KubeMeet 中吧!
0 0
阿里云混合云重磅发布 全栈建云智能管云极致用云
6月9日, 2020阿里云峰会在云端召开,阿里云混合云产品总监谢宁出席峰会并发布阿里云混合云战略:全栈建云、智能管云、极致用云。阿里云混合云是国内首个大规模成熟商用的原生混合云,提供稳定、安全、弹性、开放的产品和解决方案,致力于成为政企客户实现数字化转型的核心基础设施。
0 0
阿里云混合云重磅发布 | 全栈建云 智能管云 极致用云
6月9日, 2020阿里云峰会在云端召开,阿里云混合云产品总监谢宁出席峰会并发布阿里云混合云战略:全栈建云、智能管云、极致用云。阿里云混合云是国内首个大规模成熟商用的原生混合云,提供稳定、安全、弹性、开放的产品和解决方案,致力于成为政企客户实现数字化转型的核心基础设施。
3263 0
云栖大会 | 肖力:极致安全,是云的天然基因
在阿里云,无论是每天16亿次的防御体量,还是85分钟应急的速度,都在实战中被反复验证。我们有精良的武器库,也有全副武装的特种部队。
2716 0
【云周刊】第129期:探秘!双11背后的基础设施支撑
免费下载!业界首部安卓热修复宝典出炉,阿里技术大牛联袂推荐!当AI来敲门,一刊尽览人工智能,一个小例子完美解释Naive Bayes(朴素贝叶斯)分类器 ,首届阿里巴巴中间件技术峰会来了...更多精彩技术资讯,尽在云周刊!
15557 0
+关注
闲鱼技术
阿里巴巴旗下,闲鱼技术团队官方账号 简历投递:guicai.gxy@alibaba-inc.com
文章
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
美柚混合云架构演进与女性个性化推荐系统
立即下载
云原生体系在淘系的落地-淘宝互动业务高效研发
立即下载
全链路稳定性背后的数字化支撑:阿里巴巴鹰眼技术解密
立即下载