闲鱼推荐,让智能计算从云走向端-阿里云开发者社区

开发者社区> 闲鱼技术> 正文

闲鱼推荐,让智能计算从云走向端

简介: 我想更懂你!


闲鱼推荐,知道你的喜欢。

作者:
储睿(刘思佳)、锦逸(陈祎平)、明栋(欧明栋)、资旭(杨子旭)。

关键词:
智能推荐、特征工程、特征处理。

术语解释:

  • 机器学习(Machine Learning):是关于在计算机上从数据中产生“模型”(model)的算法;
  • 数据集(Data Set):一组记录的集合;
  • 模型(Model):泛指从数据中学得的结果;
  • 特征(Feature):是从原始数据中抽取出来的对结果预测有用的信息,可以是文本或者数据;
  • 特征工程(Feature Engineering):是使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。过程包含了特征提取、特征构建、特征选择等模块;
  • 端计算/边缘计算:与传统的中心化思维不同,它的计算节点更靠近终端,使服务响应高于传统中心化的云计算。

1. 背景

近些年,随着云计算和大数据的快速发展,以机器学习为基础的智能推荐也得到了迅猛发展。利用云计算,不但可以每日更新模型,双11更是小时级更新模型,以实现更准确的推荐。为了更好的优化推荐系统,丰富实时特征,通常会采集大量的行为数据上报到云端。随着闲鱼DAU(日活跃用户数量)的不断增长,这种云端中心化计算模式的问题也暴露了出来。

中心化模式不但要消耗大量的服务器资源,还要面对海量数据处理所带来的延迟问题(分钟级延迟,不可原谅)。

2. 推荐系统的实时性

为什么说,延迟问题对推荐系统是致命的,不可原谅的?
推荐系统的实时性越高,更新速度越快,推荐越准。现在的用户越来越没有耐心,如果不快速抓住用户的心,用户很容易流失。

推荐系统的实时性是指:
(1)“模型”的实时性;
(2)“特征”的实时性

2.1 “模型”的实时性

“模型”的实时性:不断更新模型,可以让模型找到最新的流行趋势,以及最新的相关性信息。

比如,大家都去关注某个明星,模型会通过大多数人的行为数据,发现该明星成为了流行趋势,以及大家所关注的内容。

暂时不对模型的实时性进行详细分析,现在的模型训练还强依赖云计算。
当然,很多人也在尝试,端计算和云计算的联合训练。相信不久的将来,应该会有成果落地。

2.2 “特征”的实时性

“特征”的实时性:以用户最近的行为数据作为输入特征,模型就会发现用户最近的行为习惯,并进行相关的预测和推荐。

比如,你浏览了一部手机,系统就会给你推送不同品牌、不同价位的手机;如果你连续浏览华为手机,系统就会给你推送不同价位的华为手机。你连续行为数据越丰富,推荐越准确。

PS:我们说的,中心化计算模式数据处理所带来的延迟问题,就是影响了特征的实时性。

3. 推荐系统的实时特征

为什么,特征更新只是存在分钟级延迟就不可原谅了?而模型只需要每日更新?
模型的实时性代表流行趋势,通常情况流行趋势不会实时变化,只需要满足活动的趋势变化就可以了。
而特征的实时性代表个体用户的实时行为,如果无法对用户的实时行为做出响应,用户就可能流失。

特征的实时性很重要,其实并不是所有特征都有实时性要求,比如:性别、年龄等。对实时性有要求的特征,我们称之为实时特征。

闲鱼推荐实时特征包括:
(1)浏览行为特征,如曝光、曝光时长、滚动速度等;
(2)详情页行为特征,如进入详情页、询单、收藏、评论、点赞、点击大图等;
(3)购买行为特征,下单后不再进行相关推荐。

浏览行为特征

在推荐场景,连用户都不知道自己想要什么的情况下。我们希望通过细化用户浏览行为特征,来判读他所关注的商品。

引入端计算后,我们可以采集更多维度的用户行为数据,使用户模型更准确。

PS:长时间以来,闲鱼推荐的浏览行为特征几乎是缺失的。算法一直在用伪曝光(下发即曝光)数据做推荐,因为云端根本没有足够多的服务器对曝光数据进行特征处理。曝光数据量实在是太大了,每个用户随意的一次滚动就会产生多条曝光数据。

4. 实时聚类特征 & 实时意图特征

为了解决云端处理延迟问题,我们对实时特征进行了抽象,沉淀了两种端上的实时特征处理方案:
(1)实时聚类特征;
(2)实时意图特征。

4.1 实时聚类特征

我们利用端计算,对行为数据进行实时聚类统计。
我们现在是按60秒的时间插槽聚类统计(时间插槽太大效果不好,太小数据上报太频繁,QPS太高);
我们统计60秒内,某个类目(手机、女裙、美妆等)的曝光次数、曝光时长、点击PV等数据;
如果是强特征事件(点击事件)会实时触发特征上报,如果是弱特征事件(曝光事件)会累计到10个再上报。

全量发布两周后数据统计:


4.2 实时意图特征


该方案,是利用端智能模型,对行为数据进行实时意图判读,并上报到云端。
PS:该方案,我们还没有全量,还在尝试。

5. 总结

本文,利用端计算(边缘计算)将特征工程前置,实现了去中心化,解决了大量原始数据在云端堆积无法实时处理的问题,提高了推荐系统的特征实时性。
端计算的引入,不但提高了推荐系统的实时性,同时完善了用户行为数据,让之前很多不可能的事情变成了可能,大大提升了推荐效率。
实践证明,端云协同将成为未来的趋势。

6. 延展

现在,我们已经将特征数据实时上报到了云端,但是需要到下一次接口请求才会出现相关商品的推荐。这里存在响应的实时性问题。
最近,我们正在尝试对未曝光商品进行数据重刷(还在线上AB测试,效果挺好的,应该马上就会全量了)。
方案概述:由端模型判断是否进行数据重刷,然后客户端发起接口请求(请求新推荐的商品数据),再替换未曝光商品。
PS:本文暂不对重刷方案进行详细介绍,后面会有专题文章。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

阿里巴巴集团-闲鱼技术团队官方账号 简历投递:guicai.gxy@alibaba-inc.com

官方博客
开源工具
English