闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践(上)

简介: 闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践

 

作者:吴白

 

一、 推荐在闲鱼的应用

 

不同于搜索的确定性,推荐场景面临的问题往往是不确定的。但是正是因为这种不确定,带来了非常大的可能。所以推荐在闲鱼基本上遍地开花的状态

 


image.png

尽管如此,推荐在闲鱼仍然面临着非常大的挑战,而这些挑战和闲鱼C2C市场的定位和特性密切相关。总的来说,闲鱼有四个比较明显的C2C特性:

 

浅库存。闲鱼的商品基本都是孤品单库存,售出即下架。这就需要推荐系统需要非常实时的感知到这种状态变化,对实效性要求非常高。

 

轻发布。闲鱼中的卖家大部分都是个人卖家,为了简化发布成本,一直提倡轻发布。所以闲鱼商品的结构化信息非常少,这给推荐带来的挑战非常大。

 

自由市场。闲鱼还是一个自由市场,在这个市场中有个人卖家,小B卖家,行业和专业卖家,同时也有各种黑灰产用户。这导致在闲鱼流量分发的难度非常高。

 

快速成长。最后闲鱼是一个成长型业务,快速增长带来的规模对推荐的整个基线压力非常大。

 


image.png

闲鱼推荐的演进历程和这四个特性密不可分,所以闲鱼推荐大致可以分成四个阶段

 

阶段一:圈品+离线打分。这个阶段推荐主要靠圈品+离线算分为主,无个性化,时效性天级。

阶段二:少量算法。阶段二开始在首页核心场景引入算法,以天级的I2I为主,但推荐底池时效性已经到了秒级。

阶段三:扩大应用。随着业务拿到算法第一波红利,越来越多的业务开始接入算法。特征和模型时效性也从天级提升至小时级,闲鱼首次引入招选搭投,应用大规模铺开。

阶段四:随着业务快速成长,规模快速扩大,底层基建迎来大规模升级。全图化,模型自动压缩,通用推荐等实现从0到1的越跃变。

 

经历了上述四个阶段的演进,形成了如下所示的闲鱼推荐HLA

 


image.png


接下篇:https://developer.aliyun.com/article/1225869?groupCode=idlefish


相关文章
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践(下)
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践
302 0
|
存储 资源调度 算法
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践(中)
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践
334 0
|
Dart Serverless iOS开发
QCon演讲|闲鱼从零到千万DAU的应用架构演进
导读:业务架构要随着业务发展做相应的演进,继而支撑业务的快速发展。本文主要通过介绍闲鱼从零发展到千万级DAU应用的不同阶段的业务特点、核心问题以及针对性的架构演进,来阐述业务架构的演进思路与心得。
6665 0
QCon演讲|闲鱼从零到千万DAU的应用架构演进
|
存储 编解码 人工智能
5G 和云原生时代的技术下半场,视频化是最大最新的确定性 ——QCon2020 主题演讲全文
随着 5G/ 芯片 / 区块链等等新技术的不断成熟、云计算的普及和云原生时代带来的诸多便捷,开发者和架构师们眼前的挑战也不再只是 0-1 的建设问题,技术如何更多地带来业务价值成为了一个值得讨论的话题。由极客邦科技举办的 QCon 全球软件开发大会 2020(深圳站)上,阿里巴巴集团研究员,阿里云智能视频云业务负责人林昊(花名毕玄)发表了主题演讲《5G 和云原生时代的技术下半场》,以 5G 典型场景音视频为例,探讨相关技术和技术人的下半场,以下内容为演讲整理。
5G 和云原生时代的技术下半场,视频化是最大最新的确定性 ——QCon2020 主题演讲全文
|
缓存 前端开发 rax
|
人工智能 运维 Cloud Native
一图剧透!阿里巴巴研发效能峰会核心看点速览
6月12日-13日 阿里巴巴内部研发效能峰会首次对外直播! 7大论坛,35个议题,1300分钟技术干货! 39位技术大咖,4万阿里工程师,邀你共享研发效能盛宴!
2539 0
一图剧透!阿里巴巴研发效能峰会核心看点速览
互联网公司成功的四个要点,互联网营销
  要点一:要确立竞争对手   创建互联网公司的第一步,也是最关键的一步,就是要确立竞争对手。   任何企业要建立自己的业务,其生意都从既有行业与竞争中转化而来。汽车的生意从马车转化而来,飞机的生意从铁路和轮船转化而来,可乐的生意从酒类饮料转化而来,亚马逊的生意源自传统书店,Google的生意源自雅虎(综合门户),百度(中文搜索)的生意源自Google,从战略脉络看,整个商业界都是如此。
1539 0
|
开发者 容器 Kubernetes
从0到千万DAU,这5年闲鱼架构如何演进? | 开发者必读(096期)
从0到千万DAU,闲鱼架构如何演进?政务钉钉如何帮助政府打造组织中台?视障用户如何盖楼抢双十一红包?……最炫的技术新知、最热门的大咖公开课、最有趣的开发者活动、最实用的工具干货,就在《开发者必读》!
1214 0
|
存储 人工智能
阿里云总监课第三期:深入解析数据存储技术原理及发展演进
阿里云总监系列课重磅上线!聚焦人工智能、弹性计算、数据库等热门领域,首次集齐12位阿里云技术高管,耗时半年精心打磨,从理论到实践倾囊相授,从零开始绘制技术大牛成长路径。 第三期《深入解析数据存储技术原理及发展演进》特邀阿里云盘古分布式存储资深技术专家储道,为大家带来干货分享。
2751 0