闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践(上)

简介: 闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践

 

作者:吴白

 

一、 推荐在闲鱼的应用

 

不同于搜索的确定性,推荐场景面临的问题往往是不确定的。但是正是因为这种不确定,带来了非常大的可能。所以推荐在闲鱼基本上遍地开花的状态

 


image.png

尽管如此,推荐在闲鱼仍然面临着非常大的挑战,而这些挑战和闲鱼C2C市场的定位和特性密切相关。总的来说,闲鱼有四个比较明显的C2C特性:

 

浅库存。闲鱼的商品基本都是孤品单库存,售出即下架。这就需要推荐系统需要非常实时的感知到这种状态变化,对实效性要求非常高。

 

轻发布。闲鱼中的卖家大部分都是个人卖家,为了简化发布成本,一直提倡轻发布。所以闲鱼商品的结构化信息非常少,这给推荐带来的挑战非常大。

 

自由市场。闲鱼还是一个自由市场,在这个市场中有个人卖家,小B卖家,行业和专业卖家,同时也有各种黑灰产用户。这导致在闲鱼流量分发的难度非常高。

 

快速成长。最后闲鱼是一个成长型业务,快速增长带来的规模对推荐的整个基线压力非常大。

 


image.png

闲鱼推荐的演进历程和这四个特性密不可分,所以闲鱼推荐大致可以分成四个阶段

 

阶段一:圈品+离线打分。这个阶段推荐主要靠圈品+离线算分为主,无个性化,时效性天级。

阶段二:少量算法。阶段二开始在首页核心场景引入算法,以天级的I2I为主,但推荐底池时效性已经到了秒级。

阶段三:扩大应用。随着业务拿到算法第一波红利,越来越多的业务开始接入算法。特征和模型时效性也从天级提升至小时级,闲鱼首次引入招选搭投,应用大规模铺开。

阶段四:随着业务快速成长,规模快速扩大,底层基建迎来大规模升级。全图化,模型自动压缩,通用推荐等实现从0到1的越跃变。

 

经历了上述四个阶段的演进,形成了如下所示的闲鱼推荐HLA

 


image.png


接下篇:https://developer.aliyun.com/article/1225869?groupCode=idlefish


相关文章
|
5月前
|
消息中间件 存储 缓存
阿里P8架构师带你“一窥”大型网站架构的主要技术挑战和解决方案
传统的企业应用系统主要面对的技术挑战是处理复杂凌乱、千变万化的所谓业务逻辑,而大型网站主要面对的技术挑战是处理超大量的用户访问和海量的数据处理;前者的挑战来自功能性需求,后者的挑战来自非功能性需求;功能性需求也许还有“人月神话”聊以自慰,通过增加人手解决问题,而非功能需求大多是实实在在的技术难题,无论有多少工程师,做不到就是做不到。
|
12月前
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践(下)
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践
186 0
|
12月前
|
存储 资源调度 算法
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践(中)
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践
237 0
|
12月前
|
人工智能 运维 搜索推荐
电商行业实践专栏上线|阿里巴巴风控实战如何解决大规模风控的技术难点?
Flink-learning 学训平台第 4 期课程——电商行业实践专栏上线啦!
701 0
电商行业实践专栏上线|阿里巴巴风控实战如何解决大规模风控的技术难点?
|
12月前
|
移动开发 Dart 前端开发
闲鱼技术2022年度白皮书-KUN主题-这一年,我对终端组织与技术架构的思考【专家讲技术】(中)
闲鱼技术2022年度白皮书-KUN主题-这一年,我对终端组织与技术架构的思考【专家讲技术】
172 0
|
12月前
|
运维 Dart 前端开发
闲鱼技术2022年度白皮书-KUN主题-这一年,我对终端组织与技术架构的思考【专家讲技术】(下)
闲鱼技术2022年度白皮书-KUN主题-这一年,我对终端组织与技术架构的思考【专家讲技术】
168 0
|
12月前
|
移动开发 Dart 前端开发
闲鱼技术2022年度白皮书-KUN主题-这一年,我对终端组织与技术架构的思考【专家讲技术】(上)
闲鱼技术2022年度白皮书-KUN主题-这一年,我对终端组织与技术架构的思考【专家讲技术】
148 0
|
前端开发 搜索推荐 小程序
蚂蚁P10玉伯的产品思考:技术人如何做产品
蚂蚁P10玉伯的产品思考:技术人如何做产品
261 0
|
运维 监控 数据可视化
一文详解网易数帆数据生产力方法论
2021 年,网易数帆大数据团队正式提出数据生产力的理念,数据生产力从广义上讲,是指“通过使用数据,带来组织生产力的提升”;从狭义上讲,是指“数据采集、清洗、加工、可视化等数据处理和数据治理的软件生产能力以及持续运营能力”。
216 0
一文详解网易数帆数据生产力方法论
2021双11淘系技术九大技术亮点发布
2021双11淘系技术九大技术亮点发布
2021双11淘系技术九大技术亮点发布