闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践(上)

简介: 闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践

 

作者:吴白

 

一、 推荐在闲鱼的应用

 

不同于搜索的确定性,推荐场景面临的问题往往是不确定的。但是正是因为这种不确定,带来了非常大的可能。所以推荐在闲鱼基本上遍地开花的状态。

 


image.png

尽管如此,推荐在闲鱼仍然面临着非常大的挑战,而这些挑战和闲鱼C2C市场的定位和特性密切相关。总的来说,闲鱼有四个比较明显的C2C特性:

 

• 浅库存。闲鱼的商品基本都是孤品单库存,售出即下架。这就需要推荐系统需要非常实时的感知到这种状态变化,对实效性要求非常高。

 

• 轻发布。闲鱼中的卖家大部分都是个人卖家,为了简化发布成本,一直提倡轻发布。所以闲鱼商品的结构化信息非常少,这给推荐带来的挑战非常大。

 

• 自由市场。闲鱼还是一个自由市场,在这个市场中有个人卖家,小B卖家,行业和专业卖家,同时也有各种黑灰产用户。这导致在闲鱼流量分发的难度非常高。

 

• 快速成长。最后闲鱼是一个成长型业务,快速增长带来的规模对推荐的整个基线压力非常大。

 


image.png

闲鱼推荐的演进历程和这四个特性密不可分,所以闲鱼推荐大致可以分成四个阶段

 

• 阶段一:圈品+离线打分。这个阶段推荐主要靠圈品+离线算分为主,无个性化,时效性天级。

• 阶段二:少量算法。阶段二开始在首页核心场景引入算法,以天级的I2I为主,但推荐底池时效性已经到了秒级。

• 阶段三:扩大应用。随着业务拿到算法第一波红利,越来越多的业务开始接入算法。特征和模型时效性也从天级提升至小时级,闲鱼首次引入招选搭投,应用大规模铺开。

• 阶段四:随着业务快速成长,规模快速扩大,底层基建迎来大规模升级。全图化,模型自动压缩,通用推荐等实现从0到1的越跃变。

 

经历了上述四个阶段的演进,形成了如下所示的闲鱼推荐HLA。

 


image.png


接下篇:https://developer.aliyun.com/article/1225869?groupCode=idlefish


相关文章
|
算法 程序员
从《阴阳师》到《原神》,抽卡中的程序算法
收集类的抽卡手游,是玩家们喜闻乐见的一类游戏,他们背后又有哪些程序算法?我们一起来探讨
6251 1
从《阴阳师》到《原神》,抽卡中的程序算法
|
弹性计算 网络协议 Linux
阿里云搭建我的世界服务器
以阿里云ECS服务器作为frp内网穿透中转,搭建我的世界服务器。
5114 0
|
11月前
|
存储 监控 安全
📤 史上最全阿里云OSS图床搭建指南:告别本地存储,加速网站访问
阿里云OSS图床助力网站性能飞跃:图片加载从4.2秒缩至1.1秒,月流量成本降35%。结合CDN加速与智能优化,实现高速、安全、低成本的图片存储与分发,提升用户体验,释放创作潜能。
|
8月前
|
API 异构计算
计算巢模型市场支持一键部署Qwen3.5模型
Qwen3.5是阿里云全新多模态大模型,3970亿参数、仅激活170亿,支持256K上下文(可扩至1M)、201种语言及视觉理解与Agent能力,性能媲美顶级闭源模型,登顶最强开源大模型。计算巢一键部署,支持SGLang/vLLM,即开即用。
|
机器学习/深度学习 人工智能 分布式计算
使用PAI+LLaMA Factory 微调 Qwen2-VL 模型,搭建文旅领域知识问答机器人
本次教程介绍了如何使用 PAI ×LLaMA Factory 框架,基于全参方法微调 Qwen2-VL 模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
使用PAI+LLaMA Factory 微调 Qwen2-VL 模型,搭建文旅领域知识问答机器人
|
存储 人工智能 弹性计算
从“云+原神”到“云上星穹”,阿里云支持米哈游新游全球首发
近日,阿里云支持米哈游新作《崩坏:星穹铁道》正式上线,首发当天全网下载量突破2000万,当日登上iOS免费榜与畅销榜的总榜第一及其他多国榜首。
|
机器学习/深度学习 编解码 人工智能
ColorFlow:腾讯和清华大学联合推出的图像序列着色模型,通过参考图像的颜色对黑白漫画进行着色生成彩色漫画
ColorFlow是由清华大学和腾讯ARC实验室共同推出的图像序列着色模型,通过检索增强、上下文学习和超分辨率技术,确保黑白图像序列的着色与参考图像颜色一致,适用于漫画、动画制作等工业应用。
2228 15
ColorFlow:腾讯和清华大学联合推出的图像序列着色模型,通过参考图像的颜色对黑白漫画进行着色生成彩色漫画
|
网络协议 Linux 虚拟化
如何在 Linux 系统中查看进程的详细信息?
如何在 Linux 系统中查看进程的详细信息?
2167 1
|
数据采集 Java Linux
Java“Broken Pipe”解决
Java中遇到“Broken Pipe”错误通常是因为Socket连接被远程主机关闭,而本地程序仍在尝试写入数据。解决方法包括:1. 检查网络连接和防火墙设置;2. 增加超时设置;3. 使用异常处理捕获并重试。
3764 4