推荐系统之冷启动问题

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介:
前言

冷启动问题同比于启动车辆,通常车正式开启之前需要有热车阶段,这个过程就是冷启动过程。冷启动在推荐系统也是常见的问题,大家知道类似于抖音、淘宝等工具,都会根据用户的兴趣去推荐内容,如果一个新用户进来,系统完全不清楚他的兴趣,该如何推荐呢?这就是本文要给大家介绍的内容。


冷启动对于一个推荐系统是至关重要的,因为新用户最初使用APP阶段也是这名用户最可能卸载APP的时候,如果新用户进入产品不能快速给用户带来价值,是非常危险的。今天介绍的内容会围绕下面这张图展开:

屏幕快照 2018-12-13 下午3.31.30.png

首先把冷启动问题归为3个类别:

  1. 系统冷启动:整个系统都是新做的,没有任何数据和经验基础

  2. 推荐主体冷启动:通常指的是缺少新注册用户的历史购买或点击数据

  3. 被推荐对象冷启动:通常指的是缺少商城中的新商品或者新的内容历史被点击或购买的数据

下面分别针对以上内容讲下处理方法。



1. 系统冷启动

1.jpeg

系统冷启动这个其实真的没太好的办法,万事开头难,系统冷启动缺少的是专家经验,建议系统在运行前务必请有经验的架构师或者产品经理参与设计,如果架构或者整个推荐策略不合理,上线后是比较难调整的。



2.推荐主体冷启动


当推荐主体冷启动时,往往是新用户进来之后,大方向上要从两个角度去想解决方案,一个方向是尽可能扩展用户画像,增加更多维度的信息。第二个方向在初期推荐的内容上也要有所策略。


2.1 扩充用户画像


79e1740dd0808063f797ed1a115332e9.png

用户画像的扩充有很多手段,常用的方法如下:

  • 账号注册信息:注册的时候可以让用户填写年龄、性别等内容、手机号等内容,同时也可以通过LBS信息了解用户的活动区域。针对这些信息可以给用户兴趣做一个初步判断,比如年轻的都市女性,往往有较高的消费能力,在推荐策略上可以推荐高规格的一些内容

  • 身份证信息:现在很多系统都需要实名认证,身份证号其实可以带来很多有用的信息,比如前两位是省级代码,34位是市级代码,7-14位是生日代码,第17位是性别代码(奇数代表男性、偶数代表女性)

  • 社交账号登录:如果系统可以设计成支持淘宝、微信等账号登录,也可以通过这些系统拿到部分用户画像信息

  • 预采集:现在很多APP,当用户初次进入都有一个兴趣爱好勾选的按钮,这个就是为了解决冷启动的一个手段,在推荐之前先通过用户标记获取用户信息

  • 数据交换:注册的时候其实可以拿到用户的手机号码,现在有很多卖数据的公司都提供用户画像数据的交易,只要提供手机号就能获取特别全的用户数据(这个貌似是个黑产业)

2.2 推荐策略

对于这种冷启动问题推荐策略有两个方向可以选择,可以结合着来使用。

  • 热门推荐法:反正也不清楚用户的信息,就挑平台上最热门的内容推荐,总归从概率层面上被大多受众认可的东西也有大概率被新用户认可

  • 老虎机算法:学名叫Bandit算法,意思是假设用户前方有10个老虎机,每个都有不同的概率出钱,用户不知道这个概率,那用户该怎么选呢,就是懵!落到冷启动问题上,就是先随便推荐用户几个不同Topic的内容(一定是不同的),看看用户的反馈再决定下一步的推荐安排



3. 被推荐对象冷启动


1.png

被推荐对象往往是平台上新增加的内容,不同于推荐主体,被推荐对象如商品、短视频、广告等,平台是有办法通过一些分析拿到内容属性的。可以通过以下两个步骤建立推荐推荐策略:

  1. 挖掘属性:先对新增内容属性进行挖掘,比如增加的是个手机,可以通过标签获取手机价格、颜色等信息,再进行下一步推荐

  2. ICF聚类:在之前推荐系统相关的文章中已经多次介绍过协同过滤算法,本质上是先将内容分类。比如新增加的是一个美女跳舞的视频,那么再找哪些用户浏览过类似的视频,就把新增视频推荐给对应的用户,这种策略本质上是一种聚类算法。比如新增内容是个红色的手机,就找到历史上购买过红色手机的用户来推荐



文末,全文针对冷启动问题的不同细节介绍了具体的一些实践路径。具体如何把其中的细节实现其实对推荐系统有很高的架构要求,比如被推荐对象冷启动问题,每当新来一个商品就需要快速的做协同过滤找到商品所属类别,这其实要依赖一个流式的计算引擎才可以实现。ok,关于架构的事情之前已经写过一些,过一段会有一个总结。感谢观看,希望能有收获~





相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
相关文章
|
4月前
|
机器学习/深度学习 搜索推荐 TensorFlow
使用Python实现深度学习模型:个性化推荐与广告优化
【7月更文挑战第22天】 使用Python实现深度学习模型:个性化推荐与广告优化
182 71
|
机器学习/深度学习 自然语言处理 数据挖掘
向量召回:深入评估离线体系,探索优质召回方法
向量召回:深入评估离线体系,探索优质召回方法
向量召回:深入评估离线体系,探索优质召回方法
|
机器学习/深度学习 存储 人工智能
深度学习应用篇-推荐系统[11]:推荐系统的组成、场景转化指标(pv点击率,uv点击率,曝光点击率)、用户数据指标等评价指标详解
深度学习应用篇-推荐系统[11]:推荐系统的组成、场景转化指标(pv点击率,uv点击率,曝光点击率)、用户数据指标等评价指标详解
深度学习应用篇-推荐系统[11]:推荐系统的组成、场景转化指标(pv点击率,uv点击率,曝光点击率)、用户数据指标等评价指标详解
|
机器学习/深度学习 存储 开发框架
推荐系统[八]算法实践总结V1:淘宝逛逛and阿里飞猪个性化推荐:召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】
推荐系统[八]算法实践总结V1:淘宝逛逛and阿里飞猪个性化推荐:召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】
推荐系统[八]算法实践总结V1:淘宝逛逛and阿里飞猪个性化推荐:召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】
|
机器学习/深度学习 存储 人工智能
预约直播 | 展心展力MetaApp:基于DeepRec的稀疏模型训练实践
阿里云AI技术分享会第十一期《基于DeepRec的稀疏模型训练实践》将在2023年7月5日晚18:00开启直播,精彩不容错过。
|
机器学习/深度学习 人工智能 算法
推荐系统召回算法及架构说明
阿里巴巴技术专家傲海为大家带来推荐系统召回算法及架构说明的介绍。内容包括召回模块在推荐系统中的位置,召回算法的介绍,什么是协同过滤,以及向量召回架构的说明。
推荐系统召回算法及架构说明
|
算法 搜索推荐
信息流短视频时长多目标优化
背景       信息流短视频排序目前使用的是基于CTR预估Wide&Deep排序模型。在此基础上继续一系列优化,通过引入相关性信号、体感信号、多场景的样本融合、高层排序模型取得了不错收益。       信息流短视频模型优化可分为两部分优化: 感知相关性优化——点击模型以优化(CTR/CLICK为
7818 0
|
机器学习/深度学习 人工智能 算法
推荐系统召回算法及架构说明|学习笔记
快速学习推荐系统召回算法及架构说明
567 0
推荐系统召回算法及架构说明|学习笔记
|
机器学习/深度学习 自然语言处理 算法
推荐引擎—算法策略讲解1|学习笔记
快速学习推荐引擎—算法策略讲解1
推荐引擎—算法策略讲解1|学习笔记
|
机器学习/深度学习 并行计算 搜索推荐
推荐系统专题 | 单域推荐系统模型汇总(召回与排序算法)
推荐系统专题 | 单域推荐系统模型汇总(召回与排序算法)
672 0
推荐系统专题 | 单域推荐系统模型汇总(召回与排序算法)

热门文章

最新文章