基于PAI 10分钟搭建一个简单推荐系统

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 阿里巴巴技术专家傲海为大家带来基于PAI10分钟搭建一个简单推荐系统的介绍。内容包括个性化推荐业务流程,协同过滤算法,推荐方案的架构,以及实际操作四个部分。

课程地址:https://developer.aliyun.com/course/2052

一、个性化推荐业务流程

今天会为大家介绍一下如何基于PAI去搭建一套非常简单的推荐系统。这套推荐系统有两个特点。第一是搭建非常方便,因为我们做了很多工具。第二,这套系统是可扩展的。大家知道现在的APP都有很多feed流推荐,包括一些广告推荐、内容推荐,本质上就是一个推荐系统。推荐系统可以分为两个主要的模块。第一个是召回模块,它做的事情就是初筛。比如说,把10万个候选新闻缩小范围到只剩500个。第二个是排序模块,按用户的偏好程度对500个新闻排序,就可以生成最终的推荐顺序。在一个非常简单的推荐系统中,只有召回模块也是可以做推荐的。假设我把这个范围缩到足够小,比如说10个新闻,不需要排序,直接把这10个都推给用户就好。所以今天我们这个视频的内容就是教大家搭建一个只有召回模块的简单推荐系统。
image.png

二、协同过滤

召回和排序都有很多算法。比如说召回领域有很多矩阵分解算法、协同过滤算法等等。最经典的一个就是我们这里展示的collaborative filtering,即协同过滤算法。它可能是比较好理解的一个算法,我这里会用一个篇幅给大家介绍一下。比如说我们有用户A、B、C,他们的偏好如下图所示。你会发现A和C有一些相似的口味。A和C都喜欢Rice、Milk。除此之外,A还喜欢Lamb。就是说A和C有相似的口味,并且A还喜欢某个C没有尝试过的东西。我们就假设C也喜欢它,可以把它作为C的一个召回结果。这就是一个基于数据统计的标准的协同过滤的方式。这张图可以帮大家很好地去理解协同过滤算法的原理。就是说,先发现相似的物品或者相似的人,然后根据相似的人和相似的物品之间的关联性去找出它的一个推荐逻辑。我们今天的这一套推荐系统就是以协同过滤算法为基础去做。
image.png

三、推荐方案架构

完整的推荐架构如下图所示,包含如下部分:Dataworks,PAI-Studio,TableStore,PAI-AutoLearning,PAI-EAS。
image.png

四、实际操作

首先我们在PAI-Studio里基于你的原始数据生成你的协同过滤后的结果数据,这是两张表。
image.png
接着我们在TableStore,即表格存储里去把这两张表按照要求的格式建立出来。
image.png
然后利用Dataworks去把这个数据从PAI-Studio里灌到表格存储里。
image.png
接着在AutoLearning里去把TableStore的两个数据配置出来,配出来呈一个策略。
image.png
然后最后把这个策略变成一个PAI-EAS的服务,你可以在这看一个调用方式。最终用户拿到的结果就是这条服务。
image.png
如果想更新迭代里面的整个的数据,你就可以去改最原始的这张表。因为整套服务都可以做成一个自动化的流程,都可以利用Dataworks的数据调度系统去做成一个自动化的系统。所以你只要每天去更新这里的原始的数据就可以了,剩下来的业务都可以自动化。
image.png

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
1月前
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈,提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统,通过分析用户行为数据和商品信息,实现个性化推荐,从而提高推荐效率和准确性。
|
2月前
|
机器学习/深度学习 搜索推荐 算法
构建推荐系统:Python 与机器学习
推荐系统是一种利用机器学习算法和用户的历史行为数据来预测用户可能感兴趣的内容的技术。在当今的数字化时代,推荐系统已经成为许多互联网应用的核心组件,如电子商务、社交媒体和在线娱乐等。在 Python 中,我们可以使用各种机器学习库和工具来构建和实现推荐系统。
|
2月前
|
机器学习/深度学习 搜索推荐 算法
如何利用机器学习提高推荐系统的准确性
【2月更文挑战第3天】推荐系统在现代电商和社交媒体平台上发挥着重要作用。然而,传统的推荐算法面临着许多挑战,例如数据稀疏性、冷启动问题和长尾效应等。本文将介绍如何利用机器学习技术来提高推荐系统的准确性,并探讨一些最新的研究结果和实践经验。
|
3月前
|
机器学习/深度学习 搜索推荐 算法
机器学习的魔力:推荐系统中的智能引擎
本文将探讨机器学习在推荐系统中的应用。通过分析用户行为、个人偏好和大数据,机器学习算法可以为用户提供个性化的推荐,从而改善用户体验并提高商业效益。我们将介绍机器学习在推荐系统中的关键技术和算法,并探讨其在不同领域的实际应用。
34 0
|
3月前
|
机器学习/深度学习 搜索推荐 算法
【机器学习】推荐系统推荐算法综述
【1月更文挑战第10天】【机器学习】推荐系统推荐算法综述
|
4月前
|
机器学习/深度学习 搜索推荐 大数据
[机器学习]电影推荐系统设计(五)
[机器学习]电影推荐系统设计(五)
56 0
|
4月前
|
机器学习/深度学习 搜索推荐 算法
「机器学习」推荐系统简介——一起来看看你是怎么被大数据杀熟的(四)
「机器学习」推荐系统简介——一起来看看你是怎么被大数据杀熟的(四)
34 0
|
7月前
|
机器学习/深度学习 自然语言处理 搜索推荐
机器学习推荐系统效果评测
机器学习推荐系统效果评测
57 0
|
10月前
|
机器学习/深度学习 算法 搜索推荐
【吴恩达机器学习笔记】十四、推荐系统
【吴恩达机器学习笔记】十四、推荐系统
77 0
|
机器学习/深度学习 算法 搜索推荐
请问机器学习算法岗中用户增长和推荐系统差别是什么呢?(二)
请问机器学习算法岗中用户增长和推荐系统差别是什么呢?(二)
349 0
请问机器学习算法岗中用户增长和推荐系统差别是什么呢?(二)

热门文章

最新文章

相关产品

  • 人工智能平台 PAI