基于PAI 10分钟搭建一个简单推荐系统

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 阿里巴巴技术专家傲海为大家带来基于PAI10分钟搭建一个简单推荐系统的介绍。内容包括个性化推荐业务流程,协同过滤算法,推荐方案的架构,以及实际操作四个部分。

课程地址:https://developer.aliyun.com/course/2052

一、个性化推荐业务流程

今天会为大家介绍一下如何基于PAI去搭建一套非常简单的推荐系统。这套推荐系统有两个特点。第一是搭建非常方便,因为我们做了很多工具。第二,这套系统是可扩展的。大家知道现在的APP都有很多feed流推荐,包括一些广告推荐、内容推荐,本质上就是一个推荐系统。推荐系统可以分为两个主要的模块。第一个是召回模块,它做的事情就是初筛。比如说,把10万个候选新闻缩小范围到只剩500个。第二个是排序模块,按用户的偏好程度对500个新闻排序,就可以生成最终的推荐顺序。在一个非常简单的推荐系统中,只有召回模块也是可以做推荐的。假设我把这个范围缩到足够小,比如说10个新闻,不需要排序,直接把这10个都推给用户就好。所以今天我们这个视频的内容就是教大家搭建一个只有召回模块的简单推荐系统。
image.png

二、协同过滤

召回和排序都有很多算法。比如说召回领域有很多矩阵分解算法、协同过滤算法等等。最经典的一个就是我们这里展示的collaborative filtering,即协同过滤算法。它可能是比较好理解的一个算法,我这里会用一个篇幅给大家介绍一下。比如说我们有用户A、B、C,他们的偏好如下图所示。你会发现A和C有一些相似的口味。A和C都喜欢Rice、Milk。除此之外,A还喜欢Lamb。就是说A和C有相似的口味,并且A还喜欢某个C没有尝试过的东西。我们就假设C也喜欢它,可以把它作为C的一个召回结果。这就是一个基于数据统计的标准的协同过滤的方式。这张图可以帮大家很好地去理解协同过滤算法的原理。就是说,先发现相似的物品或者相似的人,然后根据相似的人和相似的物品之间的关联性去找出它的一个推荐逻辑。我们今天的这一套推荐系统就是以协同过滤算法为基础去做。
image.png

三、推荐方案架构

完整的推荐架构如下图所示,包含如下部分:Dataworks,PAI-Studio,TableStore,PAI-AutoLearning,PAI-EAS。
image.png

四、实际操作

首先我们在PAI-Studio里基于你的原始数据生成你的协同过滤后的结果数据,这是两张表。
image.png
接着我们在TableStore,即表格存储里去把这两张表按照要求的格式建立出来。
image.png
然后利用Dataworks去把这个数据从PAI-Studio里灌到表格存储里。
image.png
接着在AutoLearning里去把TableStore的两个数据配置出来,配出来呈一个策略。
image.png
然后最后把这个策略变成一个PAI-EAS的服务,你可以在这看一个调用方式。最终用户拿到的结果就是这条服务。
image.png
如果想更新迭代里面的整个的数据,你就可以去改最原始的这张表。因为整套服务都可以做成一个自动化的流程,都可以利用Dataworks的数据调度系统去做成一个自动化的系统。所以你只要每天去更新这里的原始的数据就可以了,剩下来的业务都可以自动化。
image.png

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
5月前
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈,提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统,通过分析用户行为数据和商品信息,实现个性化推荐,从而提高推荐效率和准确性。
210 14
|
5月前
|
机器学习/深度学习 搜索推荐 算法
构建推荐系统:Python 与机器学习
推荐系统是一种利用机器学习算法和用户的历史行为数据来预测用户可能感兴趣的内容的技术。在当今的数字化时代,推荐系统已经成为许多互联网应用的核心组件,如电子商务、社交媒体和在线娱乐等。在 Python 中,我们可以使用各种机器学习库和工具来构建和实现推荐系统。
|
4月前
|
机器学习/深度学习 数据采集 搜索推荐
机器学习在智能推荐系统中的个性化算法研究
机器学习在智能推荐系统中的个性化算法研究
|
2月前
|
机器学习/深度学习 数据采集 自然语言处理
打造个性化新闻推荐系统:机器学习与自然语言处理的结合Java中的异常处理:从基础到高级
【8月更文挑战第27天】在信息过载的时代,个性化新闻推荐系统成为解决信息筛选难题的关键工具。本文将深入探讨如何利用机器学习和自然语言处理技术构建一个高效的新闻推荐系统。我们将从理论基础出发,逐步介绍数据预处理、模型选择、特征工程,以及推荐算法的实现,最终通过实际代码示例来展示如何将这些理论应用于实践,以实现精准的个性化内容推荐。
|
3月前
|
机器学习/深度学习 数据采集 存储
机器学习在推荐系统中的应用
【7月更文挑战第31天】随着机器学习技术的不断发展和普及,推荐系统在电子商务、社交媒体、新闻资讯等领域的应用越来越广泛。机器学习算法的应用为推荐系统优化提供了全新的思路和方法,使得推荐系统能够更加智能化和个性化地为用户提供服务。未来,随着数据量的不断增加和算法的不断创新,推荐系统将会变得更加精准和高效,为用户带来更加优质的体验。
|
3月前
|
机器学习/深度学习 数据采集 搜索推荐
Python数据分析与机器学习在电子商务推荐系统中的应用
Python数据分析与机器学习在电子商务推荐系统中的应用
92 5
|
4月前
|
机器学习/深度学习 搜索推荐 算法
智能推荐系统:机器学习驱动的个性化体验
【6月更文挑战第1天】智能推荐系统借助机器学习分析用户行为和喜好,如观看科幻电影、阅读奇幻书籍、购买休闲服装,以提供个性化推荐。简单示例代码展示了其基本原理,但实际系统更复杂,涉及大量数据处理和高级算法。这项技术使我们的生活更加便捷和多彩。
75 1
|
4月前
|
机器学习/深度学习 搜索推荐 算法
【阿旭机器学习实战】【37】电影推荐系统---基于矩阵分解
【阿旭机器学习实战】【37】电影推荐系统---基于矩阵分解
|
5月前
|
机器学习/深度学习 数据采集 搜索推荐
探索机器学习在推荐系统中的应用
【5月更文挑战第15天】本文探讨了机器学习在推荐系统中的应用,强调其在数据预处理、个性化建模、内容过滤及解决冷启动问题中的作用。协同过滤、矩阵分解、深度学习和强化学习是常用算法。尽管面临数据处理、准确性与多样性平衡、兴趣变化等挑战,但未来机器学习有望通过结合先进算法提升推荐系统性能,同时需关注隐私和伦理问题。
|
5月前
|
机器学习/深度学习 搜索推荐 算法
【Python 机器学习专栏】基于机器学习的推荐系统实现
【4月更文挑战第30天】本文探讨了机器学习在推荐系统中的应用,阐述了推荐系统的基本原理和常用算法,如协同过滤和基于内容的推荐。详细介绍了基于机器学习的推荐系统实现步骤,包括数据预处理、特征工程、模型选择与训练、评估与优化。Python及其相关库如Scikit-learn、TensorFlow在实现推荐系统中起到关键作用。同时,文章讨论了推荐系统面临的挑战(数据稀疏性、冷启动、实时性)及应对策略,并强调通过持续优化可构建更精准的推荐系统,为用户带来个性化体验。
219 0

相关产品

  • 人工智能平台 PAI
  • 下一篇
    无影云桌面