MaxCompute 持续定义 SaaS 模式云数据仓库— 云数据仓库+ AI | 学习笔记

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: 快速学习 MaxCompute 持续定义 SaaS 模式云数据仓库 — 云数据仓库+ AI

开发者学堂课程【 SaaS  模式云数据仓库系列课程 —— 2021数仓必修课MaxCompute  持续定义 SaaS  模式云数据仓库— 云数据仓库+ AI 】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/55/detail/1030


MaxCompute  持续定义  SaaS  模式云数据仓库— 云数据仓库+AI


内容介绍:

一、人工智能的 3次黄金时期

二、数据仓库内置机器学习优势

三、MaxCompute  产品技术特性

四、SQL 查询语言的发展及现状

五、MaxCompute Mars



 一、人工智能的3次黄金时期

l 人工智能的3次黄金时期

 image.png

 

二、数据仓库内置机器学习优势

Ø 整体优势

1.无需移动数据(数据量大),降低基础设施成本、人工成本、减少数据安全风险(HIPPA法案)

2. 数据访问速度快(让算法找数据)

3.可扩展性强

4.纯  SQL ML/Python  更易用

Ø 各角色均受益

1.商务人士:新想法可以得到快速试验,ROI  提升

2. 数据科学家/数据分析师:大部分工作通过  SQL/Python  实现,易用提效;模型开发/生产环境无缝对接。

3.DBA  :数据管理简单、安全性更高

 

三、MaxCompute   产品技术特性

Ø 集成  AI  能力

·提供  SQLML  可以直接使用标准  SQL  训练机器学习模型,并对数据进行预测分析

·Mars:使用Python科学计算、机器学习三方库

·可使用用户熟悉的  Spark-ML  开展智能分析

·与PAI无缝集成,提供强大的机器学习处理能力


四、SQL  查询语言的发展及现状

Ø SQL  发展

定义:结构化查询语言,用于和  RDBMS  交互。

Ø 发展历程

1970年代初,IBM  提出规范语言  SEQUE L, 后改名  SQL

1979年   ORACLE 提出商用  SQL

1986年,关系数据库管理系统被ISO采纳为国际标准

2011年: ISO/IEC 9075:2011  SQL:2011

image.png


五、MaxCompute Mars

Ø 项目名字  Mars:  最早是 Matrix and Array;  登陆火星

Ø 为什么要做  Mars:

1) 为大规模科学计算设计的:大数据引擎编程接口对科学计算不太友好,框架设计不是为科学计算模型考虑的

2) -传统科学计算基于单机,大规模科学计算需要用到超算

3) Tips科学计算:计算机梳理数据:Excel->数据库(MySQL)->Hadoop,Spark,MaxCompute数据量有了很大变化,计算模型没有变化,二维表,投影、切片、聚合、筛选和排序,基于关系代数,集合论;科学计算基础结构不是二维表:例如图片2维度,每个像素点不是一个数字(RGB+a透明通道)

4) 传统  SQL  模型处理能力不足:线性代数,专制行列式的相乘,现有数据库效率低

-现状  R,Numpy  单机基于单机; Python  生态的Dask大数据到科学计算的桥梁

Ø 案例:客户  A MaxCompute  现有数据,需要针对这些百亿数据TB级别的数据相乘;现 有  MapReduce 性能;用  Mars  就可以高效的解决;目前是唯一一个大规模科学计算引擎

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
12月前
|
存储 Java 大数据
Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用(198)
简介:本文探讨Java大数据技术在智能家居能源消耗分析与节能策略中的应用。通过数据采集、存储与智能分析,构建能耗模型,挖掘用电模式,制定设备调度策略,实现节能目标。结合实际案例,展示Java大数据在智能家居节能中的关键作用。
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。对象如用户、账号、商品等,通过唯一ID记录其相关事件,如操作日志、交易记录等。这种模式下的统计任务包括无序计算(如交易次数、通话时长)和有序计算(如漏斗分析、连续交易检测)。尽管SQL在处理无序计算时表现尚可,但在有序计算中却显得力不从心,主要原因是其对跨行记录运算的支持较弱,且大表JOIN和大结果集GROUP BY的性能较差。相比之下,SPL语言通过强化离散性和有序集合的支持,能够高效地处理这类计算任务,避免了大表JOIN和复杂的GROUP BY操作,从而显著提升了计算效率。
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。这种模式涉及对象(如用户、账户、商品等)及其相关的事件记录,通过这些事件数据可以进行各种统计分析,如漏斗分析、交易次数统计等。然而,SQL 在处理这类任务时表现不佳,特别是在有序计算方面。SPL 作为一种强化离散性和有序集合的语言,能够高效地处理这类计算,避免了大表 JOIN 和大结果集 GROUP BY 的性能瓶颈。通过按 ID 排序和分步计算,SPL 能够显著提高计算效率,并支持实时数据处理。
|
分布式计算 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
385 5
|
存储 缓存 Cloud Native
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之分组优化如何实现
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
Cloud Native 关系型数据库 OLAP
云原生数据仓库操作报错合集之遇到“table does not exist”错误,该怎么办
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
SQL Cloud Native 关系型数据库
云原生数据仓库操作报错合集之遇到报错“DDL forbidden because backupTask is doing snapshot”如何处理
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
JSON Cloud Native 关系型数据库
云原生数据仓库操作报错合集之遇到报错 "ERROR: out of shared memory" ,该怎么办
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之如何使用UPDATE语句进行单表更新和多表关联更新
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

热门文章

最新文章