MaxCompute 持续定义 SaaS 模式云数据仓库— 云数据仓库+ AI | 学习笔记

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 快速学习 MaxCompute 持续定义 SaaS 模式云数据仓库 — 云数据仓库+ AI

开发者学堂课程【 SaaS  模式云数据仓库系列课程 —— 2021数仓必修课MaxCompute  持续定义 SaaS  模式云数据仓库— 云数据仓库+ AI 】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/55/detail/1030


MaxCompute  持续定义  SaaS  模式云数据仓库— 云数据仓库+AI


内容介绍:

一、人工智能的 3次黄金时期

二、数据仓库内置机器学习优势

三、MaxCompute  产品技术特性

四、SQL 查询语言的发展及现状

五、MaxCompute Mars



 一、人工智能的3次黄金时期

l 人工智能的3次黄金时期

 image.png

 

二、数据仓库内置机器学习优势

Ø 整体优势

1.无需移动数据(数据量大),降低基础设施成本、人工成本、减少数据安全风险(HIPPA法案)

2. 数据访问速度快(让算法找数据)

3.可扩展性强

4.纯  SQL ML/Python  更易用

Ø 各角色均受益

1.商务人士:新想法可以得到快速试验,ROI  提升

2. 数据科学家/数据分析师:大部分工作通过  SQL/Python  实现,易用提效;模型开发/生产环境无缝对接。

3.DBA  :数据管理简单、安全性更高

 

三、MaxCompute   产品技术特性

Ø 集成  AI  能力

·提供  SQLML  可以直接使用标准  SQL  训练机器学习模型,并对数据进行预测分析

·Mars:使用Python科学计算、机器学习三方库

·可使用用户熟悉的  Spark-ML  开展智能分析

·与PAI无缝集成,提供强大的机器学习处理能力


四、SQL  查询语言的发展及现状

Ø SQL  发展

定义:结构化查询语言,用于和  RDBMS  交互。

Ø 发展历程

1970年代初,IBM  提出规范语言  SEQUE L, 后改名  SQL

1979年   ORACLE 提出商用  SQL

1986年,关系数据库管理系统被ISO采纳为国际标准

2011年: ISO/IEC 9075:2011  SQL:2011

image.png


五、MaxCompute Mars

Ø 项目名字  Mars:  最早是 Matrix and Array;  登陆火星

Ø 为什么要做  Mars:

1) 为大规模科学计算设计的:大数据引擎编程接口对科学计算不太友好,框架设计不是为科学计算模型考虑的

2) -传统科学计算基于单机,大规模科学计算需要用到超算

3) Tips科学计算:计算机梳理数据:Excel->数据库(MySQL)->Hadoop,Spark,MaxCompute数据量有了很大变化,计算模型没有变化,二维表,投影、切片、聚合、筛选和排序,基于关系代数,集合论;科学计算基础结构不是二维表:例如图片2维度,每个像素点不是一个数字(RGB+a透明通道)

4) 传统  SQL  模型处理能力不足:线性代数,专制行列式的相乘,现有数据库效率低

-现状  R,Numpy  单机基于单机; Python  生态的Dask大数据到科学计算的桥梁

Ø 案例:客户  A MaxCompute  现有数据,需要针对这些百亿数据TB级别的数据相乘;现 有  MapReduce 性能;用  Mars  就可以高效的解决;目前是唯一一个大规模科学计算引擎

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
8月前
|
存储 自然语言处理 Cloud Native
云数据仓库ADB问题之全文索引检索字段过长时条件会失效如何解决
云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。
146 4
|
8月前
|
SQL 运维 Cloud Native
云数据仓库ADB问题之数据导出失败如何解决
云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。
154 2
|
8月前
|
SQL 关系型数据库 MySQL
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性【1月更文挑战第16天】【1月更文挑战第80篇】
357 4
|
8月前
|
分布式计算 运维 数据挖掘
MaxCompute是一个强大的云数据仓库服务
【4月更文挑战第1天】MaxCompute是一个强大的云数据仓库服务
107 1
|
5月前
|
存储 SQL 分布式计算
MaxCompute 在大规模数据仓库中的应用
【8月更文第31天】随着大数据时代的到来,企业面临着海量数据的存储、处理和分析挑战。传统的数据仓库解决方案在面对PB级甚至EB级的数据规模时,往往显得力不从心。阿里云的 MaxCompute(原名 ODPS)是一个专为大规模数据处理设计的服务平台,它提供了强大的数据存储和计算能力,非常适合构建和管理大型数据仓库。本文将探讨 MaxCompute 在大规模数据仓库中的应用,并展示其相对于传统数据仓库的优势。
153 0
|
5月前
|
SQL 数据挖掘 数据处理
“惊!云数据仓库ADB竟能这样玩?UPDATE语句单表、多表关联更新,一键解锁数据处理新境界!”
【8月更文挑战第7天】云数据仓库ADB提供高性能数据分析服务,支持丰富的SQL功能,包括关键的UPDATE语句。UPDATE可用于单表更新,如简单地增加员工薪资;亦支持多表关联更新,实现复杂数据关系处理。例如,结合departments表更新sales部门员工薪资。使用时需确保关联条件准确,考虑事务管理保证数据一致性,并优化性能以提升大规模更新效率。合理运用UPDATE增强数据仓库实用性和灵活性。
83 0
|
8月前
|
存储 数据采集 分布式计算
构建MaxCompute数据仓库的流程
【4月更文挑战第1天】构建MaxCompute数据仓库的流程
113 2
|
8月前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库产品使用合集之在云数据仓库ADB中,GROUP BY操作中出现NULL值,如何解决
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
8月前
|
关系型数据库 专有云 MySQL
云数据仓库ADB问题之查询特慢如何解决
云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。
117 6
|
8月前
|
SQL 监控 Cloud Native
云数据仓库ADB问题之创建物化视图时报错SQL错误如何解决
云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。
107 5

热门文章

最新文章