MaxCompute 持续定义 SaaS 模式云数据仓库 — 云数据仓库+ BI | 学习笔记

简介: 快速学习 MaxCompute 持续定义 SaaS 模式云数据仓库— 云数据仓库+ BI

开发者学堂课程【SaaS 模式云数据仓库系列课程 —— 2021数仓必修课MaxCompute 持续定义  SaaS  模式云数据仓库

— 云数据仓库+BI 】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/55/detail/1029


MaxCompute   持续定义  SaaS  模式云数据仓库— 云数据仓库+BI


内容介绍:

(一) 云数据仓库概述

(二) BI   使用场景与趋势

(三) 基于  MaxCompute  云数仓+  BI 的特性

(四) 实践案例


(一)云数据仓库概述

✓ 数据市场趋势

1. 数据量暴涨:预测到2025年,全球数据增长至175ZB,中国数据量增长至48.6ZB

2. BI市场规模持续增长:预测到2023年中国BI软件市场年复合增长率为32%

3. 云计算增速快:2019年第四季度中国云计算市场增长率为66.9%

✓ 云数据仓库几大特点

1  云数据仓库:可以让企业几分钟内创建并开始使用数据仓库服务,在更低的成本下,专注业务,通过对大规模数据进行多样化的处理、挖掘、分析,快速获得业务洞察

2  特点:灵活扩容、高性能、低成本、大规模数据分析

(二)BI使用场景与趋势

✧ 商业智能(BI,Business Intelligence):是一种以提供决策分析性的运营数据为目的而建立的信息系统

✧ 使用场景:BI可助力企业科学化、数据化决策,精细化运营,客户关系维护,成本控制……

数据接入:将分散于企业内,外部各种数据集成整合

数据准备:ETL  :数据抽取、转换、加载

数据分析:数据分析、展现

决策:决策应用

✧ 趋势:

1.快速整合多系统数据,实现信息透明;

2.构建统一的、简单易用的可视化分析平台,从而提高制表效率


(三) 基于  MaxCompute  云数仓+BI的特性

➢ 基于    MaxCompute  云数据仓库基本架构

image.png

● MaxCompute  (原ODPS):是一项大数据计算服务,它能提供灵活快速、完全托管、高性能、低成本、安全的  PB  级数据仓库解决方案,使您可以经济并高效的分析处理海量数据

➢ 基于  MaxCompute  云数据仓库特性

1. 开箱即用,在线服务:免平台运维,总体拥有成本低

2. 极致弹性能力:弹性扩展,无需容量规划即可应对业务规模的快速变化

3. 简单易用,多功能计算服务:多种计算模型,多种数据通道,外部数据源联邦计算

4. 企业级安全能力:多租户安全保障机制,细粒度授权,数据加密、脱敏,备份恢复

5. 生态融合:支持多样数据源、生态工具和标准

➢ 基于  MaxCompute  云数仓及 BI  对接

image.png

➢ 基于MaxCompute交互式分析(Hologres)+BI

离线数仓的高性能低延迟的分析查询

image.png

(四)实践案例

■ 行业案例一:新零售案例

1.需求背景:

· 基于  Hadoop  开源生态打造,软硬件维护成本高昂,稳定性问题不断,严重影响业务经营分析

· 线上业务爆发,需求积压严重,期望有整体解决方案,能够快速灵活支持业务发展所需的技术扩展

2.用户价值:基于飞天大数据平台产品  MaxCompute+DataWorks  大大提高了数据

image.png

业务的开发效率,构建企业独有的数据中台体系


■ 行业案例二:新金融案例

1.需求背景:

· 金融业务数据,对安全管控有极强要求,需要一个完整的安全管理体系,同时还要满足个性化安全需求

· 业务快速发展,需要能快速搭建、成本低、秒级扩展的数据中台体系

2.客户价值:基于  MaxCompute  开箱即用的应用满足其在安全审计过程中的数据安全需求,缩短了需求响应时间并满足其在数据安全上的个性化需求

image.png

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
7月前
|
存储 Java 大数据
Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用(198)
简介:本文探讨Java大数据技术在智能家居能源消耗分析与节能策略中的应用。通过数据采集、存储与智能分析,构建能耗模型,挖掘用电模式,制定设备调度策略,实现节能目标。结合实际案例,展示Java大数据在智能家居节能中的关键作用。
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
398 0
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
266 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。对象如用户、账号、商品等,通过唯一ID记录其相关事件,如操作日志、交易记录等。这种模式下的统计任务包括无序计算(如交易次数、通话时长)和有序计算(如漏斗分析、连续交易检测)。尽管SQL在处理无序计算时表现尚可,但在有序计算中却显得力不从心,主要原因是其对跨行记录运算的支持较弱,且大表JOIN和大结果集GROUP BY的性能较差。相比之下,SPL语言通过强化离散性和有序集合的支持,能够高效地处理这类计算任务,避免了大表JOIN和复杂的GROUP BY操作,从而显著提升了计算效率。
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。这种模式涉及对象(如用户、账户、商品等)及其相关的事件记录,通过这些事件数据可以进行各种统计分析,如漏斗分析、交易次数统计等。然而,SQL 在处理这类任务时表现不佳,特别是在有序计算方面。SPL 作为一种强化离散性和有序集合的语言,能够高效地处理这类计算,避免了大表 JOIN 和大结果集 GROUP BY 的性能瓶颈。通过按 ID 排序和分步计算,SPL 能够显著提高计算效率,并支持实时数据处理。
|
分布式计算 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
288 5
|
资源调度 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
267 2
|
消息中间件 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
168 2
|
存储 消息中间件 druid
大数据-151 Apache Druid 集群模式 配置启动【上篇】 超详细!
大数据-151 Apache Druid 集群模式 配置启动【上篇】 超详细!
277 1
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
516 0