开发者学堂课程【SaaS 模式云数据仓库实战：MaxCompute 持续定义 Saas 模式云数据仓库一云数据仓库 + BI】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/760/detail/13341

MaxCompute 持续定义 Saas 模式云数据仓库一云数据仓库 + BI

内容介绍：

一、 云数据仓库概述

二、 BI 使用场景与趋势

三、 基于 Max compute 云数仓+BI 的特性

四、 实践案例

一、云数据仓库概述

数据市场趋势

预测到2025年数据量会达到全球数据增长至会到175ZB，中国数据增长会达到48.6zb，数据来自于美国际数据公司IDC和数据传统公司细节一份报告。总的来说，数据量暴涨。在数据量暴涨的前提下，数据来自于数据公司的报告，预测到2023年，中国 BI 软件市场年复合增长率为32%。因为数据量暴涨及BI市场规模持续增长。云计算市场也同样在增长，增长率为66.9%。

云数据仓库几大特点

在该背景下，云数据仓库可以让企业几分钟内创建并开始使用数据仓库服务，在更低的成本下专注业务。通过对大规模数据进行多样化的处理挖掘分析，快速获得业务洞察。云数据仓库的特点如下：

支持大规模数据分析，同时在大规模数据基础上还支持高性能，同时灵活扩容。目前有很多自建ID，数据仓库扩容时，规划机器数量。云数据仓库有较为突出的特点，就是扩展性灵活低成本，在云上会屏蔽掉许多底层的东西，降低成本。仓库可以让企业几分钟内创建并开始使用数据仓库服务，在低成本下专注于业务。通过对大数据规模进行多样化处理挖掘分析，快速获得业务洞察。在数据量暴涨，BI市场持续增长的前提下，世界各地企业都在利用并从数据中利获取业务价值。随着企业数据量积累越来越大，市场快速变化和发展，在此前提下，企业需要灵活快速且安全的数据产品解决方案，从而快速对海量数据进行挖掘分析，最大化释放数据潜力。

二、BI 使用场景与趋势

随着社会发展以及数据量爆发，数据也有新的发现途径，例如物联网IOT，提供了大量的数据，在企业积累了大量数据之下，就会希望有较好的快速能从数据中挖掘出数据的工具，企业能够到科学和数据化的决策。同时，商业智能BI处理企业用到精细化运营或客户维护和成本控制等。以下是建立信息系统的主要流程：

首先需要数据接入，将分散于企业内外的各种数据进行集成和整合。因为企业有线上和线下及不同的关系型数据，或者是半结构化非结构化的各种数据来源，需要将这些数据进行集成整合，在进入到数据准备阶段，数据准备阶段是ET2阶段，也就是大数据开发。该阶段进行抽取转化和加载，在进行到分析阶段。分析展现阶段之后，会将成果提交给决策层，决策层通过数据进行经济化运营或客户维护关系或控制成本，能够从中获得助力。BI将会成为大数据时代企业提高竞争力的有力武器。随着数据量大暴涨，业务迅速增长，变化迅速，需要多种分析需求，不仅是分析多样，还需要实时。例如秒级查询。同时在大量数据数据基础上，互联网发展迅速，许多企业的数据通过网络能够获取到，所以数据安全合规也越来越受到重视，所以需要快速整合多系统数据，从而实现信息透明以及构建统一简单应用分析平台，提高制表率已经成为商业智能VI的新趋势。

三、基于 Max compute 云数仓+BI 的特性

1.阿里云云数仓+BI 特性

在这种场景和趋势前提下。阿里云云数仓+BI的特性如下：

MaxCompute (原ODPS)是一项大数据计算服务,它能提供灵活快速、完全托管、高性能、低成本、安全的PB级数据仓库解决方案,可以经济并高效的分析处理海量数据。总体数据流程如下：

首先是数据源，不管是云上应用还是原有数据中心，可能是自建或者分散在其他业务系统数据里面，通过集成方式统一的集成存储到Max compute中， Max compute基本架构就是一个底层集群，是Max compute产品，本身已经搭建好的，用户无需感知。上层有多种计算引擎，引擎之上提供各种API，深度集成了一站式大数据云智能开发平台Date works，数据可以做数据准备，进行清洗加工分析后，数据进行到消费阶段。 Max compute云数仓的特性如下：

（1）开箱即用,在线服务

免平台运维，总体拥有成本低。开箱即用。所有的集群已由Max compute搭建好，用户进来之后开通即可使用，无需关注底层运维。免去了底层平台运维，释放技术人员，可以更加关注于业务运维，总体拥有成本就会会更低。

（2）极致弹性能力

弹性扩展，无需容量规划，即可应对业务规模的快速变化。极致弹性能力，在已经搭建好集群之上，用户开通之后，可以无需规划容量。对于业务不需要先评估用多少计算资源直接开始使用，可以随着业务的快速变化，按需极致弹性扩展。

（3）简单易用多功能计算服务

多种计算模型多种数据通道外部数据源联邦计算。Max compute支持SQL， Map reduce，machine Learning，graph spark，查询加速，支持多种计算引擎之上，可以满足不同的需求分析，同时还有多数据通道，数据进入Max computer中，有离线的，也有实时的，支持外部联邦计算。

（4）企业级安全能力

多租户安全保障机制细粒度授权数据加密，脱敏备份恢复。支持记录系力度授权，最近推出数据加密和数据托名、持续数据备份、跨地域融灾备份、实施审计日记等数据安全管理机制。

（5）生态融合

支持多样数据源生态工具和标准。生态融合不仅支持多样数据源，同时提供各种API、jdbc，支持很多生态工具和标准。

2.对接情况

在Max compute云数仓的基础上和BI工具对接情况如下：

Max compute主要是存储和计算服务加上数据开发平台data Work，组成了离线的云数据仓库，深度集成了阿里云的QBI（报表工具）。深度集成在Max compute之上，可以直接连接Max compute数据表，就可以直接对表进行分析，还可以通过阿里云的hologres产品，通过该产品进行加速之后无缝对接了阿里云BI和其他阿里云第三方工具。在生态方面同样支持直接使用table工具。企业客户对商业智能多样化的需求，现有的工具可能不支持，也可以通过SDK的方式来连接Max compute，从而实现基于Max compute为云数据仓库对接的商业智能信息的平台。 Max compute离线舱实现高性能低延迟的分析查询流程如下：

Hologress可以直接读取离线数仓，Hologres是一个支持多样化数据查询分析的平台，包括简单的查询和复杂的查询、点查询、联邦查询等，有丰富的数据源，通过Max compute加Hologres组成Max compute交互式分析。大数据生态下，可以无缝对接QBI和table，同时因为Hologres兼有post Grimm Circle，可以很快上手。通过这样的组合，能够快速实现企业的信息平台。