云上数据仓库的架构方案|学习笔记(三)

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
对象存储 OSS,20GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 快速学习云上数据仓库的架构方案

开发者学堂课程【数据仓库 ACP 认证课程云上数据仓库的架构方案】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/928/detail/14629


云上数据仓库的架构方案


基于 PostGIS,支持地理信息数据存储分析

使用 GanosBase 对时空数据进行管理和分析

基于 MPP 架构,支持海量地理信息数据存储

GanosBase并不是一款独立的产品,而是以“时空引擎”的形式

融合在RDS PG/MyBase PG/PolarDB/AnalvticDB

PG/Lindorm/DLA等不同的数据库产品中

image.png

3.方案优势:

严格遵循OpenGIS标准规范,高度兼容PostGIS语法

强大、灵活、易用的专业化栅格影像数据管理

时空图形图像免切片索引与快速显示

多维多模态移动对象数据库支持

 image.png


六、回顾与总结

我们刚刚讲述的是云上数据仓库的架构方案,主要有下面几点内容:

image.png第一个是AnalyticDB助力客户行为日志实时分析,第二个是AnalyticDB快速实现BI报表分析加速,第三个是AnalyticDB高效分析实时人群画像,包括人群画像里面的经典算法。第四个是基于AnalyticDB构建实时数据仓库,实时仓库依赖于lis数据,数据另一侧的工具帮助AnalyticDB把云端的多元的数据,关系数据库和日志流的数据,实时到AnalyticDB里面。最后一个是在GIS地理数据分析的最佳实践。

 

七、试题解析

1. (多选题)阿里云数据仓库产品实现了对海量数据的即席查询分析、ETL处理及可视化探索,是在各行业有竞争力的云上数据仓库解决方案,主要产品包括( )。

(1)AnalyticDB MySQL版

(2) MariaDB版

(3)AnalyticDB PostgreSQL版

(4)PolarDB MySQL版

答案:1 ) AnalyticDB MySQL版、3) AnalyticDB PostgreSQL版

2. (多选题)从存储数据的方式上, OLAP包括三种常见类型( )。

(1)MOLAP

(2)ROLAP

(3)HOLAP

(4)MROLAP

(5)MHOLAP

MOLAP,Multidimensional OLAP ,最快的响应速度

ROLAP,Relational OLAP ,最大灵活度

HOLAP,Hybrid OLAP,混合了M和R型

答案:1 ) MOLAP、2 ) ROLAP、3 ) HOLAP

3. (单选题) OLAP可以根据业务要求快速、灵活地进行大数据量的复杂查询处理,其核心场景是( )。

(1)多维分析

(2)交互操作

(3)事务处理

(4)实时响应

OLAP的核心在于多维上,交互操作、实时响应是OLAP的一个特点

OLAP的核心概念是“维”( dimension),多维性是OLAP的关键属性。系统必须提供对数据分析的多维视图和分析,包括对层次维和多重层次维的完全支持。事实上,多维分析是分析企业数据最有效的方法,是OLAP的灵魂。

答案:(1)多维分析

4. (单选题)在AnalyticDB MySQL版中,为企业级客户提供数据处理ETL、实时在线分析、( )、 大屏监控能力,提供稳定的离线和在线数据服务。

(1)日志解析

(2)实时报表

(3)账户分析

(4)资产守护

考查的是AnalyticDB MySQL版这款应用的核心应用场景。

在AnalyticDB MySQL版中,为企业级客户提供数据处理ETL、实时在线分析、核心报表、大屏和监控能力,提供稳定的离线和在线数据服务。

答案:(2)实时报表

5. (多选题)在AnalyticDB MySQL版中,适合Interactive (交互式)模式.场景包括( )。

(1)适合ETL场景,作业执行时间长,对RT (响应时间)要求低。

(2)适合交互式查询,对RT (响应时间)有较高要求。

(3)查询Query SQL不是特别复杂,资源充足。

(4)计算数据量大,计算逻辑复杂,但资源较为有限。

交互式模式适合的是交互式查询,对于RT的要求比较高,要求快速响应,交互式查询查询Query SQL一般不会特别复杂。

答案:(2)适合交互式查询,对RT (响应时间)有较高要求。

查询Query SQL不是特别复杂,资源充足。

6. (单选题)在AnalyticDB MySQL版中,提供分时弹性功能。这个功能不适合解决下面的问题是( )。

(1)节省存储空间

(2)白天业务高峰资源保障

(3)晚上ETL高峰的稳定性

(4)降低整体计算资源成本

这道题考查的是对产品形态与客户业务的match程度

•支持按小时设置计算资源弹性扩容规则,解决计算资源峰谷需求问题,降低计算资源成本。

•白天工作高峰期,准时弹出计算资源,让业务查询更快,提高应用体验。

•晚上ETL高峰期,准时弹出计算资源,让ETL计算任务稳定运行,低峰期准时释放,降低资源成本。

答案:(1)节省存储空间

7. (单选题)在AnalyticDB PostgreSQL版中,基于开源项目( )构建 , 兼容ANSI SQL 2003,兼容PostgreSQL/Oracle数据库生态,支持行存储和列存储模式。

(1)Redshift

(2)HBase

(3)Greenplum

(4)BigQuery

AnalyticDB PostgreSQL版基于开源项目Greenplum构建,由阿里云深度扩展

答案:(3)Greenplum

8. (单选题)下面不是AnalyticDB MySQL的主打场景的是( )。

(1)圈人分析、毫秒级响应

(2)分钟级营销效果反馈

(3)基于日志的实时行为分析

(4)满足数据库ACID要求的高并发在线交易

满足数据库ACID要求的高并发在线交易是OLAP关系型数据库场景

AnalyticDB MySQL无法满足ACID场景

答案:(4)满足数据库ACID要求的高并发在线交易

9. (单选题)除内部存储外, AnalyticDB PostgreSQL版支持通过外表方式访问OSS和Hadoop的存储数据。当AnalyticDB PostgreSQL通过外表方式对OSS存储服务进行访问时, ( )。

(1)支持对OSS的数据进行分析操作,但不支持将数据导出到OSS

(2)不支持对OSS的数据进行分析操作,但支持将数据导出到OSS

(3)不支持对OSS的数据进行分析操作,也不支持将数据导出到OSS

(4)支持对OSS的数据进行分析操作,同时也支持将数据导出到OSS

答案:(4)支持对OSS的数据进行分析操作,同时也支持将数据导出到OSS

10. (单选题)为了更高效的支持实时人群画像,在表设计时建议采取下面( )为最佳实践。

(1)雪花模型,通过多表复杂JOIN分析

(2)星型模型,通过多表复杂JOIN分析

(3)大宽表模型,单表多维分析

(4)无需进行表模型设计

答案:(3)大宽表模型,单表多维分析

选择大宽表模型才能更好保证单表的性能,在一般情况下,大宽表模型是比较理想化的。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
5月前
|
存储 缓存 Cloud Native
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
|
8天前
|
自然语言处理 JavaScript Java
《鸿蒙HarmonyOS应用开发从入门到精通(第2版)》学习笔记——HarmonyOS架构介绍
HarmonyOS采用分层架构设计,从下至上分为内核层、系统服务层、框架层和应用层。内核层支持多内核设计与硬件驱动;系统服务层提供核心能力和服务;框架层支持多语言开发;应用层包括系统及第三方应用,支持跨设备调度,确保一致的用户体验。
124 81
|
5天前
|
容灾 网络协议 数据库
云卓越架构:云上网络稳定性建设和应用稳定性治理最佳实践
本文介绍了云上网络稳定性体系建设的关键内容,包括面向失败的架构设计、可观测性与应急恢复、客户案例及阿里巴巴的核心电商架构演进。首先强调了网络稳定性的挑战及其应对策略,如责任共担模型和冗余设计。接着详细探讨了多可用区部署、弹性架构规划及跨地域容灾设计的最佳实践,特别是阿里云的产品和技术如何助力实现高可用性和快速故障恢复。最后通过具体案例展示了秒级故障转移的效果,以及同城多活架构下的实际应用。这些措施共同确保了业务在面对网络故障时的持续稳定运行。
|
6天前
|
负载均衡 Serverless 持续交付
云端问道9期实践教学-省心省钱的云上Serverless高可用架构
详细介绍了云上Serverless高可用架构的一键部署流程
30 10
|
8天前
|
运维 监控 安全
天财商龙:云上卓越架构治理实践
天财商龙成立于1998年,专注于为餐饮企业提供信息化解决方案,涵盖点餐、收银、供应链和会员系统等。自2013年起逐步实现业务上云,与阿里云合作至今已十年。通过采用阿里云的WA体系,公司在账号管理、安全保障、监控体系和成本管控等方面进行了全面优化,提升了业务稳定性与安全性,并实现了显著的成本节约。未来,公司将持续探索智能化和全球化发展,进一步提升餐饮行业的数字化水平。
|
5月前
|
存储 NoSQL 关系型数据库
MPP架构数据仓库使用问题之Visibility bitmap表被删除的文件信息是如何记录的
MPP架构数据仓库使用问题之Visibility bitmap表被删除的文件信息是如何记录的
|
3月前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
271 6
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
5月前
|
SQL 算法 关系型数据库
MPP架构数据仓库使用问题之ADB PG对于sort scan算子要如何生成并优化
MPP架构数据仓库使用问题之ADB PG对于sort scan算子要如何生成并优化
|
5月前
|
缓存 Cloud Native 关系型数据库
MPP架构数据仓库使用问题之Calcite 是一个什么样的类库,它主要用于什么地方
MPP架构数据仓库使用问题之Calcite 是一个什么样的类库,它主要用于什么地方
|
5月前
|
缓存 Cloud Native 关系型数据库
MPP架构数据仓库使用问题之DADI的文件异步预取机制是怎么工作的
MPP架构数据仓库使用问题之DADI的文件异步预取机制是怎么工作的

热门文章

最新文章