云上数据仓库的架构方案|学习笔记(三)

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,8核32GB 100GB 1个月
简介: 快速学习云上数据仓库的架构方案

开发者学堂课程【数据仓库 ACP 认证课程云上数据仓库的架构方案】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/928/detail/14629


云上数据仓库的架构方案


基于 PostGIS,支持地理信息数据存储分析

使用 GanosBase 对时空数据进行管理和分析

基于 MPP 架构,支持海量地理信息数据存储

GanosBase并不是一款独立的产品,而是以“时空引擎”的形式

融合在RDS PG/MyBase PG/PolarDB/AnalvticDB

PG/Lindorm/DLA等不同的数据库产品中

image.png

3.方案优势:

严格遵循OpenGIS标准规范,高度兼容PostGIS语法

强大、灵活、易用的专业化栅格影像数据管理

时空图形图像免切片索引与快速显示

多维多模态移动对象数据库支持

 image.png


六、回顾与总结

我们刚刚讲述的是云上数据仓库的架构方案,主要有下面几点内容:

image.png第一个是AnalyticDB助力客户行为日志实时分析,第二个是AnalyticDB快速实现BI报表分析加速,第三个是AnalyticDB高效分析实时人群画像,包括人群画像里面的经典算法。第四个是基于AnalyticDB构建实时数据仓库,实时仓库依赖于lis数据,数据另一侧的工具帮助AnalyticDB把云端的多元的数据,关系数据库和日志流的数据,实时到AnalyticDB里面。最后一个是在GIS地理数据分析的最佳实践。

 

七、试题解析

1. (多选题)阿里云数据仓库产品实现了对海量数据的即席查询分析、ETL处理及可视化探索,是在各行业有竞争力的云上数据仓库解决方案,主要产品包括( )。

(1)AnalyticDB MySQL版

(2) MariaDB版

(3)AnalyticDB PostgreSQL版

(4)PolarDB MySQL版

答案:1 ) AnalyticDB MySQL版、3) AnalyticDB PostgreSQL版

2. (多选题)从存储数据的方式上, OLAP包括三种常见类型( )。

(1)MOLAP

(2)ROLAP

(3)HOLAP

(4)MROLAP

(5)MHOLAP

MOLAP,Multidimensional OLAP ,最快的响应速度

ROLAP,Relational OLAP ,最大灵活度

HOLAP,Hybrid OLAP,混合了M和R型

答案:1 ) MOLAP、2 ) ROLAP、3 ) HOLAP

3. (单选题) OLAP可以根据业务要求快速、灵活地进行大数据量的复杂查询处理,其核心场景是( )。

(1)多维分析

(2)交互操作

(3)事务处理

(4)实时响应

OLAP的核心在于多维上,交互操作、实时响应是OLAP的一个特点

OLAP的核心概念是“维”( dimension),多维性是OLAP的关键属性。系统必须提供对数据分析的多维视图和分析,包括对层次维和多重层次维的完全支持。事实上,多维分析是分析企业数据最有效的方法,是OLAP的灵魂。

答案:(1)多维分析

4. (单选题)在AnalyticDB MySQL版中,为企业级客户提供数据处理ETL、实时在线分析、( )、 大屏监控能力,提供稳定的离线和在线数据服务。

(1)日志解析

(2)实时报表

(3)账户分析

(4)资产守护

考查的是AnalyticDB MySQL版这款应用的核心应用场景。

在AnalyticDB MySQL版中,为企业级客户提供数据处理ETL、实时在线分析、核心报表、大屏和监控能力,提供稳定的离线和在线数据服务。

答案:(2)实时报表

5. (多选题)在AnalyticDB MySQL版中,适合Interactive (交互式)模式.场景包括( )。

(1)适合ETL场景,作业执行时间长,对RT (响应时间)要求低。

(2)适合交互式查询,对RT (响应时间)有较高要求。

(3)查询Query SQL不是特别复杂,资源充足。

(4)计算数据量大,计算逻辑复杂,但资源较为有限。

交互式模式适合的是交互式查询,对于RT的要求比较高,要求快速响应,交互式查询查询Query SQL一般不会特别复杂。

答案:(2)适合交互式查询,对RT (响应时间)有较高要求。

查询Query SQL不是特别复杂,资源充足。

6. (单选题)在AnalyticDB MySQL版中,提供分时弹性功能。这个功能不适合解决下面的问题是( )。

(1)节省存储空间

(2)白天业务高峰资源保障

(3)晚上ETL高峰的稳定性

(4)降低整体计算资源成本

这道题考查的是对产品形态与客户业务的match程度

•支持按小时设置计算资源弹性扩容规则,解决计算资源峰谷需求问题,降低计算资源成本。

•白天工作高峰期,准时弹出计算资源,让业务查询更快,提高应用体验。

•晚上ETL高峰期,准时弹出计算资源,让ETL计算任务稳定运行,低峰期准时释放,降低资源成本。

答案:(1)节省存储空间

7. (单选题)在AnalyticDB PostgreSQL版中,基于开源项目( )构建 , 兼容ANSI SQL 2003,兼容PostgreSQL/Oracle数据库生态,支持行存储和列存储模式。

(1)Redshift

(2)HBase

(3)Greenplum

(4)BigQuery

AnalyticDB PostgreSQL版基于开源项目Greenplum构建,由阿里云深度扩展

答案:(3)Greenplum

8. (单选题)下面不是AnalyticDB MySQL的主打场景的是( )。

(1)圈人分析、毫秒级响应

(2)分钟级营销效果反馈

(3)基于日志的实时行为分析

(4)满足数据库ACID要求的高并发在线交易

满足数据库ACID要求的高并发在线交易是OLAP关系型数据库场景

AnalyticDB MySQL无法满足ACID场景

答案:(4)满足数据库ACID要求的高并发在线交易

9. (单选题)除内部存储外, AnalyticDB PostgreSQL版支持通过外表方式访问OSS和Hadoop的存储数据。当AnalyticDB PostgreSQL通过外表方式对OSS存储服务进行访问时, ( )。

(1)支持对OSS的数据进行分析操作,但不支持将数据导出到OSS

(2)不支持对OSS的数据进行分析操作,但支持将数据导出到OSS

(3)不支持对OSS的数据进行分析操作,也不支持将数据导出到OSS

(4)支持对OSS的数据进行分析操作,同时也支持将数据导出到OSS

答案:(4)支持对OSS的数据进行分析操作,同时也支持将数据导出到OSS

10. (单选题)为了更高效的支持实时人群画像,在表设计时建议采取下面( )为最佳实践。

(1)雪花模型,通过多表复杂JOIN分析

(2)星型模型,通过多表复杂JOIN分析

(3)大宽表模型,单表多维分析

(4)无需进行表模型设计

答案:(3)大宽表模型,单表多维分析

选择大宽表模型才能更好保证单表的性能,在一般情况下,大宽表模型是比较理想化的。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2月前
|
消息中间件 监控 API
在Python中如何实现微服务架构,及相关的服务间通信方案?
Python微服务架构涉及服务划分、注册发现、通信协议选择(如HTTP、gRPC、消息队列)及服务间通信实现。每个服务应自治,有独立数据库和部署流程,并需考虑容错(如分布式事务、重试、熔断)和监控日志。API网关用于请求管理和路由。实际操作需根据需求和技术栈调整,并关注服务拆分和数据一致性。
66 5
|
7天前
|
缓存 NoSQL Java
案例 采用Springboot默认的缓存方案Simple在三层架构中完成一个手机验证码生成校验的程序
案例 采用Springboot默认的缓存方案Simple在三层架构中完成一个手机验证码生成校验的程序
57 5
|
2月前
|
架构师 网络协议 算法
Android高级架构师整理面试经历发现?(大厂面经+学习笔记(1)
Android高级架构师整理面试经历发现?(大厂面经+学习笔记(1)
|
2月前
|
存储 消息中间件 Kafka
数据仓库分层架构
【5月更文挑战第21天】一个数据仓库的分层架构,包括缓冲层、操作数据层、明细数据层、汇总数据层和数据集市层。
|
2月前
|
canal 消息中间件 关系型数据库
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
159 0
|
2月前
|
SpringCloudAlibaba 负载均衡 Java
【Springcloud Alibaba微服务分布式架构 | Spring Cloud】之学习笔记(目录大纲)
【Springcloud Alibaba微服务分布式架构 | Spring Cloud】之学习笔记(目录大纲)
101 1
|
2月前
|
存储 Java 应用服务中间件
【分布式技术专题】「架构实践于案例分析」盘点互联网应用服务中常用分布式事务(刚性事务和柔性事务)的原理和方案
【分布式技术专题】「架构实践于案例分析」盘点互联网应用服务中常用分布式事务(刚性事务和柔性事务)的原理和方案
100 0
|
2月前
|
缓存 前端开发 小程序
【分布式技术专题】「架构设计方案」盘点和总结RBAC服务体系的功能设计及注意事项技术体系
【分布式技术专题】「架构设计方案」盘点和总结RBAC服务体系的功能设计及注意事项技术体系
59 0
|
21天前
|
Cloud Native 数据管理 OLAP
云原生数据仓库AnalyticDB产品使用合集之是否可以创建表而不使用分区
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
352 2
云原生数据仓库AnalyticDB产品使用合集之是否可以创建表而不使用分区
|
2天前
|
Cloud Native 关系型数据库 MySQL
《阿里云产品四月刊》—云原生数据仓库 AnalyticDB MySQL 版 新功能
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代