云上数据仓库的架构方案|学习笔记(三)

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
对象存储 OSS,标准 - 本地冗余存储 20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 快速学习云上数据仓库的架构方案

开发者学堂课程【数据仓库 ACP 认证课程云上数据仓库的架构方案】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/928/detail/14629


云上数据仓库的架构方案


基于 PostGIS,支持地理信息数据存储分析

使用 GanosBase 对时空数据进行管理和分析

基于 MPP 架构,支持海量地理信息数据存储

GanosBase并不是一款独立的产品,而是以“时空引擎”的形式

融合在RDS PG/MyBase PG/PolarDB/AnalvticDB

PG/Lindorm/DLA等不同的数据库产品中

image.png

3.方案优势:

严格遵循OpenGIS标准规范,高度兼容PostGIS语法

强大、灵活、易用的专业化栅格影像数据管理

时空图形图像免切片索引与快速显示

多维多模态移动对象数据库支持

 image.png


六、回顾与总结

我们刚刚讲述的是云上数据仓库的架构方案,主要有下面几点内容:

image.png第一个是AnalyticDB助力客户行为日志实时分析,第二个是AnalyticDB快速实现BI报表分析加速,第三个是AnalyticDB高效分析实时人群画像,包括人群画像里面的经典算法。第四个是基于AnalyticDB构建实时数据仓库,实时仓库依赖于lis数据,数据另一侧的工具帮助AnalyticDB把云端的多元的数据,关系数据库和日志流的数据,实时到AnalyticDB里面。最后一个是在GIS地理数据分析的最佳实践。

 

七、试题解析

1. (多选题)阿里云数据仓库产品实现了对海量数据的即席查询分析、ETL处理及可视化探索,是在各行业有竞争力的云上数据仓库解决方案,主要产品包括( )。

(1)AnalyticDB MySQL版

(2) MariaDB版

(3)AnalyticDB PostgreSQL版

(4)PolarDB MySQL版

答案:1 ) AnalyticDB MySQL版、3) AnalyticDB PostgreSQL版

2. (多选题)从存储数据的方式上, OLAP包括三种常见类型( )。

(1)MOLAP

(2)ROLAP

(3)HOLAP

(4)MROLAP

(5)MHOLAP

MOLAP,Multidimensional OLAP ,最快的响应速度

ROLAP,Relational OLAP ,最大灵活度

HOLAP,Hybrid OLAP,混合了M和R型

答案:1 ) MOLAP、2 ) ROLAP、3 ) HOLAP

3. (单选题) OLAP可以根据业务要求快速、灵活地进行大数据量的复杂查询处理,其核心场景是( )。

(1)多维分析

(2)交互操作

(3)事务处理

(4)实时响应

OLAP的核心在于多维上,交互操作、实时响应是OLAP的一个特点

OLAP的核心概念是“维”( dimension),多维性是OLAP的关键属性。系统必须提供对数据分析的多维视图和分析,包括对层次维和多重层次维的完全支持。事实上,多维分析是分析企业数据最有效的方法,是OLAP的灵魂。

答案:(1)多维分析

4. (单选题)在AnalyticDB MySQL版中,为企业级客户提供数据处理ETL、实时在线分析、( )、 大屏监控能力,提供稳定的离线和在线数据服务。

(1)日志解析

(2)实时报表

(3)账户分析

(4)资产守护

考查的是AnalyticDB MySQL版这款应用的核心应用场景。

在AnalyticDB MySQL版中,为企业级客户提供数据处理ETL、实时在线分析、核心报表、大屏和监控能力,提供稳定的离线和在线数据服务。

答案:(2)实时报表

5. (多选题)在AnalyticDB MySQL版中,适合Interactive (交互式)模式.场景包括( )。

(1)适合ETL场景,作业执行时间长,对RT (响应时间)要求低。

(2)适合交互式查询,对RT (响应时间)有较高要求。

(3)查询Query SQL不是特别复杂,资源充足。

(4)计算数据量大,计算逻辑复杂,但资源较为有限。

交互式模式适合的是交互式查询,对于RT的要求比较高,要求快速响应,交互式查询查询Query SQL一般不会特别复杂。

答案:(2)适合交互式查询,对RT (响应时间)有较高要求。

查询Query SQL不是特别复杂,资源充足。

6. (单选题)在AnalyticDB MySQL版中,提供分时弹性功能。这个功能不适合解决下面的问题是( )。

(1)节省存储空间

(2)白天业务高峰资源保障

(3)晚上ETL高峰的稳定性

(4)降低整体计算资源成本

这道题考查的是对产品形态与客户业务的match程度

•支持按小时设置计算资源弹性扩容规则,解决计算资源峰谷需求问题,降低计算资源成本。

•白天工作高峰期,准时弹出计算资源,让业务查询更快,提高应用体验。

•晚上ETL高峰期,准时弹出计算资源,让ETL计算任务稳定运行,低峰期准时释放,降低资源成本。

答案:(1)节省存储空间

7. (单选题)在AnalyticDB PostgreSQL版中,基于开源项目( )构建 , 兼容ANSI SQL 2003,兼容PostgreSQL/Oracle数据库生态,支持行存储和列存储模式。

(1)Redshift

(2)HBase

(3)Greenplum

(4)BigQuery

AnalyticDB PostgreSQL版基于开源项目Greenplum构建,由阿里云深度扩展

答案:(3)Greenplum

8. (单选题)下面不是AnalyticDB MySQL的主打场景的是( )。

(1)圈人分析、毫秒级响应

(2)分钟级营销效果反馈

(3)基于日志的实时行为分析

(4)满足数据库ACID要求的高并发在线交易

满足数据库ACID要求的高并发在线交易是OLAP关系型数据库场景

AnalyticDB MySQL无法满足ACID场景

答案:(4)满足数据库ACID要求的高并发在线交易

9. (单选题)除内部存储外, AnalyticDB PostgreSQL版支持通过外表方式访问OSS和Hadoop的存储数据。当AnalyticDB PostgreSQL通过外表方式对OSS存储服务进行访问时, ( )。

(1)支持对OSS的数据进行分析操作,但不支持将数据导出到OSS

(2)不支持对OSS的数据进行分析操作,但支持将数据导出到OSS

(3)不支持对OSS的数据进行分析操作,也不支持将数据导出到OSS

(4)支持对OSS的数据进行分析操作,同时也支持将数据导出到OSS

答案:(4)支持对OSS的数据进行分析操作,同时也支持将数据导出到OSS

10. (单选题)为了更高效的支持实时人群画像,在表设计时建议采取下面( )为最佳实践。

(1)雪花模型,通过多表复杂JOIN分析

(2)星型模型,通过多表复杂JOIN分析

(3)大宽表模型,单表多维分析

(4)无需进行表模型设计

答案:(3)大宽表模型,单表多维分析

选择大宽表模型才能更好保证单表的性能,在一般情况下,大宽表模型是比较理想化的。

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2月前
|
网络协议 NoSQL API
转转客服IM系统的WebSocket集群架构设计和部署方案
客服IM系统是转转自研的在线客服系统,是用户和转转客服沟通的重要工具,主要包括机器人客服、人工客服、会话分配、技能组管理等功能。在这套系统中,我们使用了很多开源框架和中间件,今天讲一下客服IM系统中WebSocket集群的的实践和应用。
214 0
|
2月前
|
消息中间件 监控 Cloud Native
高效设计:支持亿级用户社交关系的100W QPS架构方案
面对亿级用户与百万QPS的高并发场景,性能测试成为系统稳定的关键。本文剖析真实业务痛点,详解从接口压测、全链路监控到瓶颈定位的完整性能体系,助你掌握大厂级性能优化能力,从容应对卡顿、宕机等线上挑战。
|
2月前
|
存储 监控 NoSQL
Redis高可用架构全解析:从主从复制到集群方案
Redis高可用确保服务持续稳定,避免单点故障导致数据丢失或业务中断。通过主从复制实现数据冗余,哨兵模式支持自动故障转移,Cluster集群则提供分布式数据分片与水平扩展,三者层层递进,保障读写分离、容灾切换与大规模数据存储,构建高性能、高可靠的Redis架构体系。
|
7月前
|
人工智能 算法 网络安全
基于PAI+专属网关+私网连接:构建全链路Deepseek云上私有化部署与模型调用架构
本文介绍了阿里云通过PAI+专属网关+私网连接方案,帮助企业实现DeepSeek-R1模型的私有化部署。方案解决了算力成本高、资源紧张、部署复杂和数据安全等问题,支持全链路零公网暴露及全球低延迟算力网络,最终实现技术可控、成本优化与安全可靠的AI部署路径,满足企业全球化业务需求。
|
边缘计算 Kubernetes 物联网
Kubernetes 赋能边缘计算:架构解析、挑战突破与实践方案
在物联网和工业互联网快速发展的背景下,边缘计算凭借就近处理数据的优势,成为解决云计算延迟高、带宽成本高的关键技术。而 Kubernetes 凭借统一管理、容器化适配和强大生态扩展性,正逐步成为边缘计算的核心编排平台。本文系统解析 Kubernetes 适配边缘环境的架构分层、核心挑战与新兴解决方案,为企业落地边缘项目提供实践参考。
285 0
|
4月前
|
缓存 Java 数据库
Java 项目分层架构实操指南及长尾关键词优化方案
本指南详解基于Spring Boot与Spring Cloud的Java微服务分层架构,以用户管理系统为例,涵盖技术选型、核心代码实现、服务治理及部署实践,助力掌握现代化Java企业级开发方案。
224 2
|
4月前
|
数据采集 边缘计算 定位技术
ar景区导航导览开发方案:核心技术架构与功能设计
本方案针对传统景区导航吸引力弱、互动性差等问题,融合三维建模、多源定位与AR引擎技术,实现室内外精准导航与AR互动体验。支持AR寻宝等功能,提升游客体验与景区竞争力。
351 0
|
4月前
|
存储 消息中间件 NoSQL
跟着大厂学架构01:如何利用开源方案,复刻B站那套“永不崩溃”的评论系统?
本文基于B站技术团队分享的《B站评论系统的多级存储架构》,解析其在高并发场景下的设计精髓,并通过开源技术栈(MySQL、Redis、Java)复刻其实现。文章深入讲解了多级存储、数据同步、容灾降级等关键设计,并附有完整代码实现,助你掌握大厂架构设计之道。
171 0
|
8月前
|
监控 Java Nacos
阿里二面:10亿级分库分表,如何丝滑扩容、如何双写灰度?阿里P8方案+ 架构图,看完直接上offer!
阿里二面:10亿级分库分表,如何丝滑扩容、如何双写灰度?阿里P8方案+ 架构图,看完直接上offer!
阿里二面:10亿级分库分表,如何丝滑扩容、如何双写灰度?阿里P8方案+ 架构图,看完直接上offer!