《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——二、产品架构及原理

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——二、产品架构及原理

1. 产品架构

 

AnalyticDB MySQL版采用云原生架构,计算存储分离、冷热数据分离,支持高吞吐实时写入和数据强一致,兼顾高并发查询和大吞吐批处理的混合负载。其产品架构包括接入层、计算引擎、存储引擎。

 

image.png

 

接入层:协议层接入、SQL解析和优化、数据和查询调度。

计算引擎:

ü 支持高并发和复杂SQL混合负载,采用DAG和MPP支持不同负载。

ü 弹性调度,可根据业务需求做到分钟级甚至秒级扩展,实现了资源的有效利用。

存储引擎:

ü 分布式实时强一致高可用存储引擎。

ü 利用分层存储实现冷热分离降低成本。

ü 通过行列存储和智能索引提升性能100%。

 

2. 优化器介绍

 

优化器包括四个部分:统计层、代价估计层、优化器层、缓存层,其功能分别如下:

 

统计信息:提供多样的统计信息;提供自动的统计信息收集;提供动态采样

代价预估和代价模型

基于规则的RBO框架和基于代价的CBO框架

通过缓存来提供优化器的高效性,可介入、可运维

 

image.png

 

3. 弹性计算层

 

image.png

弹性计算层架构图

 

如上图,计算引擎采用弹性计算引擎,支持资源组隔离、弹性扩容、2000多个工作站、大规模ETL、混合负载、分时弹性等。

 

1) 查询执行计划

 

 语句

 

select count() from customer left join lineitem on customer.c nationkey=lineitem.l_partkey;

 

逻辑执行计划:用户下发SQL,前端节点负责解析SQL,生成分布式执行计划,下发到计算节点和存储节点执行,执行完成后,将结果返回给前端节点。

 

image.png

 

ADB中SQL执行主要概念有如下三个:

 

Stage:为了让Query能够在多台机器上并行执行,会将执行计划拆分成多个阶段(Stage),每个Stage会产生多个Task进行执行。

Task:负责具体计算的执行,是Stage在某一个Worker或者Executor上的实例。

Operator:对应一个相对独立的计算单位,比如过滤、投影、聚合等操作,作用于输入数据,并产生输出。

 

2) 查询执行模式

 

a) Interactive模式

 

场景:适合交互式查询,对响应时间有较高要求,查询Query不高,资源充足

特点:MPP pipeline方式执行,即一个查询的所有分布式执行任务会被同时调度执行,完全基于内存进行计算,大查询消耗资源多。

 

b) Batch模式(E系列支持)

 

场景:适合ETL场景,作业执行时间长,对RT要求低,计算数据量大,计算逻辑复杂,但资源较为有限。

特点:

ü BSP方式执行,即StageByStage方式调度执行分布式任务。

ü 内存不足时自适应下盘算子状态数据。

ü Stage之间的数据传输(Exchage/Shuffle)依赖本地磁盘和对象存储。

ü 大查询/ETL离线任务资源消耗可控。

 

4. 存储层

 

image.png

存储层架构图

 

在存储层架构中,ADB MySQL支持实时任务的在线存储和离线任务的离线存储。在线存储通过异步更新的方式进入到离线存储,同时这两种存储会通过storage SDK的方式对外提供统一的存储接口。

 

image.png

 

1) 高吞吐写入

 

AnalyticDB存储层具有高吞吐写入的特点,采用玄武分析存储引擎,为用户提供高可靠、高可用、高性能、低成本的企业级数据存储能力,是AnalyticDB实现高吞吐实时写入、高性能实时查询的基础支撑。

 

image.png

 

 

2) 高可用

 

AnalyticDB在存储层使用Raft协议,在多副本之间保障数据的一致性,同时具有高可靠、高可用性,当Worker Group副本失效时,Raft协议通过多数派保证系统的正常运行。增量数据是通过异步构建的方式加载到全量数据,实现了冷热数据的分层以及数据的分级管理。

 

image.png

 

3) 行列混合存储

 

存储层是行列混合存储,玄武存储引擎支持行列混存和行存的存储格式,其中行列混存是一种以列存为基础兼顾行存的模式,类似于Hadoop中的ORC/Parquet格式。

 

不同的是,玄武的行列混存不仅兼顾分析类的列裁剪和大吞吐扫描性能,而且结合其行对齐的能力,可以实现很好的随机查找性能,这对于任意多维索引过滤的场景也拥有出色的性能优势。

 

4) 自适应索引

 

存储层采用自适应索引,加快数据的检索。 

image.png

 

如图,在执行该sql时,条件“id=123”、“ts between and”会建立BKD索引,条件“NOT”采用Invert索引,“json_extract”采用JSON处理,“name like ‘bob%’”采用全表扫描scan模式,对于不同条件下产生的结果,通过联合或并的操作产生Row Ids的集合,最后通过Row Ids集合获取最终数据。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
打赏
0
0
1
0
41
分享
相关文章
深入解析MySQL的EXPLAIN:指标详解与索引优化
MySQL 中的 `EXPLAIN` 语句用于分析和优化 SQL 查询,帮助你了解查询优化器的执行计划。本文详细介绍了 `EXPLAIN` 输出的各项指标,如 `id`、`select_type`、`table`、`type`、`key` 等,并提供了如何利用这些指标优化索引结构和 SQL 语句的具体方法。通过实战案例,展示了如何通过创建合适索引和调整查询语句来提升查询性能。
217 9
AnalyticDB MySQL版:云原生离在线一体化数据仓库支持实时业务决策
AnalyticDB MySQL版是阿里云推出的云原生离在线一体化数据仓库,支持实时业务决策。产品定位为兼具数据库应用性和大数据处理能力的数仓,适用于大规模数据分析场景。核心技术包括混合负载、异构加速、智能弹性与硬件优化及AI集成,支持流批一体架构和物化视图等功能,帮助用户实现高效、低成本的数据处理与分析。通过存算分离和智能调度,AnalyticDB MySQL可在复杂查询和突发流量下提供卓越性能,并结合AI技术提升数据价值挖掘能力。
39 16
云端问道5期实践教学-基于Hologres轻量实时的高性能OLAP分析
本文基于Hologres轻量实时的高性能OLAP分析实践,通过云起实验室进行实操。实验步骤包括创建VPC和交换机、开通Hologres实例、配置DataWorks、创建网关、设置数据源、创建实时同步任务等。最终实现MySQL数据实时同步到Hologres,并进行高效查询分析。实验手册详细指导每一步操作,确保顺利完成。
方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
DataWorks在任务开发便捷性、任务运行速度、产品使用门槛等方面都表现出色。在数据处理场景方面仍有改进和扩展的空间,通过引入更多的智能技术、扩展数据源支持、优化任务调度和可视化功能以及提升团队协作效率,DataWorks将能够为企业提供更全面、更高效的数据处理解决方案。
double ,FLOAT还是double(m,n)--深入解析MySQL数据库中双精度浮点数的使用
本文探讨了在MySQL中使用`float`和`double`时指定精度和刻度的影响。对于`float`,指定精度会影响存储大小:0-23位使用4字节单精度存储,24-53位使用8字节双精度存储。而对于`double`,指定精度和刻度对存储空间没有影响,但可以限制数值的输入范围,提高数据的规范性和业务意义。从性能角度看,`float`和`double`的区别不大,但在存储空间和数据输入方面,指定精度和刻度有助于优化和约束。
217 5
MySQL自增ID耗尽应对策略:技术解决方案全解析
在数据库管理中,MySQL的自增ID(AUTO_INCREMENT)属性为表中的每一行提供了一个唯一的标识符。然而,当自增ID达到其最大值时,如何处理这一情况成为了数据库管理员和开发者必须面对的问题。本文将探讨MySQL自增ID耗尽的原因、影响以及有效的应对策略。
203 3
深入理解云原生架构及其在现代企业中的应用
随着数字化转型的浪潮席卷全球,企业正面临着前所未有的挑战与机遇。云计算技术的迅猛发展,特别是云原生架构的兴起,正在重塑企业的IT基础设施和软件开发模式。本文将深入探讨云原生的核心概念、关键技术以及如何在企业中实施云原生策略,以实现更高效的资源利用和更快的市场响应速度。通过分析云原生架构的优势和面临的挑战,我们将揭示它如何助力企业在激烈的市场竞争中保持领先地位。
探索云原生技术:容器化与微服务架构的融合之旅
本文将带领读者深入了解云原生技术的核心概念,特别是容器化和微服务架构如何相辅相成,共同构建现代软件系统。我们将通过实际代码示例,探讨如何在云平台上部署和管理微服务,以及如何使用容器编排工具来自动化这一过程。文章旨在为开发者和技术决策者提供实用的指导,帮助他们在云原生时代中更好地设计、部署和维护应用。
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
67 3
云原生架构的演进与挑战
随着云计算技术的不断发展,云原生架构已成为企业数字化转型的重要支撑。本文深入探讨了云原生架构的概念、发展历程、核心技术以及面临的挑战,旨在为读者提供一个全面了解云原生架构的视角。通过分析Kubernetes、Docker等关键技术的应用,以及微服务、持续集成/持续部署(CI/CD)等实践案例,本文揭示了云原生架构在提高应用开发效率、降低运维成本、增强系统可扩展性等方面的显著优势。同时,也指出了云原生架构在安全性、复杂性管理等方面所面临的挑战,并提出了相应的解决策略。

热门文章

最新文章

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等