【视频】云原生数据仓库 AnalyticDB MySQL 版 _解析与实践1|学习笔记(四)

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介: 快速学习【视频】云原生数据仓库 AnalyticDB MySQL 版 _解析与实践1

开发者学堂课程【数据仓库 ACP 认证课程【视频】云原生数据仓库 AnalyticDB MySQL 版 _解析与实践1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/928/detail/14623


【视频】云原生数据仓库 AnalyticDB MySQL 版 _解析与实践1


6.备份与恢复

备份恢复

数据按周全量备份、日志秒级实时备份

支持数据恢复到时间点

image.png只读/容灾实例( on-going )

只读/容灾实例

数据跨实例自动复制

为确保数据误操作后,AnalyticDB MySQL版具备数据快速恢复的能力,集群创建成功后,AnalyticDB MySQL版会自动在后台开启数据备份功能,实现集群级别的数据备份。在AnalyticDB MySQL版控制台查看集群的备份集或修改备份设置。

image.png克隆集群可以根据AnalyticDB MySQL版源集群的已有备份集克隆一个AnalyticDB MySQL版新集群。

在业务正式上线前,通常需要模拟一个和正式集群一样的环境进行测试(如压力测试),此时您可以根据源AnalyticDB MySQL版集群克隆一个新的AnalyticDB MySQL版集群,并在克隆集群上进行测试,从而既能确保测试的真实性,又不会影响正常业务的运行。image.png 

可以根据AnalyticDB MySQL版源集群的已有备份集克隆一个AnalyticDB MySQL版新集群。

 

五、核心功能解析与实践

1.弹性能力:资源池

AnalyticDB MySQL版的弹性模式集群版(新版)采取了存储计算分离架构,支持对计算资源进行弹性扩缩。资源池功能可以对计算资源进行弹性划分,不同资源池之间的计算资源在物理上完全隔离。

通过数据库账号绑定到不同的资源池,SQL查询根据绑定关系路由至对应的资源池进行执行,从而满足实例内部多租户、混合负载的需求。

默认资源池

默认资源池USER_DEFAULT是实例创建时便存在的,不可被删除。

未被分配到用户自定义资源池的计算资源均归属于默认资源池,计算资源不可被直接调整。

未被绑定的ADB MySQL数据库账号均与默认资源池绑定。

自定义资源池

用户自定义创建的资源池,可以进行资源池的计算资源、查询执行模式、ADB MySQL账号与资源池的绑定关系进行修改。

通过资源池管理或CREATE RESOURCE GROUP创建。

资源池基本属性:

资源量

查询执行模式

用户与资源池的绑定关系

image.png集群版(新版)支持将一个集群资源划分为多个资源池,不同用户绑定到不同的资源池,通过资源池隔离实现计算任务的优先级调度,保障核心业务不受复杂计算和突发状况影响,同时将不同的查询分类,合理分配资源使集群性能达到最大化。

问题描述

用户A、B日常进行一些简单查询,用户c会进行数据量较大的复杂查询分析。

解决方案

将用户A、B绑定查询类型为Interactive的资源池source_a

将用户C绑定查询类型为Batch的资源池source_b。

用户C在进行大型计算查询时,用户A和用户B进行简单查询的速度不受影响。

查询类型:

Default_Type默认查询类型

Batch : Batch查询类型,适用于数据量较大的复杂查询。

Interactive:Interactive查询类型,适用于延识要求高的实时分析查询。

资源组/资源池(E系列支持)

场景

实例内部多租户/多部门/多业务需要资源隔离

混合负载隔离,避免相互影响

特点

不同资源组之间的计算资源在物理上完全隔离

支持资源组级别计算资源分时弹性

支持存储层流量比例隔离

支持配置资源组默认执行模型(interactive or batch)

资源组创建DDL样例

CREATE RESOURCE GROUP group_name[QUERY_TYPE = (interactive,batch)][NODE_NUM= N]

游戏行业某客户资源组案例

image.png

2.弹性能力:EIU

集群版(新版)集群采用了存储分离架构,集群的存储资源与计算资源相互独立。弹性IO资源.( Elastic IO Unit,简称EIU)是衡量集群存储性能的元单位,可用于单独扩容存储资源。

需要单独扩容弹性IO资源

( EIU )场景

数据导入:购买的计算资源较小,而大量的数据写入导致存储节点I/O先达到瓶颈。

高并发点查:购买的计算资源很小,而高并发点查导致存储CPU成为瓶颈。

基于EIU的存储性能射指标

指标项

取值

支持最大热数据存储空间

4 TB

IOPS

16800~50000

最大吞吐量

350 MB/s

CPU

24核


3.弹性能力∶分时弹性

分时弹性(E系列支持)

支持按小时设置计算资源弹性扩容规则,解决计算资源峰谷需求问题,降低计算资源成本。

白天查询业务高峰

白天工作高峰期,准时弹出计算资源,让业务查询更快,提高应用体验。

晚上ETL计算高峰

晚上ETL高峰期,准时弹出计算资源,让ETL计算任务稳定运行,低峰期准时释放,降低资源成本。

注意︰分时弹性规则的新增或修改从次日开始生效

image.png

4.操作演示-实现 AnalyticDB MySQL 版弹性能力

(1)准备阿里云账号

(2)创建集群

(3)创建数据库账号

(4)设置白名单

(5)连接集群

(6)创建数据库

(7)导入数据并查询

image.png

5.操作演示

登录阿里云社区、创建集群(速度较慢)

进入控制台、创建集群、立即购买、根据业务需求选择各种基本信息、购买

创建完成之后打开控制台可以观看

数据库名字、账号管理、创建账号、DBeaver、远程连接到数据库、申请公网地址、设置白名单(查看本机地址,修改白名单)

进入 DBeaver 、选择 MySQL、完成创建新连接(连接设置)、地址为官网地址、测试连接、已连接

新建数据库、确定、在数据库中建表、执行、刷新

创建表的语句

如:

CREATE TABLE IF NOT EXISTS adb, _0s5. _import. test

(

uid string,

other string

)

DISTRIBUTED BY HASHY(uid) ;

image.png往表中导入数据、选择对应文件

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
SQL 存储 Cloud Native
【视频】云原生数据仓库 Analyticdb MYSQL 版-解析与实践-3|学习笔记(二)
快速学习【视频】云原生数据仓库 Analyticdb MYSQL 版-解析与实践-3
【视频】云原生数据仓库 Analyticdb MYSQL 版-解析与实践-3|学习笔记(二)
|
1月前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
1月前
|
人工智能 分布式计算 数据管理
阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
国际数据公司( IDC )首次发布了《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,阿里云在首次报告发布即位居领导者类别。
|
1月前
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
164 0
|
4月前
|
数据采集 运维 Cloud Native
Flink+Paimon在阿里云大数据云原生运维数仓的实践
构建实时云原生运维数仓以提升大数据集群的运维能力,采用 Flink+Paimon 方案,解决资源审计、拓扑及趋势分析需求。
18509 54
Flink+Paimon在阿里云大数据云原生运维数仓的实践
|
2月前
|
存储 机器学习/深度学习 监控
阿里云 Hologres OLAP 解决方案评测
随着大数据时代的到来,企业面临着海量数据的挑战,如何高效地进行数据分析和决策变得尤为重要。阿里云推出的 Hologres OLAP(在线分析处理)解决方案,旨在为用户提供快速、高效的数据分析能力。本文将深入探讨 Hologres OLAP 的特点、优势以及应用场景,并针对方案的技术细节、部署指导、代码示例和数据分析需求进行评测。
127 7
|
2月前
|
运维 数据挖掘 OLAP
阿里云Hologres:一站式轻量级OLAP分析平台的全面评测
在数据驱动决策的今天,企业对高效、灵活的数据分析平台的需求日益增长。阿里云的Hologres,作为一站式实时数仓引擎,提供了强大的OLAP(在线分析处理)分析能力。本文将对Hologres进行深入评测,探讨其在多源集成、性能、易用性以及成本效益方面的表现。
128 7
|
3月前
|
分布式计算 安全 OLAP
7倍性能提升|阿里云AnalyticDB Spark向量化能力解析
AnalyticDB Spark如何通过向量化引擎提升性能?
|
3月前
|
人工智能 分布式计算 数据管理
阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
国际数据公司(IDC)首度发布《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,阿里云荣登领导者地位。报告评估了13家厂商,涵盖互联网、云服务及大数据领域。阿里云凭借其在实时湖仓领域的创新能力,特别是Apache Paimon及与Flink的集成,实现了高效流批处理和AI增强功能,为企业提供了一体化的湖仓解决方案,支持多种数据管理和AI应用场景,展现出了强大的市场领导力和技术实力。
135 8
|
4月前
|
存储 SQL 缓存
【报名中】阿里云 x StarRocks:极速湖仓第二季—上海站
阿里云 x StarRocks:极速湖仓第二季,7月20日阿里巴巴上海徐汇滨江园区,现场签到丰富奖品等你拿,不见不散!
319 7
【报名中】阿里云 x StarRocks:极速湖仓第二季—上海站

热门文章

最新文章