开发者学堂课程【数据仓库 ACP 认证课程:快速学习云原生数据仓库 AnalyticDB MySQL 版 _解析与实践1】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/928/detail/14623
云原生数据仓库 AnalyticDB MySQL 版_解析与实践1
五、核心功能解析与实践
1.弹性能力:资源池
AnalyticDB MySQL 版的弹性模式集群版(新版)采取了存储计算分离架构,支持对计算资源进行弹性扩缩。资源池功能可以对计算资源进行弹性划分,不同资源池之间的计算资源在物理上完全隔离。
通过数据库账号绑定到不同的资源池,SQL 查询根据绑定关系路由至对应的资源池进行执行,从而满足实例内部多租户、混合负载的需求。
默认资源池
默认资源池 USER_DEFAULT 是实例创建时便存在的,不可被删除。
未被分配到用户自定义资源池的计算资源均归属于默认资源池,计算资源不可被直接调整。
未被绑定的 ADB MySQL 数据库账号均与默认资源池绑定。
自定义资源池
用户自定义创建的资源池,可以进行资源池的计算资源、查询执行模式、ADB MySQL 账号与资源池的绑定关系进行修改。
通过资源池管理或 CREATE RESOURCE GROUP 创建。
资源池基本属性:
资源量
查询执行模式
用户与资源池的绑定关系
集群版(新版)支持将一个集群资源划分为多个资源池,不同用户绑定到不同的资源池,通过资源池隔离实现计算任务的优先级调度,保障核心业务不受复杂计算和突发状况影响,同时将不同的查询分类,合理分配资源使集群性能达到最大化。
问题描述
用户A、B日常进行一些简单查询,用户c会进行数据量较大的复杂查询分析。
解决方案
将用户A、B绑定查询类型为 Interactive 的资源池 source_a
将用户 C 绑定查询类型为 Batch 的资源池 source_b。
用户 C 在进行大型计算查询时,用户 A 和用户 B 进行简单查询的速度不受影响。
查询类型:
Default_Type 默认查询类型
Batch : Batch 查询类型,适用于数据量较大的复杂查询。
Interactive:Interactive 查询类型,适用于延识要求高的实时分析查询。
资源组/资源池(E 系列支持)
场景
实例内部多租户/多部门/多业务需要资源隔离
混合负载隔离,避免相互影响
特点
不同资源组之间的计算资源在物理上完全隔离
支持资源组级别计算资源分时弹性
支持存储层流量比例隔离
支持配置资源组默认执行模型(interactive or batch)
资源组创建 DDL 样例
CREATE RESOURCE GROUP group_name[QUERY_TYPE = (interactive,batch)][NODE_NUM= N]
游戏行业某客户资源组案例
2.弹性能力:EIU
集群版(新版)集群采用了存储分离架构,集群的存储资源与计算资源相互独立。弹性 IO 资源.( Elastic IO Unit,简称EIU)是衡量集群存储性能的元单位,可用于单独扩容存储资源。
需要单独扩容弹性 IO 资源
( EIU )场景
数据导入:购买的计算资源较小,而大量的数据写入导致存储节点 I/O 先达到瓶颈。
高并发点查:购买的计算资源很小,而高并发点查导致存储 CPU 成为瓶颈。
基于 EIU 的存储性能射指标
指标项 |
取值 |
支持最大热数据存储空间 |
4 TB |
IOPS |
16800~50000 |
最大吞吐量 |
350 MB/s |
CPU |
24核 |
3.弹性能力∶分时弹性
分时弹性(E 系列支持)
支持按小时设置计算资源弹性扩容规则,解决计算资源峰谷需求问题,降低计算资源成本。
白天查询业务高峰
白天工作高峰期,准时弹出计算资源,让业务查询更快,提高应用体验。
晚上 ETL 计算高峰
晚上 ETL 高峰期,准时弹出计算资源,让 ETL 计算任务稳定运行,低峰期准时释放,降低资源成本。
注意︰分时弹性规则的新增或修改从次日开始生效
4.操作演示-实现AnalyticDB MySQL版弹性能力
(1)准备阿里云账号
(2)创建集群
(3)创建数据库账号
(4)设置白名单
(5)连接集群
(6)创建数据库
(7)导入数据并查询
5.操作演示
登录阿里云社区、创建集群(速度较慢)
进入控制台、创建集群、立即购买、根据业务需求选择各种基本信息、购买
创建完成之后打开控制台可以观看
数据库名字、账号管理、创建账号、DBeaver、远程连接到数据库、申请公网地址、设置白名单(查看本机地址,修改白名单)
进入 DBeaver 、选择 MySQL、完成创建新连接(连接设置)、地址为官网地址、测试连接、已连接
新建数据库、确定、在数据库中建表、执行、刷新
创建表的语句
如:
CREATE TABLE IF NOT EXISTS adb, _0s5. _import. test
(
uid string,
other string
)
DISTRIBUTED BY HASHY(uid) ;
往表中导入数据、选择对应文件