丰富的线上&线下活动,深入探索云世界
做任务,得社区积分和周边
资深技术专家手把手带教
技术交流,直击现场
让创作激发创新
海量开发者使用工具、手册,免费下载
极速、全面、稳定、安全的开源镜像
开发手册、白皮书、案例集等实战精华
热门
阿里云认证体系人才圈
1
回答
• 可以根据AnalyticDB MySQL 版源集群的已有备份集克隆一个AnalyticDB MySQL 版新集群。
• 在业务正式上线前,通常需要模拟一个和正式集群一样的环境进行测试(如压力测试),此时您可以根据源AnalyticDBMySQL版集群克隆一个新的AnalyticDB MySQL 版集群,并在克隆集群上进行测试,从而既能确保测试的真实性,又不会影响正常业务的运行。
以上内容摘自《阿里云认证的解析与实战-数据仓库ACP认证》电子书,点击https://developer.aliyun.com/ebook/download/7807 可下载完整版
不同于逻辑视图(view),物化视图(materialized view)会持久化视图的查询结果。
物化视图是数仓领域的核心特性之一。
为确保数据误操作后,AnalyticDB MySQL 版具备数据快速恢复的能力,集群创建成功后,AnalyticDB MySQL 版会自动在后台开启数据备份功能,实现集群级别的数据备份。在AnalyticDB MySQL 版控制台查看集群的备份集或修改备份设置。
• 全热表设置storage_prollcy=‘Hot’
• 全冷表设置storage_prollcy=‘Cold’
• 冷热混合表设置storage_prollcy=‘Mixed’,且要指定热分区的个数。
全热存储(数据全部存储在SSD)、全冷存储(数据全部存储在HDD)、冷热混合存储(指定一定数量的分区存储在SSD,其余数据存储在HDD)。
热数据指的是访问频次较高的数据,采用SSD 存储,满足高性能访问的需求。
复杂类型数据(json,vector)存储采用统一大小的块组织存储,按顺序存,采用稀疏索引查询。
冷数据指的是访问频次较低的数据,采用低价的HDD存储,满足存储空间的需求。
可以通过查表的方式查询。语法如下:
AnalyticDB MySQL 版弹性模式集群版(3.1.3.5 及以上版本)支持数据的冷热分离存储。
• 可以获取高性价比,完全按量付费。
• 冷热策略轻松定义:只需指定表的冷热策略即可享有冷热存储能力,无需额外购买资源。
• 冷热分区自动迁移:异步迁移,业务无感知,不影响读写。
• 查询和内外部接口统一,在离线一体化,数据强一致。
AnalyticDB 可以按表粒度、表的二级分区粒度独立选择冷、热存储介质,AnalyticDB数据写入时,数据会首先进入热空间SSD 上,当热存储数据积累到一定程度或者用户指定的冷表策略时会自动调度后台的Build 任务,把数据迁移到冷存储空间。
是指该列的MAX/MIN/SUM 总条目数(COUNT)等信息,便于加速查询。
SQL 审计功能可以实时记录数据库DML 和DDL 操作信息,并提供数据库操作信息的检索功能,提高云原生数据仓库AnalyticDB MySQL 版的安全性。
是指列值类型、整列的MAX/MIN 值,NULL值数目,直方图信息等,便于加速查询。
是指分区总行数,单个block中的列行数等信息。
块索引即块的元数据信息。
为了加速范围查询,对于类型为数字的列同时建立了KDTree索引。
对于值重复率高的列,建立Bitmap 索引。
可进行的操作:数据库账号在权限范围内用于对数据库进行操作,例如创建/删除数据库、连接数据库、创建/删除表、创建/删除视图等。分为普通账号和高权限账号。
分区表的所有列(适用Bitmap 索引的列除外)都建了倒排索引,key 为排序的列值,value 为对应的RowlD list,所以对于任何列进行FILTER(WHERE key=value)或者JOIN 查询都非常高效。
ADB 为表的每个字段智能构建索引,目前支持五种类型:字符串类的Invert 索引(倒排索引)、bitmap 索引、数值类的KDTree索引、JSON 索引、向量索引。
通过审计日志记录,用户可以对数据库进行故障分析、行为分析、安全审计等操作。
SQL 审计日志:记录对数据库执行的所有操作。
AnalyticDB for MySQL集群支持如下粒度的权限控制:集群、数据库、表、列、行级(基于视图),如下图:
可进行的操作:需要技术支持时,授权AnalyticDB for MySQL 集群的服务账号,技术支持人员才可以通过服务账号提供技术支持服务。
可进行的操作:阿里云账号授予RAM 子账号一定的权限后,RAM 子账号也可以在权限范围内创建和管理集群,例如登录阿里云产品控制台、设置白名单、创建数据库账号、申请外网地址、按量付费转包年包月、设置可维护时间段、扩容集群、恢复新集群以及删除集群等。
可进行的操作:阿里云账号用于创建和管理集群,例如登录阿里云产品控制台、设置白名单、创建数据库账号、申请外网地址、按量付费转包年包月、设置可维护时间段、扩容集群、恢复新集群以及删除集群等。
当SQL 包含多个查询条件时,优先选择高筛选条件,其他条件可以通过扫描实现。在SQL 命令中通过条件c1=3 可快速查询到少量记录(假设10000),单独使用time>'2010-01-0100:00:00'时返回的记录数又非常大,如:
返回的列的数量直接影响性能,在编写SQL 时要确认业务需要返回的列,不要直接使用星号(*)进行查询。
编写和优化SQL 时,需要充分考虑其分布式特性,开发规范如下:
• SQL 编写原则为追求简单:一般情况下,数据库性能会随SQL 复杂度而下降。
例如,单表查询(冗余设计)优于表关联查询。
• SQL 优化核心方法是减少I/O:尽可能少的进行列扫描,返回最小数据量,减少I/O 同时也减少内存开销。
• 分布式计算,本地计算&并行计算:大数据计算情况下,本地计算时充分利用分布式多计算资源的能力,避免数据跨节点。
• 高QPS,分区裁剪:业务系统要求高QPS、毫秒级RT 时,表和SQL 必须设计为分区裁剪模式。
表元数据记录表的生命周期设置数,下面示例设LIFECYCLE 90,通过对分区的排序,超出生命周期数的分区将被清理掉,如图所示:
是指分片(Shard)可以再按某个字段划分为分区;分片列通常是时间字段,有生命周期管理功能。
是指表被分布键拆分后的子表,又称分片(Shard)。
是指普通表又称分布式表,需要指定分布键;维度表又称广播表,每个节点冗余一份。
是指逻辑数据库,最多256 个;表名空间和权限隔离。
是指一个用户集群系统默认初始化一个物理库。
是指一个用户实例就是一个集群、用户集群资源独享。
数据库对象的体系结构可以从用户视角和系统视角查看,用户视角类似使用MySQL一样,可以创建多个数据库,在每个数据库下面创建多个数据表,而在系统视角一个用户实例对应一个集群,而集群对应的是物理的数据库,该数据库为分布式的大规模并行MPP 架构,数据库会分片到不同的节点上,而每个分片对应着物理表,通过Partition 实现分区,分片是一级分区,分区是二级分区。
存储层采用自适应索引,加快数据的检索。
如图,在执行该sql 时,条件“id=123”、“ts between and”会建立BKD 索引,条件“NOT”采用Invert 索引,“json_extract”采用JSON 处理,“name like‘bob%’”采用全表扫描scan 模式,对于不同条件下产生的结果,通过联合或并的操作产生Row Ids 的集合,最后通过Row Ids 集合获取最终数据。
• 存储层是行列混合存储,玄武存储引擎支持行列混存和行存的存储格式,其中行列混存是一种以列存为基础兼顾行存的模式,类似于Hadoop 中的ORC/Parquet 格式。
• 不同的是,玄武的行列混存不仅兼顾分析类的列裁剪和大吞吐扫描性能,而且结合其行对齐的能力,可以实现很好的随机查找性能,这对于任意多维索引过滤的场景也拥有出色的性能优势。
AnalyticDB MySQL 存储层具有如下特点:
高吞吐写入
高可用
行列混合存储
自适应索引
AnalyticDB 在存储层使用Raft协议,在多副本之间保障数据的一致性,同时具有高可靠、高可用性,当Worker Group 副本失效时,Raft 协议通过多数派保证系统的正常运行。
AnalyticDB 存储层具有高吞吐写入的特点,采用玄武分析存储引擎,为用户提供高可靠、高可用、高性能、低成本的企业级数据存储能力,是AnalyticDB 实现高吞吐实时写入、高性能实时查询的基础支撑。
在存储层架构中,ADB MySQL 支持实时任务的在线存储和离线任务的离线存储。。在线存储通过异步更新的方式进入到离线存储,同时这两种存储会通过storage SDK的方式对外提供统一的存储接口。
特点:
ü BSP 方式执行,即StageByStage 方式调度执行分布式任务。
ü 内存不足时自适应下盘算子状态数据。
ü Stage 之间的数据传输(Exchage/Shuffle)依赖本地磁盘和对象存储。
ü 大查询/ETL 离线任务资源消耗可控。
适合ETL场景,作业执行时间长,对RT要求低,计算数据量大,计算逻辑复杂,但资源较为有限。
特点是:MPP pipeline 方式执行,即一个查询的所有分布式执行任务会被同时调度执行,完全基于内存进行计算,大查询消耗资源多。
阿里云智能认证体系针对不同产品类别、用户成长阶段、生态岗位,精心打造各项认证考试,已成为泛云计算领域行业人才技能标准。阿里云认证圈子作为泛云生态人才交流绿洲,将持续带来丰富多样的认证活动、行业资讯、学习交流机会,希望大家都能加入一起玩!诚邀您加入阿里云认证官方学习福利群:33715706。
阿里云认证官网: https://edu.aliyun.com/certification
阿里云开发者社区官网: https://developer.aliyun.com