《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(上)

简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(上)

1. 数据库对象及操作

 

数据库对象的体系结构可以从用户视角和系统视角查看,用户视角类似使用MySQL一样,可以创建多个数据库,在每个数据库下面创建多个数据表,而在系统视角一个用户实例对应一个集群,而集群对应的是物理的数据库,该数据库为分布式的大规模并行MPP架构,数据库会分片到不同的节点上,而每个分片对应着物理表,通过Partition实现分区,分片是一级分区,分区是二级分区。

 

image.png

 

数据库对象的体系结构有以下概念:

 

用户集群:一个用户实例就是一个集群、用户集群资源独享

物理库:一个用户集群系统默认初始化一个物理库

数据库:逻辑数据库,最多256个表名空间和权限隔离

表:普通表又称分布式表,需要指定分布键维度表又称广播表,每个节点冗余一份

分片:表被分布键拆分后的子表,又称分片Shard)。

分区分片Shard可以再按某个字段划分为分区分片列通常是时间字段,有生命周期管理功能

 

1) 表:分区数据清除机制

 

数据清理机制:表元数据记录表的生命周期设置数,下面示例设LIFECYCLE 90,通过对分区的排序,超出生命周期数的分区将被清理掉,如图所示:

image.png

 

2) 数据建模SQL开发规范

 

编写和优化SQL时,需要充分考虑其分布式特性,开发规范如下:

 

SQL编写原则为追求简单一般情况下,数据库性能会随SQL复杂度而下降。例如,单表查询冗余设计优于表关联查询

SQL优化核心方法是减少I/O尽可能少的进行列扫描,返回最小数据量,减少I/O同时也减少内存开销

分布式计算,本地计算&并行计算大数据计算情况下,本地计算时充分利用分布式多计算资源的能力,避免数据跨节点

高QPS,分区裁剪业务系统要求高QPS、毫秒级RT时,表和SQL必须设计为分区裁剪模式。

 

a) 去掉不必要的列

 

返回的列的数量直接影响性能,在编写SQL时要确认业务需要返回的列,不要直接使用星号*进行查询,如:

 

错误SQL

 

select * from tab1 where c1>100 and c1<1000;

 

 

正确SQL

 

select col1,col2 from table_name where C1>100 andc1<1000;

 

b) 索引和扫描

 

当SQL包含多个查询条件时,优先选择高筛选条件,其他条件可以通过扫描实现在SQL命令中通过条件c1=3可快速查询到少量记录假设10000,单独使用time>'2010-01-0100:00:00'时返回的记录数又非常大,如:

 

原始SQL

 

select c1,c2 from tab1 where c1=3 and time >='2010-01-01 00:00:00';

 

建议SQL

 

/*no-index=itab1.time*/

selectc1,c2 from tab1 where c1=3 and time>='2010-01-01 00:00:00';

 

2. 权限与数据安全

 

1) 账号类型

 

阿里云账号

 作用范围AnalyticDB for MySQL集群

 可进行的操作:阿里云账号用于创建和管理集群,例如登录阿里云产品控制台、设置白名单、创建数据库账号、申请外网地址、按量付费转包年包月、设置可维护时间段、扩容集群、恢复新集群以及删除集群等。

 

RAM子账号

 作用范围,AnalyticDB for MySQL集群

 可进行的操作:阿里云账号授予RAM子账号一定的权限后,RAM子账号也可以在权限范围内创建和管理集群例如登录阿里云产品控制台、设置白名单、创建数据库账号、申请外网地址、按量付费转包年包月、设置可维护时间段、扩容集群、恢复新集群以及删除集群等。

 

数据库账号

 作用范围数据库

 可进行的操作:数据库账号在权限范围内用于对数据库进行操作,例如创建/删除数据库、连接数据库、创建/删除表、创建/删除视图等。分为普通账号和高权限账号。

 

服务账号

 作用范围AnalyticDB for MySQL集群

 可进行的操作:需要技术支持时授权AnalyticDB for MySQL集群的服务账号,技术支持人员才可以通过服务账号提供技术支持服务。

 

2) 用户

 

用户账号和认证

 账号格式:ALIYUN$user_account@aliyun.com

 认证需要使用AccessKey

 

用户类型

 OWNER:数据库拥有者,开通云原生数据仓库服务,并创建数据

 用户:被授权的数据库用户,由OWNER添加,无需开通云原生数据仓库服务

 

RAM子账号

 支持RAM阿里云访问控制子账号登录和使用云原生数据仓库

 主账号可建多个子账号,通过授予授权策略,使子账号在一定条件下可以访问云原生数据仓库

 子账号访问云原生数据仓库的MySQL协议端时需要使用其的AccessKey ID/Secret作为用户名和密码。

 

3) 权限模型

 

AnalyticDB for MySQL集群支持如下粒度的权限控制:集群、数据库、表、列、行级基于视图,如下图

 

image.png

 

4) SQL审计

 

SQL审计功能可以实时记录数据库DML和DDL操作信息,并提供数据库操作信息的检索功能,提高云原生数据仓库AnalyticDB MySQL版的安全性。

 

SQL审计日志:记录对数据库执行的所有操作。通过审计日志记录,用户可以对数据库进行故障分析、行为分析、安全审计等操作。

搜索:可以按照数据库、客户端IP、执行耗时、执行状态等进行多维度检索,并支持导出搜索结果。

 

3. 智能索引

 

ADB为表的每个字段智能构建索引,目前支持五种类型:字符串类的Invert索引(倒排索引)、bitmap索引、数值类的KDTree索引、JSON索引、向量索引。

 

不同类型的索引可以实现列级索引多种条件(交、并、差)任意组合,查询时无需建组合索引,通过Index CBO 智能动态筛选索引下推,通过谓词计算层进行流式渐进多路归并输出。

image.png

 

倒排索引

分区表的所有列适用Bitmap索引的列除外都建了倒排索引,key为排序的列值,value为对应的RowlD list,所以对于任何列进行FILTERWHERE key=value或者JOIN查询都非常高效。

 

Bitmap索引

对于值重复率高的列,建立Bitmap索引。

 

KDTree索引

为了加速范围查询,对于类型为数字的列同时建立了KDTree索引。

 

行列混存的块索引

块索引即块的元数据信息。

image.png

 

分区元数据:分区总行数,单个block中的列行数等信息。

列元数据:列值类型、整列的MAX/MIN值,NULL值数目,直方图信息等,便于加速查询。

列Block元数据:该列的MAX/MIN/SUM总条目数(COUNT)等信息,便于加速查询。

 

说明

复杂类型数据json,vector存储采用统一大小的块组织存储,按顺序存,采用稀疏索引查询。

 

更多精彩内容,欢迎观看:

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(下):https://developer.aliyun.com/article/1223283?groupCode=certification

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
自然语言处理 数据可视化 API
淘宝商品评论 API 接口:深度解析用户评论,优化产品与服务
淘宝是领先的中国电商平台,其API为开发者提供商品信息、交易记录及用户评价等数据访问服务。对于获授权的开发者和商家,可通过申请API权限、获取并解析评论数据来进行情感分析和统计,进而优化产品设计、提升服务质量、增强用户互动及调整营销策略。未授权用户可能受限于数据访问。
|
11月前
|
存储 分布式计算 大数据
大数据揭秘:从数据湖到数据仓库的全面解析
大数据揭秘:从数据湖到数据仓库的全面解析
349 19
|
10月前
|
弹性计算 运维 网络安全
阿里云轻量应用服务器产品解析与搭建个人博客网站教程参考
轻量应用服务器(Simple Application Server)作为阿里云面向单机应用场景推出的云服务器产品,以其一键部署、一站式管理、高性价比等特性,深受个人开发者、中小企业及入门级用户的喜爱。本文将全面解析阿里云轻量应用服务器的产品优势、应用场景、使用须知,以及使用轻量应用服务器搭建个人博客网站的详细教程,帮助用户更好地了解和使用这一产品。
|
11月前
|
人工智能 关系型数据库 MySQL
AnalyticDB MySQL版:云原生离在线一体化数据仓库支持实时业务决策
AnalyticDB MySQL版是阿里云推出的云原生离在线一体化数据仓库,支持实时业务决策。产品定位为兼具数据库应用性和大数据处理能力的数仓,适用于大规模数据分析场景。核心技术包括混合负载、异构加速、智能弹性与硬件优化及AI集成,支持流批一体架构和物化视图等功能,帮助用户实现高效、低成本的数据处理与分析。通过存算分离和智能调度,AnalyticDB MySQL可在复杂查询和突发流量下提供卓越性能,并结合AI技术提升数据价值挖掘能力。
312 16
|
11月前
|
SQL 存储 JSON
实时数仓 Hologres 产品介绍:一体化实时湖仓平台
本次方案的主题是实时数仓 Hologres 产品介绍:一体化实时湖仓平台,介绍了 Hologres 湖仓存储一体,多模式计算一体、分析服务一体和 Data+AI 一体四方面一体化场景,并对其运维监控方面及客户案例进行一定讲解。 1. Hologres :面向未来的一体化实时湖仓 2. 运维监控 3. 客户案例 4. 总结
693 14
|
12月前
|
缓存 网络协议 安全
融合DNS技术产品和生态
本文介绍了阿里云在互联网基础资源领域的最新进展和解决方案,重点围绕共筑韧性寻址、赋能新质生产展开。随着应用规模的增长,基础服务的韧性变得尤为重要。阿里云作为互联网资源的践行者,致力于推动互联网基础资源技术研究和自主创新,打造更韧性的寻址基础服务。文章还详细介绍了浙江省IPv6创新实验室的成立背景与工作进展,以及阿里云在IPv6规模化部署、DNS产品能力升级等方面的成果。此外,阿里云通过端云融合场景下的企业级DNS服务,帮助企业构建稳定安全的DNS系统,确保企业在数字世界中的稳定运行。最后,文章强调了全链路极致高可用的企业DNS解决方案,为全球互联网基础资源的创新提供了中国标准和数字化解决方案。
|
12月前
|
存储 搜索推荐 数据挖掘
投资回报与预算考量:CRM产品报价全解析
在当今竞争激烈的商业环境中,CRM系统已成为企业不可或缺的工具。它能有效管理客户信息、提升销售效率、优化服务并增强忠诚度。选择合适的CRM需考虑功能、用户数量、定制需求、技术支持及数据安全等因素,确保在预算内实现最大价值。企业在挑选时应明确需求、比较产品、评估长期回报,并考虑扩展性。最适合自己业务需求的CRM才是最佳选择。
|
存储 关系型数据库 MySQL
基于案例分析 MySQL 权限认证中的具体优先原则
【10月更文挑战第26天】本文通过具体案例分析了MySQL权限认证中的优先原则,包括全局权限、数据库级别权限和表级别权限的设置与优先级。全局权限优先于数据库级别权限,后者又优先于表级别权限。在权限冲突时,更严格的权限将被优先执行,确保数据库的安全性与资源合理分配。
208 4
|
测试技术 UED 开发者
软件测试的艺术:从代码审查到用户反馈的全景探索在软件开发的宇宙中,测试是那颗确保星系正常运转的暗物质。它或许不总是站在聚光灯下,但无疑是支撑整个系统稳定性与可靠性的基石。《软件测试的艺术:从代码审查到用户反馈的全景探索》一文,旨在揭开软件测试这一神秘面纱,通过深入浅出的方式,引领读者穿梭于测试的各个环节,从细微处着眼,至宏观视角俯瞰,全方位解析如何打造无懈可击的软件产品。
本文以“软件测试的艺术”为核心,创新性地将技术深度与通俗易懂的语言风格相结合,绘制了一幅从代码审查到用户反馈全过程的测试蓝图。不同于常规摘要的枯燥概述,这里更像是一段旅程的预告片,承诺带领读者经历一场从微观世界到宏观视野的探索之旅,揭示每一个测试环节背后的哲学与实践智慧,让即便是非专业人士也能领略到软件测试的魅力所在,并从中获取实用的启示。

推荐镜像

更多