丰富的线上&线下活动,深入探索云世界
做任务,得社区积分和周边
资深技术专家手把手带教
技术交流,直击现场
让创作激发创新
海量开发者使用工具、手册,免费下载
极速、全面、稳定、安全的开源镜像
开发手册、白皮书、案例集等实战精华
热门
阿里云认证体系人才圈
1
回答
分区表支持多种分区管理操作,包括新增分区,删除分区,重命名分区,清空截断分区,交换分区,分裂分区等。
以上内容摘自《阿里云认证的解析与实战-数据仓库ACP认证》电子书,点击https://developer.aliyun.com/ebook/download/7807 可下载完整版
支持表按区间或者值进行分区,自动分区裁剪:
• 范围(RANGE)分区:基于一个数值型范围划分数据,例如按照日期区间定义。
• 值(LIST)分区:基于一个值列表划分数据,例如按照城市属性定义。
• 多级分区表:上述两种类型的多级组合,最多支持三级分区。
元数据存放在本地系统表,数据存放在OSS,支持的数据格式包括ORC,Parquet,CSV,JSON,支持表分区,其中ORC 和Parquet 支持列过滤和谓词下推,提升分析性能。
• 选型因素:性能维度
ü 资源(CPU 和MEM):高并发场景,建议选择单节点大的计算规格。
ü 存储介质:高性能场景,建议选择ESSD 或SSD 存储介质。
• 选型因素:容量维度
ü MPP 架构,计算能力及存储容量,随节点数线性增加。
• 选择数据分布均匀的列
• 选择经常需要JOIN 的列作为分布键
• 选择高频率查询条件列作为分布键
• 默认表的主键为分布键
• 分布键列数:分布键可以被定义为一个活多个列
支持行存表、列存表和外表。
ADB PG 属于对象-关系型数据库,,对象-关系型则进一步支持用户自定义对象和它的属性,包括数据类型、函数、操作符,域和索引,甚至复杂的数据结构也可以被创建,存储和检索。
ADB PG 属于对象-关系型数据库,数据库的对象通常包括:表、视图、函数、序列、索引、分区子表、外部表等。
ADB PG 属于对象-关系型数据库。
• Segment 是负责具体的SQL 执行和数据存储节点。
• 执行引擎通过向量化和及时编译(JIT)等技术,相比传统逐行计算的火山模型获得数倍性能提升。
• 数据和索引(Data&Index)支持行存表,列存表,和外表以及相应索引。
• Compute Node 包含了组Segment。
• 部署形态上可以是物理机,VM 或者容器。
• 负责客户端连接协议层接入,认证和鉴权, SQL 解析,重写,优化,和执行分发协调。
• 全局事务管理器(Global Transaction Manager)负责全局事务ID、快照生成和分布式事务管理。
• 全局元数据目录(Global Catalog)则记录了用户,库,表,视图,索引,分布分区等数据库对象的元数据信息。
• 通过每条INSERT 或者REPLACE 语句写入的数据行数大于1000 行,但写入的总数据量不宜太大,不超过16MB。
• 通过批量打包方式写入数据时,单个批次的写入延迟相对会高一些。
• 写入报错时,需要做重试确保数据被写入,重试导致的数据重复可以通过表的主键来消除。
AnalyticDB PostgreSQL版的架构主要包含Master Node和Compute Node两大组件,中间通过Interconnect 进行互联通信和数据交换传输。
支持分布式事务,保证强一致性,支持SI/RC 隔离级别。
高可靠存储引擎:本地数据双副本、支持行存储/列存储、具备高吞吐导入/导出。
计算节点水平扩展:计算任务全并行执行、新一代向量化计算引擎(包括Laser引擎和PG 计算引擎)、非结构化数据检索。
多活协调节点:主要负责Cascade 架构SQL 优化器和全局分布式事务管理。
百万TPS 批量导入,几十QPS 复杂分析查询。
所有数据保存在OSS 上,计算双副本,可用性99.9%。
采用云原生架构,存储和计算完全分离,支持更大存储量,存储成本低,支持秒级扩缩容。适合批量导入、低并发,复杂ETL分析场景。
百万TPS 实时写入,上百QPS 查询。
支持单副本和双副本模式,数据保存在云盘,可用性99.9%。
兼容Greenplum/PostgreSQL。支持2c、4c 和8c 规格,不同规格之间支持在线升降配、秒级切换,不影响业务运行,适合数据实时写入(DTS),高并发、实时分析场景。
预留模式
弹性模式
ADB PG 支持主流工具,包括阿里云提供DataWorks、DTS、DMS、数据集成、 Quickbi、DataV 等工具以及第三方Kettle、DSG 等工具。
AnalyticDB PostgreSQL 版支持如下备份特点:
• PITR 备份恢复
• RPO<10min
• 支持差异化全量备份
• 支持增量备份
• 支持分布式一致性恢复
• 支持表级逻辑备份
PL/pgSQL过程语言
CBO优化器
资源负载管理
备份恢复方式丰富
支持丰富生态
• 性能强劲:TPC-H 评测全球第一,超过90%的读写性能水平扩展比。
• 弹性:支持水平扩容,分布式弹性架构,PB 级数据存储与分析。
• 遵循PG/GP:业界最主流数仓协议,兼容主流ETL/BI/可视化等生态工具。
• 简单易用:经历大规模验证,对标传统商业数仓的企业级特性。
ADB PG 兼容业内主流数仓架构方案,支持ETL 离线处理,支持在线交互分析。通过高性能计算引擎及实时同步方案,支持在线数据随机探索,实时同步分析。
通过PostGIS 插件支持地理信息数据分析;内置100+机器学习算法库,实现数据智能探索;高性能向量检索算法,支持视频/图像检索以图搜图。
可支持SQL 2003,部分兼容Oracle 语法,支持PL/SQL 存储过程,OLAP 窗口函数,视图等,完备功能和生态,实现应用快速适配、或迁移。
飞天平台基于阿里多年大规模集群系统构筑经验打造,智能硬件管理,故障监控诊断自恢复,支持MPP 数据库实现复杂集群系统高可靠,自运维。
MPP 水平扩展架构,PB 级数据查询秒级响应;向量化计算,及列存储智能索引,领先传统数据库引擎性能3x;新一代SQL 优化器,实现复杂分析语句免调优。
PB级数据实时响应能力;
稳定可靠、简化运维
SQL兼容性强
数据多模分析。
云原生数据仓库AnalyticDB PostgreSQL 版(ADB PG)是阿里云自研高性能、海量扩展数据仓库服务,兼容部分Oracle/Teradata 语法生态,应用于阿里巴巴集团内部电商、物流、文娱、广告等业务部门,服务于阿里云的金融、政企、互联网等各行业用户,支持快速构建新一代云化数据仓库服务。
可以使用DMS(Data Management Service)、客户端(Navicat for MySQL、DBeaver、DBVisualizer、SQL WorkBench/J)、业务系统中的程序代码或者MySQL 命令行工具连接ADB 集群,然后通过CREATE DATABASE 语句创建数据库。
DMS 是阿里云提供的图形化数据管理工具,可用于管理关系型数据库和NoSQL 数据库,支持数据管理、SQL 操作、数据方案(数据导入/导出、数据库克隆等)、性能与优化、安全审计等功能。
云原生数据仓库AnalyticDB MySQL版支持通过DMS(Data Management Service)、MySQL 客户端(Navicat for MySQL、DBeaverDBVisualizer、SQL WorkBench/J)、BI 可视化工具、或者MySQL 命令行工具连接ADB 集群。用户也可以在应用程序中通过配置集群连接地址、端口、数据库账号等信息连接AnalyticDB MySQL 集群。
• 登录云原生数据仓库AnalyticDB MySQL 控制台。
• 在页面左上角,选择集群所在地域。
• 在左侧导航栏,单击集群列表。
• 在数仓版(3.0)页签中,单击目标集群ID。
• 在左侧导航栏单击数据安全。
• 在白名单设置页面,单击default 白名单分组右侧的修改。也可以单击创建。
• 白名单分组创建自定义分组。
• 在修改白名单分组对话框中,删除默认IP 127.0.0.1,填写需要访问该集群的IP地址或IP 段,然后单击确定。
设置白名单不会影响AnalyticDB MySQL 集群的正常运行。设置白名单后,新的白名单将于1 分钟后生效。
白名单可以让AnalyticDB MySQL 集群得到高级别的访问安全保护,建议定期维护白名单。
1) 登录云原生数据仓库AnalyticDB MySQL 控制台
2) 在页面左上角,选择集群所在地域
3) 在左侧导航栏,单击集群列表
4) 根据集群类型,选择数仓版(3.0)
5) 单击目标集群ID
6) 在左侧导航栏单击账号管理
7) 在账号管理页面右上角,单击创建高权限账号
8) 在创建高权限账号面板,设置相关参数
9) 单击确定即可
• 只能通过SQL 语句进行创建,创建方式,请参见CREATE USER。
• 一个集群最多可以创建256 个普通账号。
• 需要手动为普通账号授予指定数据库的权限,详情请参见GRANT 和权限模型。
• 普通账号不能断开其他普通账号的数据库连接。
• 只能通过控制台创建和管理高权限账号。
• 一个集群中只能创建一个高权限账号,高权限账号可以管理所有普通账号和数据库。
• 使用高权限账号可以断开任意普通账号的连接。
• 开放了更多权限,可满足个性化和精细化的权限管理需求,例如可按用户分配不同表的查询权限等。
• AnalyticDB MySQL 版中的高权限账号相当于MySQL 中的root 账号。
AnalyticDB MySQL 版支持高权限账号和普通账号这两种数据库账号。
ü 按量付费:属于后付费,即按小时扣费。适合短期需求,用完可以立即释放集群,节省费用。
ü 包年包月:属于预付费,即在新建集群时需要支付费用。适合长期需求,价格比按量付费更实惠,且购买时长越长,折扣越多。
1) 登录云原生数据仓库AnalyticDB MySQL 控制台。
2) 在页面左上角,选择集群所在地域。
3) 在左侧导航栏,单击集群列表。
4) 在数仓版(3.0)页签中,单击右上角创建集群。
5) 选择商品类型:
6) 设置参数后,单击右下角立即购买。
7) 根据选择的商品类型,完成后续购买操作。
•已注册阿里云账号。
•若您要创建按量付费的集群,请确保您的阿里云账号的余额大于等于100元。
阿里云智能认证体系针对不同产品类别、用户成长阶段、生态岗位,精心打造各项认证考试,已成为泛云计算领域行业人才技能标准。阿里云认证圈子作为泛云生态人才交流绿洲,将持续带来丰富多样的认证活动、行业资讯、学习交流机会,希望大家都能加入一起玩!诚邀您加入阿里云认证官方学习福利群:33715706。
阿里云认证官网: https://edu.aliyun.com/certification
阿里云开发者社区官网: https://developer.aliyun.com