《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(上)——一、产品概述

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(上)——一、产品概述

1. 产品简介

 

云原生数据仓库AnalyticDB PostgreSQL版ADB PG是阿里云自研高性能、海量扩展数据仓库服务,兼容部分Oracle/Teradata语法生态,应用于阿里巴巴集团内部电商、物流、文娱、广告等业务部门,服务于阿里云的金融、政企、互联网等各行业用户,支持快速构建新一代云化数据仓库服务。

 

PB级数据实时响应能:MPP水平扩展架构,PB级数据查询秒级响应;向量化计算,及列存储智能索引,领先传统数据库引擎性能3x;新一代SQL优化器,实现复杂分析语句免调优。

稳定可靠、简化运维:飞天平台基于阿里多年大规模集群系统构筑经验打造,智能硬件管理,故障监控诊断自恢复,支持MPP数据库实现复杂集群系统高可靠,自运维。

SQL兼容性:可支持SQL 2003,部分兼容Oracle语法,支持PL/SQL存储过程,OLAP窗口函数,视图等,完备功能和生态,实现应用快速适配、或迁移。

数据多模分析:通过PostGIS插件支持地理信息数据分析;内置100+机器学习算法库,实现数据智能探索;高性能向量检索算法,支持视频/图像检索以图搜图。

 

 

2. 发展历程

 

2017年,ADB PG(原HDB)诞生,内核PG 8.2。

2018年,ORCA优化器稀疏和聚簇索引,支持JSON数据类型OSS外表。

2019年,内核升级PG9.4,向量执行引擎1.0多MASTER,RBO优化器增强,支持高维向量检索,通过信通院&信创认证。

2020年,云原生升级,备份恢复能力增强包含物理备份和表逻辑备份,外表联邦分析,多维排序,向量执行引擎,通过TPC-H评测获得全球第一。

2021年,副本多活、分层存储、计算存储分离、HTAP增强、行列混存。

 

3. 产品定位

 

ADB PG兼容业内主流数仓架构方案,支持ETL离线处理,支持在线交互分析。通过高性能计算引擎及实时同步方案,支持在线数据随机探索,实时同步分析。

 

如图

RDS MySQL可以通过DTS入库。

流式计算Kafka/Flink可以通过Copy/Insert方式入库。

批量加载可以通过第三方工具Kettle/DSG。

OSS/MaxCompute可以通过Dataworks数据集成或者外表的方式导入。

数据开发作业调度支持DMS、Dataworks、Dataphin。

 

image.png

 

功能完备:基于PostgreSQL内核,SQL高度兼容Teradata/Oracle。

生态完备:与阿里云数仓开发平台Dataworks,数据中台Dataphin,数据同步工具DTS等无缝集成;支持业内主流第三方工具。

 

4. 产品特点和优势

 

性能强劲:TPC-H评测全球第一,超过90%的读写性能水平扩展比。

弹性:支持水平扩容,分布式弹性架构,PB级数据存储与分析。

遵循PG/GP:业界最主流数仓协议,兼容主流ETL/BI/可视化等生态工具。

简单易用:经历大规模验证,对标传统商业数仓的企业级特性。

 

5. 核心功能

 

1) PL/pgSQL过程语言

 

自定义函数&存储过程如下:

CREATE [OR REPLACE] {FUNCTION | STORED PROCEDURE} name
([[argmode] [argname] argtype [ { DEFAULT|=} default_expr][,...]])
[RETURNS rettype
 |RETURNS TABLE ( column_name column_type [, ...]) ]
LANGUAGE langname
WINDow
IMMUTABLE | STABLE |VOLATILE | [NOT] LEAKPROOF
| CALLED ON NULL INPUT | RETURNS NULL ON NULL INPUT | STRICT
[EXTERNAL] SECURITY INVOKER | [EXTERNAL] SECURITY DEFINER
| EXECUTE ON { ANY | MASTER | ALL SEGMENTS }
| COST execution_cost
SET configuration_parameter { TO value |= value| FROM CURRENT }
As definition
As'obj file,Link symbol'...
[WITH({DESCRIBE = describe_function
 }[, ...])}

  

2) CBO优化器

 

新一代cascade框架的SQL优化器,面向全并行执行架构,代价优化CBO和规则优化RBO相结合,实现复杂SQL免调优。

 

Top-Down路径搜索框架,搜索和路径选择更全面精准,避免出现局部查询路径最优解。

子查询自动改写为分布式JOIN,实现并行计算,规避手工改写调优。

SQL优化阶段定义动态分区裁剪,即支持确定性过滤条件,也支持参数化的过滤条件,减少I/O。

 

3) 资源负载管理

 

支持自定义执行队列,根据用户角色,其执行任务进入对应资源管控队列。任务队列支持设定:

 

并行执行任务数;

CPU优先级;

内存资源上限。

 

示例

如下图,用户可以自定义三个执行队列

 

image.png

 

ETL队列:赋予资源获取最低优先级。

BI报表队列:赋予资源获取最高优先级。

数据探索队列:赋予资源获取中间优先级。

 

4) 备份恢复方式丰富

 

AnalyticDB PostgreSQL版支持如下备份特点:

 

PITR备份恢复

RPO<10min

支持差异化全量备份

支持增量备份

支持分布式一致性恢复

支持表级逻辑备份

 

image.png

 

5) 支持丰富生态

 

ADB PG支持主流工具,包括阿里云提供的DataWorks、DTS、DMS、数据集成、Quickbi、DataV等工具以及第三方Kettle、DSG等工具。

 

image.png

 

6. 产品选型

 

ADB PG产品系列有两种:预留模式和弹性模式。

 

1) 预留模式

 

特点:兼容Greenplum/PostgreSQL。支持2c、4c和8c规格,不同规格之间支持在线升降配、秒级切换,不影响业务运行,适合数据实时写入(DTS),高并发、实时分析场景。

性价比:百万TPS实时写入,上百QPS查询。

可用性:支持单副本和双副本模式,数据保存在云盘,可用性99.9%。

 

2) 弹性模式

 

特点:采用云原生架构,存储和计算完全分离,支持更大存储量,存储成本低,支持秒级扩缩容。适合批量导入、低并发,复杂ETL分析场景。

性价比:百万TPS批量导入,几十QPS复杂分析查询。

可用性:所有数据保存在OSS上,计算双副本,可用性99.9%。

 

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
1天前
|
监控 Cloud Native 持续交付
云原生时代的微服务架构实践
【9月更文挑战第5天】随着云计算技术的飞速发展,云原生已成为现代软件开发的重要趋势。本文将深入探讨在云原生环境下,如何有效实施微服务架构,包括服务拆分、容器化部署、持续集成与交付等关键环节。通过具体案例,我们将展示如何在云平台上构建弹性、可扩展的微服务应用,并讨论在此过程中可能遇到的挑战及解决策略。
|
2天前
|
Cloud Native 持续交付 Docker
云原生技术实践:Docker容器化部署教程
【9月更文挑战第4天】本文将引导你了解如何利用Docker这一云原生技术的核心工具,实现应用的容器化部署。文章不仅提供了详细的步骤和代码示例,还深入探讨了云原生技术背后的哲学,帮助你理解为何容器化在现代软件开发中变得如此重要,并指导你如何在实际操作中运用这些知识。
|
1天前
|
运维 Cloud Native 持续交付
云原生时代下的微服务架构实践
在数字化转型的浪潮中,云原生技术以其高效、灵活的特性成为企业IT架构升级的首选。本文将通过深入浅出的方式,探讨云原生环境下微服务架构的设计原则、关键技术及实施策略,旨在为读者提供一条清晰的技术路线图,帮助理解和掌握在云平台上构建和管理微服务的实用方法。
|
17小时前
|
监控 Cloud Native 安全
云原生时代的微服务架构实践
【9月更文挑战第6天】在数字化转型的浪潮中,云原生技术以其灵活性、可扩展性成为企业架构升级的首选。本文将通过浅显易懂的语言和生动的比喻,带你一探微服务架构的世界,从理论到实践,逐步揭示如何利用云原生技术构建高效、可靠的微服务系统,同时穿插代码示例,为有志于云原生领域发展的技术人员提供一份实操指南。
11 2
|
5天前
|
运维 Cloud Native Devops
云原生时代的DevOps实践:自动化、持续集成与持续部署
【9月更文挑战第3天】未来,随着人工智能、大数据等技术的不断融入,DevOps实践将更加智能化和自动化。我们将看到更多创新的技术和工具涌现出来,为软件开发和运维带来更多便利和效益。同时,跨团队协作和集成也将得到进一步加强,推动软件开发向更加高效、可靠和灵活的方向发展。
|
7天前
|
Kubernetes Cloud Native Docker
探索云原生技术:从容器化到微服务的实践之旅
在数字时代的浪潮中,云原生技术如同一艘航船,带领企业乘风破浪。本文将带你领略云原生的奥妙,从容器化技术的基石Docker讲起,到Kubernetes集群管理的航海术,再到微服务的架构设计,我们将一起构建、部署并运行一个简单的云原生应用。准备好,让我们启航!【8月更文挑战第31天】
|
7天前
|
Kubernetes Cloud Native 调度
云原生技术实践:构建高效、可扩展的微服务架构
本文深入探讨了云原生技术在现代软件架构中的应用,特别是如何利用这些技术构建高效、可扩展的微服务架构。文章首先介绍了云原生的基本概念和优势,然后通过一个实际案例,展示了如何使用Kubernetes和Docker等工具来部署和管理微服务。最后,文章还讨论了云原生技术面临的挑战和未来的发展趋势。 【8月更文挑战第31天】
|
7天前
|
运维 Kubernetes 监控
自动化运维:使用Python脚本实现系统监控云原生技术实践:Kubernetes在现代应用部署中的角色
【8月更文挑战第31天】在现代IT运维管理中,自动化已成为提高效率和准确性的关键。本文将通过一个Python脚本示例,展示如何实现对服务器的自动监控,包括CPU使用率、内存占用以及磁盘空间的实时监测。这不仅帮助运维人员快速定位问题,也减轻了日常监控工作的负担。文章以通俗易懂的语言,逐步引导读者理解并实践自动化监控的设置过程。 【8月更文挑战第31天】本文旨在探索云原生技术的核心—Kubernetes,如何革新现代应用的开发与部署。通过浅显易懂的语言和实例,我们将一窥Kubernetes的强大功能及其对DevOps文化的影响。你将学会如何利用Kubernetes进行容器编排,以及它如何帮助你的
|
7天前
|
Kubernetes Cloud Native Docker
探索云原生技术:从容器化到微服务的实践之旅
【8月更文挑战第31天】在数字时代的浪潮中,云原生技术如同一艘航船,带领企业乘风破浪。本文将带你领略云原生的奥妙,从容器化技术的基石Docker讲起,到Kubernetes集群管理的航海术,再到微服务的架构设计,我们将一起构建、部署并运行一个简单的云原生应用。准备好,让我们启航!
|
7天前
|
运维 Kubernetes Cloud Native
拥抱云原生:Kubernetes 在现代应用部署中的实践
【8月更文挑战第31天】在数字化转型的浪潮中,云原生技术成为推动企业创新和效率提升的关键力量。本文将深入探讨如何利用 Kubernetes,这一强大的容器编排工具,来部署和管理现代应用。我们将从基础架构搭建开始,一步步引导您配置集群,并通过实际代码示例演示如何部署一个简单的应用。无论您是云原生新手还是希望深化理解,这篇文章都将为您提供实操经验和理论知识的融合之旅。

热门文章

最新文章

下一篇
DDNS