新一代HTAP数仓,AnalyticDB for PostgreSQL 6.0版正式商业化!

简介: 本文作者:陆封,阿里云数据库资深技术专家

AnalyticDB for PostgreSQL (简称:ADB PG;中文名称:分析型数据库PostgreSQL版)为基于PostgreSQL内核的MPP数据仓库服务。其具备完备的SQL语法功能,广泛支持主流的BI、ETL工具,可以同阿里云RDS及大数据MaxCompute 无缝集成,实现快速构建云上数据仓库服务。同时广泛兼容PostgreSQL扩展生态,支持基于PostGIS 的地理空间数据分析,通过MADLib 机器学习库实现 Machine Learning in MPP。

日前,AnalyticDB for PostgreSQL 6.0版本正式商用化。6.0版本较之前 4.3 版本在引擎内核及高吞吐事务能力上有质的提升,全面支持在线实时数仓服务,而且提供HTAP混合负载能力。

AnalyticDB for PostgreSQL 6.0 首月体验仅需1元
点击下方快来体验吧!https://promotion.aliyun.com/ntms/act/adbrdsdatawarnhouseshangyehua.html?wh_ttid=pc


1、ADB PG 6.0技术解析

1、OLTP 高吞吐能力构筑

ADB PG 支持分布式事务及标准数据库隔离级别 (RC、RR、SI)。在share-nothing场景下,可以保证全局一致的节点间数据可见性,即对MPP有全局的更新或者写入操作时,并发查询看到的是一致的数据版本。下图展示是如何实现。
f4be9740667991e31b59dd1132f6efd24a79c440.png

ADB PG 可以实现分布式下的高并发事务处理性能,这有赖于两个关键机制,MVCC及全局死锁检测。
MVCC为单机数据库经典的事务并行机制,通过数据的多版本管理,可以实现对一条数据进行并发的读和写操作。如果对一条数据进行并发更新操作时,单机引擎会通过行级锁LOCK机制来保证其执行的串行性和事务一致性。

然而在分布式场景下,单节点下的行级锁可能会导致分布式死锁,为解决这个问题,6.0版本实现了高性能的分布式死锁检测机制,保证分布式条件下,也可以支持高并发的事务操作。

通过内核引擎的优化,以及分布式下并发执行的优化,ADB PG 6.0版本的 OLTP 性能有质的提升,标准TPC-C Benchmark 在保证分布式一致性下,可以支持 200k tpmC。TPC-B SELECT 达到 200k QPS,INSERT 50k tps,UPDATE,200k tps;DELETE 2000 tps。从而实现一个实例,一份数据,即可以执行高性能查询,也支持高吞吐事务处理。

同时通过上述优化,实时高并发数据写入更新能力也有大幅提升,DTS 实时同步性能 RPS 指标提升 3倍。

2、OLAP 分析性能优化

复制表支持:既有AnalyticDB for PG版本支持数据按两种方式在MPP节点间分布,即按HASH分布,或者RANDOM随机均分。在 6.0版本中,对于数据仓库中小数据量的维度表,引入了新的数据分布方式,即复制表(REPLICATED)。从而对于很多复杂分析和多表关联处理时,通过对小表指定为复制分布,减少节点间的数据传输,即减少执行计划中的数据MOTION算子。

其它分析新特性:除复制表外,6.0版本还引入了多项对分析性能有显著提升的特性,包支持ZSTD高性能压缩,支持列级别的权限控制,支持SCHEMA的权限控制;支持高性能的JSONB数据格式等。

2、ADB PG 6.0版本适合的场景

1、实时数据仓库服务

传统大数据方案,往往将ETL作业和交互查询部署在两套异构系统里,数据需要同步,且无法做到实时分析。在线数据仓库较传统的 T+1数据仓库,可以更好的体现数据的实时性。

这里需要具备两个能力:第一,生产系统数据可以在一分钟内实时同步进入分析数仓;第二,数仓同时具备ETL批处理能力和高性能交互分析能力。
阿里云DTS服务支持 RDS MySQL/PostgreSQL等数据源秒级别延迟同步到ADB PG内。ADB PG 6.0版本的DTS写入性能较4.3版本有3倍提升,可以支持每秒同步记录RPS 5万条。

同时 ADB PG 通过多种存储机制(列存表,行存表),多种索引机制(B-Tree,BitMap,Hash),多种表分区机制(Range Table Parition,List Table Partition),实现即支持复杂的 ETL 任务,也支持高性能即时查询,同时广泛支持第三方的BI报表或ETL调度工具。
e7ab2013eab0a844a84a00a3fdabe34b8919ae0d.png

2、HTAP 混合负载服务

Gartner在2014年正式提出HTAP场景概念,当前主流数据库中,真正具备HTAP能力的只有Oracle,其支持对TB级别数据,进行高性能事务处理和数据分析查询的混合负载。如上面介绍AnalyticDB for PostgreSQL,可以同时支持OLTP和OLAP两种业务操作,同时采用分布式架构,可以将HTAP能力水平扩展,支持大数据量下的混合负载。

除OLTP和OLAP性能外,为保证混合负载的稳定性,ADB PG支持完备的负载管理能力,如下所示,通过资源队列,可以支持在线交易部分,和在线查询部分得到高优先级的CPU响应。

0aef0cb46c8c4cd860f16d5796bd99ae8817b142.png

3、未来展望

ADB PG在11月份信通院举行的分析型数据库测试认证上,通过了100TB TPC-DS大规模性能测试认证,同时共计640个MPP并行计算节点,超过之前MPP认证最高500节点记录。证明了 MPP 这种集群数据库产品,具备更优秀的“大”数据处理能力。

阿里云数据库团队持续投入ADB PG的内核竞争力构建,全新的向量化引擎将在 2020年Q1发布,较标准PostgreSQL引擎,计算性能提升5倍。同时为了实现更好的高吞吐能力,将在Q2发布多协调节点能力,OLTP的高并发吞吐能力将实现线性扩展,支持百万级别的 TPS 吞吐。

AnalyticDB for PostgreSQL 6.0
首月体验仅需1元
点击下方快来体验吧!https://promotion.aliyun.com/ntms/act/adbrdsdatawarnhouseshangyehua.html?wh_ttid=pc

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
人工智能 关系型数据库 OLAP
光云科技 X AnalyticDB:构建 AI 时代下的云原生企业级数仓
AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,实时物化视图、租户资源隔离、冷热分离等企业级特性,很好的解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案,借助大模型和云计算为商家赋能。
1080 17
|
10月前
|
存储 人工智能 关系型数据库
阿里云AnalyticDB for PostgreSQL 入选VLDB 2025:统一架构破局HTAP,Beam+Laser引擎赋能Data+AI融合新范式
在数据驱动与人工智能深度融合的时代,企业对数据仓库的需求早已超越“查得快”这一基础能力。面对传统数仓挑战,阿里云瑶池数据库AnalyticDB for PostgreSQL(简称ADB-PG)创新性地构建了统一架构下的Shared-Nothing与Shared-Storage双模融合体系,并自主研发Beam混合存储引擎与Laser向量化执行引擎,全面解决HTAP场景下性能、弹性、成本与实时性的矛盾。 近日,相关研究成果发表于在英国伦敦召开的数据库领域顶级会议 VLDB 2025,标志着中国自研云数仓技术再次登上国际舞台。
1152 1
|
分布式计算 Serverless OLAP
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
Hologres推出Serverless型实例,支持按需计费、无需独享资源,适合新业务探索分析。高性能查询内表及MaxCompute/OSS外表,弹性扩展至512CU,性能媲美主流开源产品。新增Dynamic Table升级、直读架构优化及ChatBI解决方案,助力高效数据分析。
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
|
SQL DataWorks 关系型数据库
DataWorks+Hologres:打造企业级实时数仓与高效OLAP分析平台
本方案基于阿里云DataWorks与实时数仓Hologres,实现数据库RDS数据实时同步至Hologres,并通过Hologres高性能OLAP分析能力,完成一站式实时数据分析。DataWorks提供全链路数据集成与治理,Hologres支持实时写入与极速查询,二者深度融合构建离在线一体化数仓,助力企业加速数字化升级。
|
SQL 存储 JSON
实时数仓 Hologres 产品介绍:一体化实时湖仓平台
本次方案的主题是实时数仓 Hologres 产品介绍:一体化实时湖仓平台,介绍了 Hologres 湖仓存储一体,多模式计算一体、分析服务一体和 Data+AI 一体四方面一体化场景,并对其运维监控方面及客户案例进行一定讲解。 1. Hologres :面向未来的一体化实时湖仓 2. 运维监控 3. 客户案例 4. 总结
1029 14
|
存储 SQL 运维
Hologres OLAP场景核心能力介绍-2024实时数仓Hologres线上公开课02
本次分享由Hologres产品经理赵红梅(梅酱)介绍Hologres在OLAP场景中的核心能力。内容涵盖OLAP场景的痛点、Hologres的核心优势及其解决方法,包括实时数仓分析、湖仓一体加速、丰富的索引和查询性能优化等。此外,还介绍了Hologres在兼容PG生态、支持多种BI工具以及高级企业级功能如计算组隔离和serverless computing等方面的优势。最后通过小红书和乐元素两个典型客户案例,展示了Hologres在实际应用中的显著效益,如运维成本降低、查询性能提升及成本节省等。
590 7
|
存储 SQL 缓存
AnalyticDB 实时数仓架构解析
AnalyticDB 是阿里云自研的 OLAP 数据库,广泛应用于行为分析、数据报表、金融风控等应用场景,可支持 100 trillion 行记录、10PB 量级的数据规模,亚秒级完成交互式分析查询。本文是对 《 AnalyticDB: Real-time OLAP Database System at Alibaba Cloud 》的学习总结。
528 1
|
SQL 消息中间件 OLAP
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
409 1
|
运维 Cloud Native 关系型数据库
云原生数据仓库AnalyticDB产品使用合集之PostgreSQL版是否直接支持实时物化视图
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
428 3

热门文章

最新文章

相关产品

  • 云原生数据库 PolarDB
  • 推荐镜像

    更多