从OLAP走向HTAP的全能手,云原生数据仓库AnalyticDB通过信通院双料认证

简介: 近日,在中国信息通信研究院(下文简称信通院)组织的第十批大数据产品能力评测圆满结束。由来自科研院所、高校、知名企业组织的评委会,对60余款产品进行了评测。

阿里云云原生数据仓库AnalyticDB,顺利通过了分布式事务型数据库基础能力和性能专项评测。这也是自去年通过了信通院组织的分布式分析型数据库基础能力和性能专项评测后,在事务型领域取得的又一佳绩。AnalyticDB也因此成为目前国内唯一一款通过分析型、事务型两类场景的分布式数据库产品,一款真正意义上的HTAP型产品。

1、从OLTP/OLAP走向HTAP

在传统数据使用场景中,通常可划分为两个领域:联机事务处理(简称:OLTP)和联机实时分析(简称:OLAP)。前者是事件驱动、面向应用的。其特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作的快速响应。例如银行类、电子商务类的交易系统就是典型的OLTP系统。

后者OLAP是面向数据分析的,也称为面向信息分析处理过程。它使分析人员能够迅速、一致、交互地从各个方面观察信息,以达到深入理解数据的目的。其特征是应对海量数据,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。例如数据仓库是其典型的OLAP系统。两者简单对比如下:
图片 1.jpg

面对上述复杂多变场景,是由单一平台还是多平台来处理呢?一般来说,专有系统性能更好,因此应采用多平台模式。但随着近年来软硬件技术发展和需求变化,未来整合的趋势更为明显。通用化集成数据平台将能满足绝大多数用户的场景,只有极少数企业需要专有系统来实现其特殊需求。

对于融合联机事务处理和联机实时分析的平台方案具备下面优点:

通过数据整合避免信息孤岛,便于共享和统一数据管理。

基于SQL的数据集成平台可提供良好的数据独立性,使应用能专注于业务逻辑,不用关心数据的底层操作细节。

集成数据平台能提供更好的实时性和更全的数据,为业务提供更快更准的分析和决策。

能够避免各种系统之间的胶合,企业总体技术架构简单,不需要复杂的数据导入/导出等,易于管理和维护。

便于人才培养和知识共享,无须为各种专有系统培养开发、运维和管理人才。

针对上面的融合趋势,HTAP的概念近些年来火热起来。HTAP数据库(Hybrid Transaction and Analytical Process,混合事务和分析处理),是2014年Gartner的一份报告中使用混合事务分析处理(HTAP)一词描述新型的应用程序框架,以打破OLTP和OLAP之间的隔阂,既可以应用于事务型数据库场景,亦可以应用于分析型数据库场景。

这种架构具有显而易见的优势:避免繁琐且昂贵的ETL操作,还可更快地对最新数据分析。这种快速分析数据的能力将成为未来企业的核心竞争力之一。
22222.jpg

2、AnalyticDB产品介绍

此次通过事务型、分析型双料认证的产品—云原生数据仓库AnalyticDB,正是一款真正意义上的HTAP产品。产品本身基于PostgreSQL内核构建的分布式数据库,支持ANSI SQL , 兼容部分Oracle语法,支持存储过程、触发器、用户自定义函数UDF等丰富语法功能,其水平扩展架构,即支持高吞吐的分布式事务处理,也支持高性能的复杂查询分析,是阿里云提供的高性能分布式HTAP数据库。

作为一款分布式数据库产品,扩展能力尤为重要。AnalyticDB产品至今还保持着国内分布式数据库大规模评测最高纪录(640节点)。在性能表现上,除通过信通院分布式相关性能评测外,AnalyticDB还于上月通过标准TPC组织的TPC-H 30TB 评测认证,取得性能第一的佳绩,成为国内首个通过国际 TPC-H 认证的产品。

云原生数据仓库AnalyticDB,经过多年积累完善趋于成熟,已服务于阿里经济体及众多外部企业用户,涵盖金融、政府、零售、互联网、教育等数百家客户。

66666666.jpg

AnalyticDB PostgreSQL版基于PostgreSQL内核,分为Master协调节点和Segment数据节点。Master 负责SQL的解析和优化,并生成分布式执行计划,发送给segment节点并行执行。Master上可分为一个Main Master和多个Secondary Master,其接受客户端请求,并进行SQL的解析和优化。

同时Main Master构建了GTM全局事务管理模块,维护全局统一的事务ID和当前活跃事务列表,从而实现严格的SERIALIZABLE、READ COMMITTED 隔离级别 ,保证各个节点间事务的强一致性。Master节点含有Cascade架构SQL优化器,将RBO和CBO统一结合,同时可自动优化改写关联子查询等复杂SQL语句,实现计算按最优的分布式计划执行,规避复杂SQL的手工调优改写。

计算节点 Segment可水平扩展,支持多副本存储。表支持按行或者按列进行数据存储。当面向交易场景时,行存储提供高吞吐的事务处理能力,面向分析场景时,列存储及多种索引机制等,提供高性能的聚合分析,以及数据高压缩比。此外在既有PostgreSQL的计算引擎基础上,开发了全新的高性能向量化计算引擎laser。

此外,AnalyticDB PostgreSQL版在既有PostgreSQL的计算引擎基础上,开发了全新的高性能向量化计算引擎laser。通过算法设计,消除了传统引擎火山模型、碎片化内存分配、冗余逻辑等带来的性能问题,将CPU资源用于核心计算;采用LLVM进行自动代码生成(CodeGen),提升表达式计算性能、精简计算逻辑,实现逻辑计算完美“瘦身”;同时充分利用新硬件特性,采用了CPU的SIMD等新技术,最大提升计算性能。

3、写在最后

HTAP,作为近两年颇为火爆的概念,已经逐渐从一个理论概念逐步走向具体产品。以阿里云AnalyticDB通过双料认证为代表,这一技术已逐步成熟走向商用。相信,在不久的将来,将有更多的客户可以从HTAP上收益,将企业内数据使用提升到新的高度。

了解“全能手”云原生数据仓库AnalyticDB更多精彩详情

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
10月前
|
存储 人工智能 关系型数据库
阿里云AnalyticDB for PostgreSQL 入选VLDB 2025:统一架构破局HTAP,Beam+Laser引擎赋能Data+AI融合新范式
在数据驱动与人工智能深度融合的时代,企业对数据仓库的需求早已超越“查得快”这一基础能力。面对传统数仓挑战,阿里云瑶池数据库AnalyticDB for PostgreSQL(简称ADB-PG)创新性地构建了统一架构下的Shared-Nothing与Shared-Storage双模融合体系,并自主研发Beam混合存储引擎与Laser向量化执行引擎,全面解决HTAP场景下性能、弹性、成本与实时性的矛盾。 近日,相关研究成果发表于在英国伦敦召开的数据库领域顶级会议 VLDB 2025,标志着中国自研云数仓技术再次登上国际舞台。
1129 1
人工智能 关系型数据库 OLAP
1238 1
|
12月前
|
分布式计算 Serverless OLAP
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
Hologres推出Serverless型实例,支持按需计费、无需独享资源,适合新业务探索分析。高性能查询内表及MaxCompute/OSS外表,弹性扩展至512CU,性能媲美主流开源产品。新增Dynamic Table升级、直读架构优化及ChatBI解决方案,助力高效数据分析。
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
|
12月前
|
SQL DataWorks 关系型数据库
DataWorks+Hologres:打造企业级实时数仓与高效OLAP分析平台
本方案基于阿里云DataWorks与实时数仓Hologres,实现数据库RDS数据实时同步至Hologres,并通过Hologres高性能OLAP分析能力,完成一站式实时数据分析。DataWorks提供全链路数据集成与治理,Hologres支持实时写入与极速查询,二者深度融合构建离在线一体化数仓,助力企业加速数字化升级。
|
人工智能 运维 监控
阿里云携手神州灵云打造云内网络性能监测标杆 斩获中国信通院高质量数字化转型十大案例——金保信“云内网络可观测”方案树立云原生运维新范式
2025年,金保信社保卡有限公司联合阿里云与神州灵云申报的《云内网络性能可观测解决方案》入选高质量数字化转型典型案例。该方案基于阿里云飞天企业版,融合云原生引流技术和流量“染色”专利,解决云内运维难题,实现主动预警和精准观测,将故障排查时间从数小时缩短至15分钟,助力企业降本增效,形成可跨行业复制的数字化转型方法论。
783 6
|
人工智能 关系型数据库 MySQL
AnalyticDB MySQL版:云原生离在线一体化数据仓库支持实时业务决策
AnalyticDB MySQL版是阿里云推出的云原生离在线一体化数据仓库,支持实时业务决策。产品定位为兼具数据库应用性和大数据处理能力的数仓,适用于大规模数据分析场景。核心技术包括混合负载、异构加速、智能弹性与硬件优化及AI集成,支持流批一体架构和物化视图等功能,帮助用户实现高效、低成本的数据处理与分析。通过存算分离和智能调度,AnalyticDB MySQL可在复杂查询和突发流量下提供卓越性能,并结合AI技术提升数据价值挖掘能力。
561 16
|
存储 SQL 运维
Hologres OLAP场景核心能力介绍-2024实时数仓Hologres线上公开课02
本次分享由Hologres产品经理赵红梅(梅酱)介绍Hologres在OLAP场景中的核心能力。内容涵盖OLAP场景的痛点、Hologres的核心优势及其解决方法,包括实时数仓分析、湖仓一体加速、丰富的索引和查询性能优化等。此外,还介绍了Hologres在兼容PG生态、支持多种BI工具以及高级企业级功能如计算组隔离和serverless computing等方面的优势。最后通过小红书和乐元素两个典型客户案例,展示了Hologres在实际应用中的显著效益,如运维成本降低、查询性能提升及成本节省等。
580 7
|
消息中间件 存储 Cloud Native
云消息队列 Kafka 版 V3 系列荣获信通院“云原生技术创新标杆案例”
2024 年 12 月 24 日,由中国信息通信研究院(以下简称“中国信通院”)主办的“2025 中国信通院深度观察报告会:算力互联网分论坛”,在北京隆重召开。本次论坛以“算力互联网 新质生产力”为主题,全面展示中国信通院在算力互联网产业领域的研究、实践与业界共识,与产业先行者共同探索算力互联网产业未来发展的方向。会议公布了“2024 年度云原生与应用现代化标杆案例”评选结果,“云消息队列 Kafka 版 V3 系列”荣获“云原生技术创新标杆案例”。
583 103
|
监控 安全 Cloud Native
阿里云容器服务&云安全中心团队荣获信通院“云原生安全标杆案例”奖
2024年12月24日,阿里云容器服务团队与云安全中心团队获得中国信息通信研究院「云原生安全标杆案例」奖。

热门文章

最新文章

相关产品

  • 云原生数据仓库AnalyticDB MySQL版