性能30%↑|阿里云AnalyticDB X AMD EPYC,数据分析步入Next Level

简介: 阿里云原生数仓 AnalyticDB for PostgreSQL 与 AMD 新一代硬件深度优化,结合全自研计算引擎及行列混合存储实现性能升级,综合性能提升30%。结合丰富的企业级能力帮助企业构建离在线一体、流批一体综合数据分析平台,采用同一引擎即可满足离线批处理、流式加工,交互式分析三种场景,在开发运维、时效性及成本上具备更高的性价比。

1、概述

阿里云原生数仓 AnalyticDB for PostgreSQL 与 AMD 新一代硬件深度优化,结合全自研计算引擎及行列混合存储实现性能升级,综合性能提升30%。结合丰富的企业级能力帮助企业构建离在线一体、流批一体综合数据分析平台,采用同一引擎即可满足离线批处理、流式加工,交互式分析三种场景,在开发运维、时效性及成本上具备更高的性价比。

2、性能优化路径

2.1 硬件架构优化

2.1.1 芯片性能提升

AMD 和阿里云联合打造的新一代硬件采用全新 CIPU 架构,处理器采用 AMD EPYC Genoa 处理器,可提供稳定的算力输出、更强劲的I/O引擎以及芯片级安全加固。

第四代 EPYC 较第三代 EPYC 性能提升显著针对分析型数据库产品痛点在高算力、高内存带宽、低延迟等特点进行优化,可帮助企业用户在数据仓库、在线分析场景中具备更好的性能。

2.1.2 计算能效提升

在性能功耗比方面,新一代服务器在相同核心数量下(对比搭载两个64核AMD EPYC 9534和两个64核的AMD EPYC 7763的服务器)整数性能提升约24%,浮点性提升约52%。可以用更少的服务器来完成同样的工作,或者用同样数量的服务器在相同的时间内完成更多的工作。

2.1.3 安全性和隔离性提升

第四代 AMD EPYC 支持安全内存加密(SME)和安全加密虚拟化(SEV),将内存与拥有他的线程相关联,从而帮助击退旁路攻击;增加了SEV中加密上下文的数量,可以容纳更多的安全虚拟机。

通过 AMD 安全加密状态(SEV-ES)帮助保护虚拟机状态不受恶意或受损管理程序影响;还增加AMD安全嵌套分页(SEV-SNP)功能,以防止数据重放、内存重映射等攻击。

2.2 数据库内核优化

2.2.1 全自研计算引擎

AnalyticDB for PostgreSQL 全自研计算引擎为数据处理和交互式分析加速。它通过以下技术实现性能提速

  • 应用芯片向量化技术如 SIMD 指令集等把芯片的并行化计算能力利用到极致。
  • 采用 LLVM JIT 即动态编译优化,加速计算以提高数据处理效率。
  • 自适应内存模型,根据计算模式动态选择行存/列存内存模型。
  • 针对典型场景提供加速方案,比如针对 Runtime Filter 加速Join分析,字典特性加速低基数字段计算场景等。

2.2.2 全自研行列混存

一份存储下即可支持实时高吞吐写入/更新和实时高聚合分析两种场景。

写入方面利用 Write Optimized Part 高效承接批量/流式数据并通过内部 Optimize 优化,将数据转化为更利于查询的 Read Optimized Part,从而实现高效的查询性能。利用 Metadata 实现高并发 Update/Delete。

支持基于 Btree 索引的强主键模型,在写入数据时实现高效精准去重。在实时写入场景中单 CPU Core 可达到10万行/秒的写入性能。

支持 Upsert 功能在产生主键冲突时用户可根据实际业务需要灵活地选择忽略更新、覆盖更新或是条件更新模式。

在查询方面存储引擎无缝兼容多种索引类型如 Btree , GIN , GIST 和 自研向量检索索引,可以实现任意维度的高性能点查,全文检索和向量检索。

2.2.3 资源隔离增强

支持混合负载实现资源最大化利用,可同时承载流式写入,数据加工,交互式分析三类任务。

引擎通过资源组实现资源管理,相对使用资源队列更精细化、管理资源类别更全面。

它支持对CPU、内存按照业务优先级设置资源隔离策略,支持动态配置,配置即生效不需要重启引擎,大大减轻运维压力。

2.2.4 安全能力增强

完善和增强安全能力:

  • 网络连接安全,支持 SSL TLS 1.1/1.2/1.3 加密算法,满足最新的网络安全要求。
  • 存储安全,支持云盘加密实现数据加密存储。
  • 加密算法,支持非对称加密和对称加密算法如 SM4。
  • 支持行级和列级权限管控,做到最细权限粒度控制和最小化敏感数据访问。
  • 动态数据脱敏,引擎级支持对敏感字段设置脱敏规则,实现敏感信息过滤和保护。
  • 支持 SQL 审计可对 SQL 操作明细进行审核。支持事件审计可实现对异常行为追溯。

3、测试结果

性能测试采用国际标准 TPC-H 测试集进行,实验组搭载 AMD EPYC Genoa 服务器 ,对照组集群搭载同等规格下的其它主流硬件。

3.1 测试资源

参数

实验组

对照组

Master节点

8CU

8CU

Master节点主机规格

搭载 AMD EPYC Genoa 服务器

线上主流服务器

计算节点

4个计算节点,单节点规格2C-16GB

4个计算节点,单节点规格2C-16GB

计算节点主机规格

搭载 AMD EPYC Genoa服务器

线上主流服务器

存储类型

ESSD云盘

ESSD云盘

3.2 测试过程

TPC-H Query

实验组较比对照组性能提升

TPC-H Q1

32.71%

TPC-H Q2

44.37%

TPC-H Q3

29.55%

TPC-H Q4

31.98%

TPC-H Q5

69.59%

TPC-H Q6

37.27%

TPC-H Q7

35.24%

TPC-H Q8

35.66%

TPC-H Q9

35.24%

TPC-H Q10

36.85%

TPC-H Q11

14.86%

TPC-H Q12

45.66%

TPC-H Q13

25.87%

TPC-H Q14

49.04%

TPC-H Q15

13.33%

TPC-H Q16

3.43%

TPC-H Q17

26.64%

TPC-H Q18

11.5%

TPC-H Q19

34.9%

TPC-H Q20

25.85%

TPC-H Q21

25.33%

TPC-H Q22

14.99%

平均性能提升

32.71%

3.3 测试总结

采用国际标准 TPC-H 测试集以及在同等运行环境下,AnalyticDB for PostgreSQL 采用 AMD EPY 服务器较比常规主流服务器平均性能提升 32.7%。

4、优势及应用场景

4.1 离在线一体分析

AnalyticDB for PostgreSQL 在 AMD 硬件加持和全自研计算引擎及存储助力下,可同时提供稳定高效的离线批处理和高性能在线报表分析能力,具备高性价比:

  • 数据加工后即可为下游报表工具或系统提供在线数据分析服务,避免在多引擎中同步数据造成数据不一致和时效性低的问题。
  • 全自研引擎实现高性能交互式分析,行列混合存储可实现高效的IO裁剪,加速多维组合分析。
  • 支持实时物化视图实现高并发报表查询。

4.2 海外数仓平滑迁移

SQL语法全覆盖并且支持自定义函数和存储过程。高度兼容 Greenplum/Redshift/Synapse/Snowflake 语法。

可覆盖海外云数仓产品企业级能力,在安全能力、资源隔离、容灾等方面实现加强。在实时分析、交互式分析能力上较比海外数仓功能及性能更好,更具性价比。

4.3 流批一体实时数仓

自研业界领先流批一体引擎让用户在数仓内即可开发流式任务,支持对批和流任务进行细粒度的资源隔离。

  • 可消费 Kafka/Flink/DTS 实时数据源,支持高吞吐流式数据写入。
  • 支持增量实时物化视图同步和异步刷新,可实现实时多表关联(支持左连接和右连接)、全量历史数据回溯、流和批表关联。
  • 可支持实时 Ad-hoc 查询,满足实时报表分析和下游应用系统高时效性数据需求。

5、开启方式

新购实例默认开启 AMD 形态,无需控制台选择。

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
SQL 缓存 分布式计算
vivo 湖仓架构的性能提升之旅
聚焦 vivo 大数据多维分析面临的挑战、StarRocks 落地方案及应用收益。 在 **即席分析** 场景,StarRocks 使用占比达 70%,查询速度提升 3 倍,P50 耗时从 63.77 秒缩短至 22.30 秒,查询成功率接近 98%。 在 **敏捷 BI** 领域,StarRocks 已完成 25% 切换,月均查询成功数超 25 万,P90 查询时长缩短至 5 秒,相比 Presto 提升 75%。 在 **研发工具平台** 方面,StarRocks 支持准实时数据查询,数据可见性缩短至 3 分钟,查询加速使 P95 延迟降至 400 毫秒,开发效率提升 30%。
vivo 湖仓架构的性能提升之旅
|
数据挖掘 关系型数据库 Serverless
利用数据分析工具评估特定业务场景下扩缩容操作对性能的影响
通过以上数据分析工具的运用,可以深入挖掘数据背后的信息,准确评估特定业务场景下扩缩容操作对 PolarDB Serverless 性能的影响。同时,这些分析结果还可以为后续的优化和决策提供有力的支持,确保业务系统在不断变化的环境中保持良好的性能表现。
522 154
|
数据采集 Web App开发 数据挖掘
飞桨x昇腾生态适配方案:07_性能数据分析
本文介绍了性能调优的全流程,包括分析、定位与优化。通过 profiling 工具采集算子级性能数据,定位计算与调度通信瓶颈。针对计算时间过长问题,可通过升级算子或提交工单解决;调度优化则关注重复编译,关闭在线编译或使用 aclnn 算子可提升效率。数据采集使用 paddlepaddle 的 profiler 工具,结合 msprof 解析生成的性能数据,重点分析 op_statistic_*.csv 和 op_summary_*.csv 文件,通过关键字段(如 Ratio、Total Time、Task Duration 和 Task Wait Time)量化性能瓶颈并实施优化策略。
427 10
|
数据采集 运维 监控
数据分析异步进阶:aiohttp与Asyncio性能提升
本项目基于aiohttp与Asyncio开发异步爬虫,目标采集今日头条新闻数据。初期因网站限制机制导致请求异常,通过设置代理IP、Cookie和UserAgent解决拦截问题,并优化异步任务调度与异常捕获提升性能。方案包括动态代理池、统一请求头配置及日志监控,确保高并发下的稳定性。示例代码展示代理IP、请求头设置与错误处理方法,为类似项目提供参考。
375 1
数据分析异步进阶:aiohttp与Asyncio性能提升
|
数据挖掘 OLAP OLTP
体验AnalyticDB无感集成(Zero-ETL)下的一站式数据分析,完成任务可领取300社区积分兑换各种商城好礼!
瑶池数据库的无感数据集成实现秒级同步,性能提升15%。借助AnalyticDB的Zero-ETL功能,快速搭建OLTP与OLAP同步链路,一站式管理数据分析。参与活动完成任务即可领取300社区积分,还有机会抽取红酒收纳箱、键盘鼠标垫、福禄寿淘公仔等好礼!
|
关系型数据库 MySQL OLAP
无缝集成 MySQL,解锁秒级 OLAP 分析性能极限,完成任务可领取三合一数据线!
通过 AnalyticDB MySQL 版、DMS、DTS 和 RDS MySQL 版协同工作,解决大规模业务数据统计难题,参与活动完成任务即可领取三合一数据线(限量200个),还有机会抽取蓝牙音箱大奖!
|
SQL 关系型数据库 OLAP
云原生数据仓库AnalyticDB PostgreSQL同一个SQL可以实现向量索引、全文索引GIN、普通索引BTREE混合查询,简化业务实现逻辑、提升查询性能
本文档介绍了如何在AnalyticDB for PostgreSQL中创建表、向量索引及混合检索的实现步骤。主要内容包括:创建`articles`表并设置向量存储格式,创建ANN向量索引,为表增加`username`和`time`列,建立BTREE索引和GIN全文检索索引,并展示了查询结果。参考文档提供了详细的SQL语句和配置说明。
581 2
|
存储 分布式计算 大数据
基于阿里云大数据平台的实时数据湖构建与数据分析实战
在大数据时代,数据湖作为集中存储和处理海量数据的架构,成为企业数据管理的核心。阿里云提供包括MaxCompute、DataWorks、E-MapReduce等在内的完整大数据平台,支持从数据采集、存储、处理到分析的全流程。本文通过电商平台案例,展示如何基于阿里云构建实时数据湖,实现数据价值挖掘。平台优势包括全托管服务、高扩展性、丰富的生态集成和强大的数据分析工具。
|
人工智能 分布式计算 Cloud Native
云原生数据仓库AnalyticDB:深度智能化的数据分析洞察
云原生数据仓库AnalyticDB(ADB)是一款深度智能化的数据分析工具,支持大规模数据处理与实时分析。其架构演进包括存算分离、弹性伸缩及性能优化,提供zero-ETL和APS等数据融合功能。ADB通过多层隔离保障负载安全,托管Spark性能提升7倍,并引入AI预测能力。案例中,易点天下借助ADB优化广告营销业务,实现了30%的任务耗时降低和20%的成本节省,展示了云原生数据库对出海企业的数字化赋能。
700 3
|
Cloud Native 关系型数据库 MySQL
无缝集成 MySQL,解锁秒级数据分析性能极限
在数据驱动决策的时代,一款性能卓越的数据分析引擎不仅能提供高效的数据支撑,同时也解决了传统 OLTP 在数据分析时面临的查询性能瓶颈、数据不一致等挑战。本文将介绍通过 AnalyticDB MySQL + DTS 来解决 MySQL 的数据分析性能问题。

热门文章

最新文章

相关产品

  • 云原生数据仓库AnalyticDB MySQL版