性能30%↑|阿里云AnalyticDB*AMD EPYC,数据分析步入Next Level

简介: 第4代 AMD EPYC加持,云原生数仓AnalyticDB分析轻松提速。

1. 概述

阿里云瑶池旗下的云原生数仓AnalyticDB for PostgreSQL与AMD新一代硬件深度优化,结合全自研计算引擎及行列混合存储实现性能升级,综合性能提升30%。结合丰富的企业级能力帮助企业构建离在线一体、流批一体综合数据分析平台,采用同一引擎即可满足离线批处理、流式加工,交互式分析三种场景,在开发运维、时效性及成本上具备更高的性价比。


2. 性能优化路径

2.1 硬件架构优化

2.1.1 芯片性能提升

AMD和阿里云联合打造新一代硬件采用全新CIPU架构,处理器采用AMD EPYC Genoa处理器,可提供稳定的算力输出、更强劲的I/O引擎以及芯片级安全加固。第四代EPYC较比第三代EPYC性能提升显著,针对分析型数据库产品痛点在高算力,高内存带宽,低延迟等特点进行优化,可帮助企业用户在数据仓库、在线分析场景中具备更好的性能。


2.1.2 计算能效提升

在性能功耗比方面,新一代服务器在相同核心数量下(对比搭载两个64核AMD EPYC 9534和两个64核的AMD EPYC 7763的服务器)整数性能提升约24%,浮点性提升约52%。可以用更少的服务器来完成同样的工作,或者用同样数量的服务器在相同的时间内完成更多的工作。


2.1.3 安全性和隔离性提升

第四代AMD EPYC支持安全内存加密(SME)和安全加密虚拟化(SEV),将内存与拥有他的线程相关联,从而帮助击退旁路攻击;增加了SEV中加密上下文的数量,可以容纳更多的安全虚拟机。通过AMD安全加密状态(SEV-ES)帮助保护虚拟机状态不受恶意或受损管理程序影响;还增加AMD安全嵌套分页(SEV-SNP)功能,以防止数据重放、内存重映射等攻击。


2.2 数据库内核优化

2.2.1 全自研计算引擎

AnalyticDB for PostgreSQL全自研计算引擎为数据处理和交互式分析加速。它通过以下技术实现性能提速:


  • 应用芯片向量化技术如SIMD指令集等把芯片的并行化计算能力利用到极致。
  • 采用LLVM JIT即动态编译优化,加速计算以提高数据处理效率。
  • 自适应内存模型,根据计算模式动态选择行存/列存内存模型。
  • 针对典型场景提供加速方案,比如针对Runtime Filter加速Join分析,字典特性加速低基数字段计算场景等。


2.2.2 全自研行列混存

一份存储下即可支持实时高吞吐写入/更新和实时高聚合分析两种场景。


写入方面利用Write Optimized Part高效承接批量/流式数据并通过内部Optimize优化,将数据转化为更利于查询的Read Optimized Part,从而实现高效的查询性能。利用Metadata实现高并发Update/Delete。


640.png


支持基于Btree索引的强主键模型,在写入数据时实现高效精准去重。在实时写入场景中单CPU Core可达到10万行/秒的写入性能。


支持Upsert功能在产生主键冲突时用户可根据实际业务需要灵活地选择忽略更新、覆盖更新或是条件更新模式。


在查询方面,存储引擎无缝兼容多种索引类型如Btree、GIN、GIST和自研向量检索索引,可以实现任意维度的高性能点查、全文检索和向量检索。


2.2.3 资源隔离增强

支持混合负载实现资源最大化利用,可同时承载流式写入,数据加工,交互式分析三类任务。 引擎通过资源组实现资源管理,相对使用资源队列更精细化、管理资源类别更全面。它支持对CPU、内存按照业务优先级设置资源隔离策略,支持动态配置,配置即生效不需要重启引擎,大大减轻运维压力。


2.2.4 安全能力增强

完善和增强安全能力:

  • 网络连接安全,支持SSL TLS 1.1/1.2/1.3加密算法,满足最新的网络安全要求。
  • 存储安全,支持云盘加密实现数据加密存储。
  • 加密算法,支持非对称加密和对称加密算法如SM4。
  • 支持行级和列级权限管控,做到最细权限粒度控制和最小化敏感数据访问。
  • 动态数据脱敏,引擎级支持对敏感字段设置脱敏规则,实现敏感信息过滤和保护。
  • 支持SQL审计可对SQL操作明细进行审核。支持事件审计可实现对异常行为追溯。


3. 测试结果

性能测试采用国际标准TPC-H测试集进行,实验组搭载AMD EPYC Genoa服务器 ,对照组集群搭载同等规格下的其它主流硬件。


3.1 测试资源

5.27 1.png


3.2 测试过程

5.27 2.png

3.3 测试总结

采用国际标准TPC-H测试集以及在同等运行环境下,AnalyticDB for PostgreSQL采用AMD EPY服务器较比常规主流服务器平均性能提升32.7%


4. 优势及应用场景

4.1 离在线一体分析

AnalyticDB for PostgreSQL在AMD硬件加持和全自研计算引擎及存储助力下,可同时提供稳定高效的离线批处理和高性能在线报表分析能力,具备高性价比:

  • 数据加工后即可为下游报表工具或系统提供在线数据分析服务,避免在多引擎中同步数据造成数据不一致和时效性低的问题。
  • 全自研引擎实现高性能交互式分析,行列混合存储可实现高效的IO裁剪,加速多维组合分析。
  • 支持实时物化视图实现高并发报表查询。


4.2 海外数仓平滑迁移

SQL语法全覆盖并且支持自定义函数和存储过程。高度兼容Greenplum/Redshift/Synapse/Snowflake语法。

可覆盖海外云数仓产品企业级能力,在安全能力、资源隔离、容灾等方面实现加强。在实时分析、交互式分析能力上较比海外数仓功能及性能更好,更具性价比。


4.3 流批一体实时数仓

自研业界领先流批一体引擎让用户在数仓内即可开发流式任务,支持对批和流任务进行细粒度的资源隔离。

  • 可消费Kafka/Flink/DTS实时数据源,支持高吞吐流式数据写入。
  • 支持增量实时物化视图同步和异步刷新,可实现实时多表关联(支持左连接和右连接)、全量历史数据回溯、流和批表关联。
  • 可支持实时Ad-hoc查询,满足实时报表分析和下游应用系统高时效性数据需求。


5. 开启方式

新购实例优先开启AMD形态。在选择地域时,建议用户勾选“北京、上海、杭州、深圳”地域开启实例。

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
6天前
|
分布式计算 关系型数据库 数据挖掘
实时数仓 Hologres产品使用合集之当使用动态分区管理功能按日期进行分区后,通过主键和segment_key进行时间范围查询性能变差是什么原因
实时数仓Hologres的基本概念和特点:1.一站式实时数仓引擎:Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体,适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议:Hologres支持标准SQL(兼容PostgreSQL协议和语法),使得迁移和集成变得简单。3.海量数据处理能力:能够处理PB级数据的多维分析和即席查询,支持高并发低延迟查询。4.实时性:支持数据的实时写入、实时更新和实时分析,满足对数据新鲜度要求高的业务场景。5.与大数据生态集成:与MaxCompute、Flink、DataWorks等阿里云产品深度融合,提供离在线
|
6天前
|
分布式计算 算法 关系型数据库
实时数仓 Hologres产品使用合集之如何优化查询性能
实时数仓Hologres的基本概念和特点:1.一站式实时数仓引擎:Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体,适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议:Hologres支持标准SQL(兼容PostgreSQL协议和语法),使得迁移和集成变得简单。3.海量数据处理能力:能够处理PB级数据的多维分析和即席查询,支持高并发低延迟查询。4.实时性:支持数据的实时写入、实时更新和实时分析,满足对数据新鲜度要求高的业务场景。5.与大数据生态集成:与MaxCompute、Flink、DataWorks等阿里云产品深度融合,提供离在线
|
10天前
|
存储 负载均衡 安全
使用阿里云解决云上数据保存的挑战
在数字化时代,数据成为企业重要资产,但快速增长的数据管理变得复杂。为此,作者选择了阿里云作为云上数据存储解决方案。阿里云凭借其高性能、高可靠和高安全的云存储服务,如对象存储OSS、文件存储NAS等,解决了数据保存问题。此外,阿里云的多副本和多机房策略确保了数据的可靠性和安全性,同时,丰富的存储产品线满足了不同场景的需求,帮助企业降低存储成本并提高数据访问效率。通过实施数据迁移、访问和备份恢复,作者成功优化了数据管理并期待未来与阿里云的更多合作。
42 8
|
10天前
|
存储 缓存 测试技术
现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜!
近日,在 ClickHouse 发起的分析型数据库性能测试排行榜 ClickBench(https://benchmark.clickhouse.com/)中,现代化实时数仓 SelectDB 时隔两年后再次登顶,在全部近百款数据库和数十种机型中,性能表现位居总榜第一!
51 1
|
16天前
|
SQL 测试技术 OLAP
现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜!
现代化实时数仓 SelectDB 在时隔两年后再次完成登顶,在全部近百款数据库和数十种机型中,性能位居总榜第一!
现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜!
|
17天前
|
SQL 运维 关系型数据库
阿里云DTS踩坑经验分享系列|数据不一致修复大法
阿里云数据传输服务DTS在帮助用户迁移数据、同步数据时,在某些复杂场景下会出现源库与目标库数据不一致的问题,造成数据错误,给用户带来困扰。由于数据不一致的问题很难完全避免,为了及时修复不一致的数据,DTS产品推出数据订正功能,保障用户在同步\迁移数据时的数据一致性。本文介绍了产生数据不一致的一些典型场景,并重点阐述了如何使用DTS数据订正功能来修复不一致的数据。
250 4
|
18天前
|
OLAP 数据处理 Apache
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
众安保险在CDP(Customer Data Platform,客户数据平台)建设中,通过引入阿里云数据库SelectDB版内核Apache Doris,成功打破了数据孤岛,并显著提升了人群圈选的速度
184 1
|
18天前
|
运维 数据挖掘 Serverless
阿里云Elasticsearch Serverless助力某电商平台公司实现商品订单数据的实时写入查询
某电商平台公司采用阿里云Elasticsearch Serverless解决方案,实现商品、订单和其他关键信息的写入和查询的实时响应。
162 1
|
3天前
|
数据采集 数据可视化 数据挖掘
数据分析大神养成记:Python+Pandas+Matplotlib助你飞跃!
【6月更文挑战第12天】在数字时代,Python因其强大的数据处理能力和易用性成为数据分析首选工具。结合Pandas(用于高效数据处理)和Matplotlib(用于数据可视化),能助你成为数据分析专家。Python处理数据预处理、分析和可视化,Pandas的DataFrame简化表格数据操作,Matplotlib则提供丰富图表展示数据。掌握这三个库,数据分析之路将更加畅通无阻。
|
4天前
|
JSON 数据挖掘 API
数据分析实战丨基于pygal与requests分析GitHub最受欢迎的Python库
数据分析实战丨基于pygal与requests分析GitHub最受欢迎的Python库
17 2

热门文章

最新文章

相关产品

  • 云原生数据仓库AnalyticDB MySQL版