2022云栖精选—生而不凡:PolarDB将云原生进行到底

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: 杨辛军 阿里巴巴集团研究员PolarDB for MySQL产品部负责人

lQLPJxbcF2cqNBvMiM0FeLCMz4ifcSGHeANpqgFLAEAA_1400_136.png

image.png

PolarDB诞生5周年,已经成为较成功的商业数据线上运行核数突破500000核,拥有全球80+可用区。

PolarDB基于 MySQL PG 的升级版数据库,因此 MySQL PG 实现了完全兼容。另外,PolarDB注重于云原生数据库的发展,因此在云原生方面做了很多研究我们每年都会在顶会发表论文,将研究成果与大家共同分享。

image.png

上图为PolarDB的最新架构图,依然坚持了模块化建设的路径。

PolarDB在存算分离以及物理复制方面已经非常成熟因此逐渐开始往另层次发展今年我们发布了很多新的节点,包括HTAP节点X-engine节点多写节点AI节点很多节点可以进行自由搭配和转换,适配客户需要的应用场景。也实现了Scale OutScale Up两个方向弹性伸缩。

image.png

PolarDB是共享资源的数据库对资源硬件非常关注。我们充分利用新硬件实现软硬一体化,将硬件的红利分享给用户

今年,PolarDB实现了两个硬件的升级。其一Smart-SSD ,它是基于FPGA SSD存储。通过Smart-SSD进行数据的压缩后可实现2.0-3.0的压缩比左下角的性能图显示,使用Smart-SSD后,于线上的云盘保持非常大的优势。同时因为我们可以做数据压缩,使用户成本降低60%。所以我们有机会将存储售价降低50%,让利给用户。

image.png

另一个硬件升级是将RDMA网络升级到100G,通过RDMA实现了PolarDB的高性能全局强一致性,能够使各类节点更稳固,能够搭建更大的架构供更丰富的场景使用。也保证了不管在哪个节点或节点之间存在多少latency,都可以成功地读到写入。

通过RDMA升级,性能提高了近63倍。

image.png

PolarDB HTAP新推出了In-Memory Column Index功能。物理复制将数据从一个节点复制到另外一个节点时,实现了行列转换,将行的数据转换

通过执行算子与执行器对列存性能进行了分析,如右图所示,效果显著

image.png

行存方面,PolarDB发布了ePQ并行查询新特性。其中e代表弹性,ePQ可以实现节点之间的并行查询。

image.png

左图为432节点的并行查询,结果显示整体执行时间较MySQL提升60倍,单条执行时间最大提升150倍。右侧为对60亿+大表的分组聚集,执行时间小于60s,而实现并行查询之前,耗时约8h

image.png

PolarDB正式商业化发布“库表级多写”。

在分库分表的场景下,可以对一个节点多个表进行scaling。每个表有一个主节点,一个节点管理多个库、表,库表级多写优势在于可以共享shared-everything架构,每个节点可以看见所有数据,因此,增加节点减少节点时无需对数据进行迁移,拥有极佳的性能力,可轻松对节点做增减,无需进行数据的重复迁移。

另外,它实现了多主互备,每个节点都是另外节点的备节点,备节点也可以成为主节点,提高了备节点的利用率。

image.png

另外,我们实现了行级多写的灰度发布。利用Polar Fusion实现了事务、锁、缓存信息的全局协调。

image.png

上图为阿里云PolarDB与友商的对比,PolarDB多写在冲突写和无冲突写场景下均具有非常优势。

image.png

PolarDB即将支持全球就近写,可以在全球范围内通过并行的物理复制技术,实现两秒以内的延迟能够支持表级别的近写,数据会进行双向同步,保证数据的全局一致性。

image.png

X-Engine基于LSM架构,能够保证非常高的压缩率。可以X-EngineInnoDB并行插入数据可以在两个引擎之间自动流动。因此,用户可以针对数据的冷热自分配数据在何处

image.png

使用X-Engine进行压缩后,淘宝图片库实现了6的压缩淘宝交易订单压缩近3倍,性能方面相较于标准集群略有不足但是相近

image.png

 PolarDBServerless不仅支持纵向单节点地弹,也支持横向节点地弹,实现了极致弹性,包括热备节点断点续传、连接保持

image.png

上图可以看出,PolarDB Serverless能够根据压力自动增加PCU数量,从而自动提升QPS。压力停止后,PCU逐渐降低。单节点规格达到上限后,可通过自动增加只读接节点来应对突发压力,提升性能。

image.png

PolarDB一直在性能方面进行持续优化。通过云原生架构全路径的深度优化、高性能存储的引擎优化以及高性能索引PolarIndex大幅提高了性能。

image.png

DDL方面我们也在持续改进。并行DDL使得建索引的速度提升15-20。同时,我们正在实现Multiversion Dictionary可实现InstantDDL无需实现全表的重建,通过Dictionary的改变即可生效。

 

 

PolarDB在典型行业的最佳实践

 

贾新华

阿里云数据库事业部资深产品专家

image.png

游戏行业痛点PolarDB的实践:

版更期间备份时间大于1小时,以及玩家经常丢失装备,需要快速找回。而PolarDB支持秒级备份以及库表级行级的回,可以大幅缩短版更时间从小时级降低分钟

游戏设备越来越充足,装备信息越来越多,导致大部分字段长可能超过1 M,非常影响更新性能。通过PolarDBBLOG字段实现专项优化,装备更新性能提升5

游戏活动较为频繁活动会导致负载快速变化。PolarDB支持多架构,能够大幅缩短缩短滚服合服时间,实现分钟级快速的响应;

游戏往往全球发行,导致部分玩家登录速度过慢。而PolarDBGDN能够实现业务近访问,使效率提升40%以上。

image.png

零售行业往往有供应链销售以及运营分析,系统均独立构建系统之间的构建较复杂。可以通过PolarDBIMCI特性,免去复杂架构,实现实时分析,无ETL、更稳定。

SaaS行业租户多租户量会快速变化PolarDB提供的Serverless能力可以根据实际使用来分配资源使成本降低约60%。另外,SaaS场景下多租户之间共用资源,导致互相影响,PolarDB提供了多主架构,实现了租户资源的严格隔离。
   
另外,零售行业会存在百万级的DDL,而PolarDB提供了高性能 DDL ,包括秒级DDL并行DDL等,可在海量表的情况下实现DDL时性能无抖动业务堵塞。

image.png

泛政府行业也存在几个关键痛点

首先,需要自研数据库,而PolarDB数据库代码自研率超80%可满足各种合规方面的要求,使供应链更安全;同时,升级传统商业数据库较为复杂,风险不可控PolarDB提供了高度兼容Oracle的能力,能够使成本显著降下,此外PolarDB提供了一系列工具链与方法论,使升级过程可控可管理;其次,泛政府行业合规要求同城、异地容灾,而PolarDB提供了两地三中心容灾,既可以实现同城的高可用,也可以实现异地的高可用另外,泛政府行业正在做数据大集中,要求高扩展,而PolarDB单机可扩展100T共享存储以及32计算节点,可以免去分库分表,实现业务无侵入。

lQLPJxbcF2cqM2TM-M0CnrCgW_7LDpyh1wNpqgFKAPsA_670_248.png

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
3月前
|
人工智能 运维 Cloud Native
2025 云栖精选资料:《从云原生到 AI 原生核心技术与最佳实践》PPT 免费下载
一本合集,四大主题,覆盖 AI 原生技术的核心版图。立即获取,与行业领跑者同行,抢占 AI 原生时代的技术先机!
|
4月前
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。
|
7月前
|
关系型数据库 MySQL 分布式数据库
|
7月前
|
Cloud Native 关系型数据库 分布式数据库
客户说|知乎基于阿里云PolarDB,实现最大数据库集群云原生升级
近日,知乎最大的风控业务数据库集群,基于阿里云瑶池数据库完成了云原生技术架构的升级。此次升级不仅显著提升了系统的高可用性和性能上限,还大幅降低了底层资源成本。
|
8月前
|
存储 Cloud Native 关系型数据库
PolarDB开源:云原生数据库的架构革命
本文围绕开源核心价值、社区运营实践和技术演进路线展开。首先解读存算分离架构的三大突破,包括基于RDMA的分布式存储、计算节点扩展及存储池扩容机制,并强调与MySQL的高兼容性。其次分享阿里巴巴开源治理模式,涵盖技术决策、版本发布和贡献者成长体系,同时展示企业应用案例。最后展望技术路线图,如3.0版本的多写多读架构、智能调优引擎等特性,以及开发者生态建设举措,推荐使用PolarDB-Operator实现高效部署。
440 4
|
8月前
|
Cloud Native 关系型数据库 分布式数据库
PolarDB开源:云原生数据库的新篇章
阿里云自研的云原生数据库PolarDB于2023年5月正式开源,采用“存储计算分离”架构,具备高性能、高可用及全面兼容性。其开源版本提供企业级数据库解决方案,支持MySQL、PostgreSQL和Oracle语法,适用于高并发OLTP、核心业务系统等场景。PolarDB通过开放治理与开发者工具构建完整生态,并展望更丰富的插件功能与AI集成,为中国云原生数据库技术发展贡献重要力量。
713 17
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
434 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
5月前
|
运维 监控 Cloud Native
从本土到全球,云原生架构护航灵犀互娱游戏出海
本文内容整理自「 2025 中企出海大会·游戏与互娱出海分论坛」,灵犀互娱基础架构负责人朱晓靖的演讲内容,从技术层面分享云原生架构护航灵犀互娱游戏出海经验。
570 16
|
5月前
|
运维 监控 Cloud Native
从本土到全球,云原生架构护航灵犀互娱游戏出海
内容整理自「 2025 中企出海大会·游戏与互娱出海分论坛」,灵犀互娱基础架构负责人朱晓靖的演讲内容,从技术层面分享云原生架构护航灵犀互娱游戏出海经验。
|
9月前
|
运维 Cloud Native 测试技术
极氪汽车云原生架构落地实践
随着极氪数字业务的飞速发展,背后的 IT 技术也在不断更新迭代。极氪极为重视客户对服务的体验,并将系统稳定性、业务功能的迭代效率、问题的快速定位和解决视为构建核心竞争力的基石。

相关产品

  • 云原生数据库 PolarDB