2022云栖精选—生而不凡:PolarDB将云原生进行到底

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云原生数据库 PolarDB 分布式版,标准版 2核8GB
云数据库 RDS SQL Server,基础系列 2核4GB
简介: 杨辛军 阿里巴巴集团研究员PolarDB for MySQL产品部负责人

lQLPJxbcF2cqNBvMiM0FeLCMz4ifcSGHeANpqgFLAEAA_1400_136.png

image.png

PolarDB诞生5周年,已经成为较成功的商业数据线上运行核数突破500000核,拥有全球80+可用区。

PolarDB基于 MySQL PG 的升级版数据库,因此 MySQL PG 实现了完全兼容。另外,PolarDB注重于云原生数据库的发展,因此在云原生方面做了很多研究我们每年都会在顶会发表论文,将研究成果与大家共同分享。

image.png

上图为PolarDB的最新架构图,依然坚持了模块化建设的路径。

PolarDB在存算分离以及物理复制方面已经非常成熟因此逐渐开始往另层次发展今年我们发布了很多新的节点,包括HTAP节点X-engine节点多写节点AI节点很多节点可以进行自由搭配和转换,适配客户需要的应用场景。也实现了Scale OutScale Up两个方向弹性伸缩。

image.png

PolarDB是共享资源的数据库对资源硬件非常关注。我们充分利用新硬件实现软硬一体化,将硬件的红利分享给用户

今年,PolarDB实现了两个硬件的升级。其一Smart-SSD ,它是基于FPGA SSD存储。通过Smart-SSD进行数据的压缩后可实现2.0-3.0的压缩比左下角的性能图显示,使用Smart-SSD后,于线上的云盘保持非常大的优势。同时因为我们可以做数据压缩,使用户成本降低60%。所以我们有机会将存储售价降低50%,让利给用户。

image.png

另一个硬件升级是将RDMA网络升级到100G,通过RDMA实现了PolarDB的高性能全局强一致性,能够使各类节点更稳固,能够搭建更大的架构供更丰富的场景使用。也保证了不管在哪个节点或节点之间存在多少latency,都可以成功地读到写入。

通过RDMA升级,性能提高了近63倍。

image.png

PolarDB HTAP新推出了In-Memory Column Index功能。物理复制将数据从一个节点复制到另外一个节点时,实现了行列转换,将行的数据转换

通过执行算子与执行器对列存性能进行了分析,如右图所示,效果显著

image.png

行存方面,PolarDB发布了ePQ并行查询新特性。其中e代表弹性,ePQ可以实现节点之间的并行查询。

image.png

左图为432节点的并行查询,结果显示整体执行时间较MySQL提升60倍,单条执行时间最大提升150倍。右侧为对60亿+大表的分组聚集,执行时间小于60s,而实现并行查询之前,耗时约8h

image.png

PolarDB正式商业化发布“库表级多写”。

在分库分表的场景下,可以对一个节点多个表进行scaling。每个表有一个主节点,一个节点管理多个库、表,库表级多写优势在于可以共享shared-everything架构,每个节点可以看见所有数据,因此,增加节点减少节点时无需对数据进行迁移,拥有极佳的性能力,可轻松对节点做增减,无需进行数据的重复迁移。

另外,它实现了多主互备,每个节点都是另外节点的备节点,备节点也可以成为主节点,提高了备节点的利用率。

image.png

另外,我们实现了行级多写的灰度发布。利用Polar Fusion实现了事务、锁、缓存信息的全局协调。

image.png

上图为阿里云PolarDB与友商的对比,PolarDB多写在冲突写和无冲突写场景下均具有非常优势。

image.png

PolarDB即将支持全球就近写,可以在全球范围内通过并行的物理复制技术,实现两秒以内的延迟能够支持表级别的近写,数据会进行双向同步,保证数据的全局一致性。

image.png

X-Engine基于LSM架构,能够保证非常高的压缩率。可以X-EngineInnoDB并行插入数据可以在两个引擎之间自动流动。因此,用户可以针对数据的冷热自分配数据在何处

image.png

使用X-Engine进行压缩后,淘宝图片库实现了6的压缩淘宝交易订单压缩近3倍,性能方面相较于标准集群略有不足但是相近

image.png

 PolarDBServerless不仅支持纵向单节点地弹,也支持横向节点地弹,实现了极致弹性,包括热备节点断点续传、连接保持

image.png

上图可以看出,PolarDB Serverless能够根据压力自动增加PCU数量,从而自动提升QPS。压力停止后,PCU逐渐降低。单节点规格达到上限后,可通过自动增加只读接节点来应对突发压力,提升性能。

image.png

PolarDB一直在性能方面进行持续优化。通过云原生架构全路径的深度优化、高性能存储的引擎优化以及高性能索引PolarIndex大幅提高了性能。

image.png

DDL方面我们也在持续改进。并行DDL使得建索引的速度提升15-20。同时,我们正在实现Multiversion Dictionary可实现InstantDDL无需实现全表的重建,通过Dictionary的改变即可生效。

 

 

PolarDB在典型行业的最佳实践

 

贾新华

阿里云数据库事业部资深产品专家

image.png

游戏行业痛点PolarDB的实践:

版更期间备份时间大于1小时,以及玩家经常丢失装备,需要快速找回。而PolarDB支持秒级备份以及库表级行级的回,可以大幅缩短版更时间从小时级降低分钟

游戏设备越来越充足,装备信息越来越多,导致大部分字段长可能超过1 M,非常影响更新性能。通过PolarDBBLOG字段实现专项优化,装备更新性能提升5

游戏活动较为频繁活动会导致负载快速变化。PolarDB支持多架构,能够大幅缩短缩短滚服合服时间,实现分钟级快速的响应;

游戏往往全球发行,导致部分玩家登录速度过慢。而PolarDBGDN能够实现业务近访问,使效率提升40%以上。

image.png

零售行业往往有供应链销售以及运营分析,系统均独立构建系统之间的构建较复杂。可以通过PolarDBIMCI特性,免去复杂架构,实现实时分析,无ETL、更稳定。

SaaS行业租户多租户量会快速变化PolarDB提供的Serverless能力可以根据实际使用来分配资源使成本降低约60%。另外,SaaS场景下多租户之间共用资源,导致互相影响,PolarDB提供了多主架构,实现了租户资源的严格隔离。
   
另外,零售行业会存在百万级的DDL,而PolarDB提供了高性能 DDL ,包括秒级DDL并行DDL等,可在海量表的情况下实现DDL时性能无抖动业务堵塞。

image.png

泛政府行业也存在几个关键痛点

首先,需要自研数据库,而PolarDB数据库代码自研率超80%可满足各种合规方面的要求,使供应链更安全;同时,升级传统商业数据库较为复杂,风险不可控PolarDB提供了高度兼容Oracle的能力,能够使成本显著降下,此外PolarDB提供了一系列工具链与方法论,使升级过程可控可管理;其次,泛政府行业合规要求同城、异地容灾,而PolarDB提供了两地三中心容灾,既可以实现同城的高可用,也可以实现异地的高可用另外,泛政府行业正在做数据大集中,要求高扩展,而PolarDB单机可扩展100T共享存储以及32计算节点,可以免去分库分表,实现业务无侵入。

lQLPJxbcF2cqM2TM-M0CnrCgW_7LDpyh1wNpqgFKAPsA_670_248.png

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
16天前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
1月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云瑶池在2024云栖大会上重磅发布由Data+AI驱动的多模数据管理平台DMS:OneMeta+OneOps,通过统一、开放、多模的元数据服务实现跨环境、跨引擎、跨实例的统一治理,可支持高达40+种数据源,实现自建、他云数据源的无缝对接,助力业务决策效率提升10倍。
|
2月前
|
消息中间件 人工智能 Cloud Native
|
2月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云数据库重磅升级!元数据服务OneMeta + OneOps统一管理多模态数据
|
2月前
|
存储 关系型数据库 分布式数据库
揭秘PolarDB:中国云原生数据库的超级英雄,如何颠覆传统数据存储?
在数字化时代,数据成为企业的核心资产,而云原生数据库则是推动企业转型的关键。PolarDB凭借其先进的存储计算分离架构,在性能、可靠性和易用性方面脱颖而出,成为国内领先的选择。它支持多种数据库引擎,提供多副本存储机制,并采用按量付费模式,有效降低管理和成本压力,助力企业实现高效、可靠的数字化转型。
68 1
|
3月前
|
Cloud Native 关系型数据库 分布式数据库
云原生数据库2.0问题之PolarDB利用云计算技术红利如何解决
云原生数据库2.0问题之PolarDB利用云计算技术红利如何解决
|
3月前
|
Cloud Native 关系型数据库 分布式数据库
云原生关系型数据库PolarDB问题之PolarDB相比传统商用数据库的优势如何解决
云原生关系型数据库PolarDB问题之PolarDB相比传统商用数据库的优势如何解决
39 1
|
5天前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
7天前
|
运维 Kubernetes Cloud Native
云原生技术:容器化与微服务架构的完美结合
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术以其灵活性和高效性成为企业的新宠。本文将深入探讨云原生的核心概念,包括容器化技术和微服务架构,以及它们如何共同推动现代应用的发展。我们将通过实际代码示例,展示如何在Kubernetes集群上部署一个简单的微服务,揭示云原生技术的强大能力和未来潜力。
|
8天前
|
消息中间件 存储 Cloud Native
云原生架构下的数据一致性挑战与应对策略####
本文探讨了在云原生环境中,面对微服务架构的广泛应用,数据一致性问题成为系统设计的核心挑战之一。通过分析云原生环境的特点,阐述了数据不一致性的常见场景及其对业务的影响,并深入讨论了解决这些问题的策略,包括采用分布式事务、事件驱动架构、补偿机制以及利用云平台提供的托管服务等。文章旨在为开发者提供一套系统性的解决方案框架,以应对在动态、分布式的云原生应用中保持数据一致性的复杂性。 ####

相关产品

  • 云原生数据库 PolarDB