云原生数据库POLARDB的应用探索

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 某金融支付公司资深DBA赵怀刚为大家带来云原生数据库POLARDB的应用探索的介绍。内容包括为什么选择POLARDB,相比RDS、MySQL有哪些新特性和优势,以及最佳适用场景的探索和实践。

【MVP时间】线上峰会,一键收藏

《云原生数据库POLARDB的应用探索》精彩直播

以下是精彩视频内容整理,主要内容为三个方面:
一、云原生数据库POLARDB;
二、POLARDB应用场景;
三、未来期待。

一、云原生数据库POLARDB

(一)业务发展中遇到的数据库问题

我们以典型的主备架构为例,左边这个图是一个双可用区(同城异地容灾)的高可用架构。这种典型的主备架构已经可以满足我们大多数的业务场景的需求。但是我们在实际的使用过程当中,也遇到了一些问题。

(1)升级变配慢

变配有可能发生数据迁移,可能需要数小时,甚至更久。

(2)新增只读节点慢

根据备份/日志大小,有可能需要数小时,甚至更久。

(3)存储空间有上限

存储空间跟计算规格关联,升级存储要同时升级计算规格,而且存在上限。

(4)主备延时

主库大表DDL后会导致备库延时,延时期间无法查询到最新数据。

image.png

(二)POLARDB从集中式到共享存储

POLARDB是一个从集中式到共享存储的架构的演变,也是一个原生的计算存储分离的架构。

最底层是一个分布式的共享存储,上面是计算节点。
优势:第一,存储计算分离,快速的新增只读节点,实例升降级。第二,存储分布式,最大100TB存储空间,分钟级备份。第三,基于redo log物理复制,只读节点延时更小。第四,智能代理转发,透明读写分离,负载均衡。
劣势:第一,DB节点扩展能力受限。第二,存储扩展能力及IO性能依赖高端共享存储。
image.png

(三)产品对比

将RDS与POLARDB从不同的维度做一个比较,如下图所示。
image.png

(四)基准测试对比

将POLARDB与Oracle作基准测试对比,基于单表5千万以上的存量数据做查询、写入和更新操作,比较不同规格的性能指标。测试结论如下图所示。

image.png

将POLARDB与RDS作基准测试对比,基于单表5千万以上的存量数据做查询、写入和更新操作,比较不同数据库间的性能指标。测试结论为,相同场景下POLARDB MySQL具有更大的吞吐量,但RDS的RT更快。
image.png

(五)POLARDB并行查询特性

POLARDB有并行查询特性,在存储层将数据分片到不同的线程上,多个线程并行计算,将结果流水线汇总到总线程,最后总线程做些简单归并返回给用户。
image.png

如下图所示,通过调整max_parallel_degree参数,使用8个并发线程执行后,性能提升了3倍。
image.png

二、POLARDB应用场景

(一)高并发读写

第一个场景是一个高并发读写的场景,存在大并发的这种复杂的读写和更新。而且业务上对响应的时间是比较敏感的,要求整个应用的响应时间不要超过一秒。如果超过一秒的话,有可能就会造成业务上的超时,影响交易。
image.png

有对相同规格的RDS、POLARDB主地址、POLARDB读写分离地址相同场景下测试,经过参数优化后的POLARDB主地址直连模式有更优的表现。优化后CPU的使用率相比优化前有所提高,使用率也相对稳定,不存在波动。
image.png

(二)新主从关系

新的主从关系,通过DTS数据同步服务把数据同步到POLARDB,POLARDB维护必须的索引、采用面向OLAP的引擎。利用POLARDB大存储、并行查询的能力。架构更灵活,POLARDB开启日志,所有数据访问需求通过这里进行汇聚与分发。
image.png

(三)拆分表聚合

分库分表的不好之处是,所有SQL都要带上拆分键,不支持全局二级索引,否则会全表扫描。当表特别大的时候,DDL变更会导致只读延时很久。如果把拆分的表聚合到一张表,利用POLARDB的并行计算能力,满足实时在线分析。对DDL进行控制,不耦合主库,则不存在主从延时。
image.png

三、未来期待

(一)存储成本

每个数据库都有自身的优势,我们可以结合自己的业务场景,还有一些成本的考虑来做好一些技术的选型。

POLARDB的存储成本相对来说是还是比较贵一点。如下图所示,这里包含计算节点的和存储节点的费用。总的来说,POLARDB计算资源性价比更高,存储成本相对高一些。所以说我们要结合业务场景,数据库本身的特性,还有成本来综合的考虑,做好技术选型。
image.png

(二)云原生+分布式+HTAP

最后提一下云原生,分布式和HTAP,这三个都是非常流行的技术。就像阿里数据库掌门人李飞飞教授所说的,原生数据库就像一辆跑车,而传统的数据库就像马车,会被淘汰掉。

云原生数据库,兼容开源的生态。我们在实际的使用过程当中有更多的诉求,希望它能够集HTAP事务处理和分析一体化,打造智能的企业级数据库。

image.png

关键词:POLARDB,云原生,数据库,分布式,并行查询

【MVP时间】线上峰会,一键收藏

《云原生数据库POLARDB的应用探索》精彩直播

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
1月前
|
存储 Oracle 关系型数据库
Oracle数据库的应用场景有哪些?
【10月更文挑战第15天】Oracle数据库的应用场景有哪些?
161 64
|
29天前
|
Cloud Native 安全 物联网
云原生技术在现代软件开发中的应用与挑战####
云原生,这一词汇如同一股强劲的科技风暴,席卷了整个信息技术领域,它不仅重塑了软件的开发模式,还引领了一场关于效率、可扩展性和弹性的深刻变革。本文旨在深入探讨云原生技术的核心概念,分析其在现代软件开发中的广泛应用,并直面伴随其发展而来的挑战,为读者勾勒出一幅既充满机遇又不乏考验的云原生技术图景。 ####
|
1月前
|
关系型数据库 MySQL 分布式数据库
零基础教你用云数据库PolarDB搭建企业网站,完成就送桌面收纳桶!
零基础教你用云数据库PolarDB搭建企业网站,完成就送桌面收纳桶,邀请好友完成更有机会获得​小米Watch S3、小米体重称​等诸多好礼!
零基础教你用云数据库PolarDB搭建企业网站,完成就送桌面收纳桶!
|
3天前
|
监控 Cloud Native 持续交付
云原生技术在现代企业中的应用与实践
本文将深入探讨云原生技术如何改变现代企业的运作模式,提升业务灵活性和创新能力。通过实际案例分析,我们将揭示云原生架构的关键要素、实施步骤以及面临的挑战,为读者提供一套清晰的云原生转型指南。
|
10天前
|
Kubernetes Cloud Native 持续交付
云原生技术在现代软件开发中的应用与挑战
【10月更文挑战第37天】随着云计算技术的不断演进,云原生技术已经成为推动软件开发现代化的重要力量。本文将深入探讨云原生技术的核心概念、优势以及面临的挑战,并通过一个实际的代码示例,展示如何在云原生环境中部署一个简单的应用。我们将从云原生的基础架构出发,逐步引导读者理解其在现代软件开发中的关键作用。
22 1
|
14天前
|
缓存 NoSQL 数据库
运用云数据库 Tair 构建缓存为应用提速,完成任务得苹果音响、充电套装等好礼!
本活动将带大家了解云数据库 Tair(兼容 Redis),通过体验构建缓存以提速应用,完成任务,即可领取罗马仕安卓充电套装,限量1000个,先到先得。邀请好友共同参与活动,还可赢取苹果 HomePod mini、小米蓝牙耳机等精美好礼!
|
21天前
|
SQL Java 数据库连接
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率。本文介绍了连接池的工作原理、优势及实现方法,并提供了HikariCP的示例代码。
35 3
|
21天前
|
存储 Java 关系型数据库
在Java开发中,数据库连接是应用与数据交互的关键环节。本文通过案例分析,深入探讨Java连接池的原理与最佳实践
在Java开发中,数据库连接是应用与数据交互的关键环节。本文通过案例分析,深入探讨Java连接池的原理与最佳实践,包括连接创建、分配、复用和释放等操作,并通过电商应用实例展示了如何选择合适的连接池库(如HikariCP)和配置参数,实现高效、稳定的数据库连接管理。
40 2
|
23天前
|
敏捷开发 Cloud Native 持续交付
云原生技术在现代企业中的应用与实践
【10月更文挑战第23天】本文将深入探讨云原生技术在现代企业中的广泛应用,并结合具体案例分析其对企业数字化转型的推动作用。我们将从云原生技术的基本原理出发,逐步揭示其在提高业务敏捷性、降低成本和增强系统可靠性方面的优势。同时,文章还将分享一系列成功实施云原生技术的企业案例,为读者提供实践中的参考和启示。最后,我们将讨论云原生技术面临的挑战及未来的发展趋势,为企业在这一领域的进一步探索提供指导。
|
24天前
|
Cloud Native 持续交付 云计算
云原生技术深度探索:构建现代化应用的基石####
【10月更文挑战第21天】 本文将深入探讨云原生技术的核心概念、关键技术及其在现代软件开发中的应用。我们将从容器化、微服务架构、持续集成/持续部署(CI/CD)、无服务器架构等关键方面展开,揭示这些技术如何共同作用,帮助企业实现高效、弹性且易于维护的应用部署与管理。通过实例分析,展现云原生技术在实际项目中的显著优势,为读者提供一套全面理解并应用云原生技术的指南。 ####
33 2
下一篇
无影云桌面