云原生数据库POLARDB的应用探索

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 某金融支付公司资深DBA赵怀刚为大家带来云原生数据库POLARDB的应用探索的介绍。内容包括为什么选择POLARDB,相比RDS、MySQL有哪些新特性和优势,以及最佳适用场景的探索和实践。

【MVP时间】线上峰会,一键收藏

《云原生数据库POLARDB的应用探索》精彩直播

以下是精彩视频内容整理,主要内容为三个方面:
一、云原生数据库POLARDB;
二、POLARDB应用场景;
三、未来期待。

一、云原生数据库POLARDB

(一)业务发展中遇到的数据库问题

我们以典型的主备架构为例,左边这个图是一个双可用区(同城异地容灾)的高可用架构。这种典型的主备架构已经可以满足我们大多数的业务场景的需求。但是我们在实际的使用过程当中,也遇到了一些问题。

(1)升级变配慢

变配有可能发生数据迁移,可能需要数小时,甚至更久。

(2)新增只读节点慢

根据备份/日志大小,有可能需要数小时,甚至更久。

(3)存储空间有上限

存储空间跟计算规格关联,升级存储要同时升级计算规格,而且存在上限。

(4)主备延时

主库大表DDL后会导致备库延时,延时期间无法查询到最新数据。

image.png

(二)POLARDB从集中式到共享存储

POLARDB是一个从集中式到共享存储的架构的演变,也是一个原生的计算存储分离的架构。

最底层是一个分布式的共享存储,上面是计算节点。
优势:第一,存储计算分离,快速的新增只读节点,实例升降级。第二,存储分布式,最大100TB存储空间,分钟级备份。第三,基于redo log物理复制,只读节点延时更小。第四,智能代理转发,透明读写分离,负载均衡。
劣势:第一,DB节点扩展能力受限。第二,存储扩展能力及IO性能依赖高端共享存储。
image.png

(三)产品对比

将RDS与POLARDB从不同的维度做一个比较,如下图所示。
image.png

(四)基准测试对比

将POLARDB与Oracle作基准测试对比,基于单表5千万以上的存量数据做查询、写入和更新操作,比较不同规格的性能指标。测试结论如下图所示。

image.png

将POLARDB与RDS作基准测试对比,基于单表5千万以上的存量数据做查询、写入和更新操作,比较不同数据库间的性能指标。测试结论为,相同场景下POLARDB MySQL具有更大的吞吐量,但RDS的RT更快。
image.png

(五)POLARDB并行查询特性

POLARDB有并行查询特性,在存储层将数据分片到不同的线程上,多个线程并行计算,将结果流水线汇总到总线程,最后总线程做些简单归并返回给用户。
image.png

如下图所示,通过调整max_parallel_degree参数,使用8个并发线程执行后,性能提升了3倍。
image.png

二、POLARDB应用场景

(一)高并发读写

第一个场景是一个高并发读写的场景,存在大并发的这种复杂的读写和更新。而且业务上对响应的时间是比较敏感的,要求整个应用的响应时间不要超过一秒。如果超过一秒的话,有可能就会造成业务上的超时,影响交易。
image.png

有对相同规格的RDS、POLARDB主地址、POLARDB读写分离地址相同场景下测试,经过参数优化后的POLARDB主地址直连模式有更优的表现。优化后CPU的使用率相比优化前有所提高,使用率也相对稳定,不存在波动。
image.png

(二)新主从关系

新的主从关系,通过DTS数据同步服务把数据同步到POLARDB,POLARDB维护必须的索引、采用面向OLAP的引擎。利用POLARDB大存储、并行查询的能力。架构更灵活,POLARDB开启日志,所有数据访问需求通过这里进行汇聚与分发。
image.png

(三)拆分表聚合

分库分表的不好之处是,所有SQL都要带上拆分键,不支持全局二级索引,否则会全表扫描。当表特别大的时候,DDL变更会导致只读延时很久。如果把拆分的表聚合到一张表,利用POLARDB的并行计算能力,满足实时在线分析。对DDL进行控制,不耦合主库,则不存在主从延时。
image.png

三、未来期待

(一)存储成本

每个数据库都有自身的优势,我们可以结合自己的业务场景,还有一些成本的考虑来做好一些技术的选型。

POLARDB的存储成本相对来说是还是比较贵一点。如下图所示,这里包含计算节点的和存储节点的费用。总的来说,POLARDB计算资源性价比更高,存储成本相对高一些。所以说我们要结合业务场景,数据库本身的特性,还有成本来综合的考虑,做好技术选型。
image.png

(二)云原生+分布式+HTAP

最后提一下云原生,分布式和HTAP,这三个都是非常流行的技术。就像阿里数据库掌门人李飞飞教授所说的,原生数据库就像一辆跑车,而传统的数据库就像马车,会被淘汰掉。

云原生数据库,兼容开源的生态。我们在实际的使用过程当中有更多的诉求,希望它能够集HTAP事务处理和分析一体化,打造智能的企业级数据库。

image.png

关键词:POLARDB,云原生,数据库,分布式,并行查询

【MVP时间】线上峰会,一键收藏

《云原生数据库POLARDB的应用探索》精彩直播

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
14天前
|
运维 Cloud Native 持续交付
深入理解云原生架构及其在现代企业中的应用
随着数字化转型的浪潮席卷全球,企业正面临着前所未有的挑战与机遇。云计算技术的迅猛发展,特别是云原生架构的兴起,正在重塑企业的IT基础设施和软件开发模式。本文将深入探讨云原生的核心概念、关键技术以及如何在企业中实施云原生策略,以实现更高效的资源利用和更快的市场响应速度。通过分析云原生架构的优势和面临的挑战,我们将揭示它如何助力企业在激烈的市场竞争中保持领先地位。
|
14天前
|
运维 Cloud Native 安全
云原生技术在现代企业中的应用与挑战####
本文探讨了云原生技术在现代企业IT架构中的关键作用,分析了其带来的优势和面临的主要挑战。通过实际案例分析,揭示了如何有效应对这些挑战,以实现业务敏捷性和技术创新的平衡。 ####
|
11天前
|
Cloud Native 持续交付 开发者
云原生技术在现代企业中的应用与实践####
本文深入探讨了云原生技术的核心概念及其在现代企业IT架构转型中的关键作用,通过具体案例分析展示了云原生如何促进企业的敏捷开发、高效运维及成本优化。不同于传统摘要仅概述内容,本部分旨在激发读者对云原生领域的兴趣,强调其在加速数字化转型过程中的不可或缺性,为后续详细论述奠定基础。 ####
|
17天前
|
Kubernetes Cloud Native 物联网
云原生技术在现代软件开发中的应用与挑战####
本文探讨了云原生技术的兴起背景、核心理念及其在现代软件开发中的广泛应用。通过具体案例分析,揭示了云原生架构如何促进企业数字化转型,并指出了在实施过程中面临的主要挑战及应对策略。 ####
|
6天前
|
人工智能 缓存 异构计算
云原生AI加速生成式人工智能应用的部署构建
本文探讨了云原生技术背景下,尤其是Kubernetes和容器技术的发展,对模型推理服务带来的挑战与优化策略。文中详细介绍了Knative的弹性扩展机制,包括HPA和CronHPA,以及针对传统弹性扩展“滞后”问题提出的AHPA(高级弹性预测)。此外,文章重点介绍了Fluid项目,它通过分布式缓存优化了模型加载的I/O操作,显著缩短了推理服务的冷启动时间,特别是在处理大规模并发请求时表现出色。通过实际案例,展示了Fluid在vLLM和Qwen模型推理中的应用效果,证明了其在提高模型推理效率和响应速度方面的优势。
云原生AI加速生成式人工智能应用的部署构建
|
8天前
|
Cloud Native 关系型数据库 分布式数据库
PolarDB 分布式版 V2.0,安全可靠的集中分布式一体化数据库管理软件
阿里云PolarDB数据库管理软件(分布式版)V2.0 ,安全可靠的集中分布式一体化数据库管理软件。
|
11天前
|
Cloud Native JavaScript Docker
云原生技术:构建现代应用的基石
在数字化转型的浪潮中,云原生技术如同一艘承载梦想的航船,引领企业驶向创新与效率的新海域。本文将深入探索云原生技术的核心价值,揭示其如何重塑软件开发、部署和运维模式,同时通过一个简易代码示例,展现云原生应用的构建过程,让读者领略到云原生技术的魅力所在。
|
27天前
|
架构师 数据库
大厂面试高频:数据库乐观锁的实现原理、以及应用场景
数据库乐观锁是必知必会的技术栈,也是大厂面试高频,十分重要,本文解析数据库乐观锁。关注【mikechen的互联网架构】,10年+BAT架构经验分享。
大厂面试高频:数据库乐观锁的实现原理、以及应用场景
|
18天前
|
消息中间件 Cloud Native 持续交付
云原生技术在现代企业中的应用与优势###
本文深入探讨了云原生技术在现代企业中的具体应用及其带来的显著优势。随着云计算的普及,云原生作为一种新兴的技术架构,正逐渐成为企业数字化转型的关键驱动力。文章将详细介绍云原生的核心概念、主要技术组件以及在实际业务场景中的成功案例,旨在为读者提供一个全面且实用的参考框架,以便更好地理解和应用云原生技术。 ###
|
25天前
|
监控 Cloud Native 持续交付
云原生技术在现代企业中的应用与实践
本文将深入探讨云原生技术如何改变现代企业的运作模式,提升业务灵活性和创新能力。通过实际案例分析,我们将揭示云原生架构的关键要素、实施步骤以及面临的挑战,为读者提供一套清晰的云原生转型指南。