YashanDB共享集群产品能力观测:细节足见功底

简介: 本文根据前泽塔数科研发总监王若楠在“2024年国产数据库创新生态大会”上的演讲整理,全面测试了崖山共享集群YAC的架构、功能、高可用性与性能。测试结果显示,YAC具备全对称架构,兼容Oracle特性,高可用场景下RPO=0且RTO<15秒,四节点集群性能高达520万tpmC。其资源控制精细、功能丰富,展现出卓越的稳定性和成熟度,为国产数据库替代Oracle RAC提供了有力支持。

本文基于前泽塔数科研发总监-王若楠2024年11月在“2024年国产数据库创新生态大会”-“根”技术专场的演讲整理形成,主要对崖山共享集群YAC的架构、功能、高可用性、性能四大方面进行全面测试,并分享了测试环境和测试结论。

年初,基于某些商业考量,我们团队对崖山共享集群数据库(YAC)进行了测试。起初,我持有怀疑态度,这既源于近年来数据库领域出现的乱象,也因为我作为共享存储架构研发人员,深知其中的技术难度。经过全面的测试后,崖山共享集群YAC的稳定性、成熟度、独特性均超出了我们的预期。

共享存储集群架构为什么如此重要?

以Oracle RAC为代表的共享存储集群架构,常被用于金融、电力等行业的核心系统上。目前国产替代已逐步进入深水区,面临的首要挑战之一就是Oracle RAC架构的替代。

用户在进行国产替代时,首要考虑的因素是确保关键业务系统实现长期稳定的运行以及服务的连续性。用户最担心发生软件BUG、硬件故障或掉电、网络中断、介质失效等故障时,出现数据丢失破坏或服务长时间中断的情况。因此**国产数据库必须满足两方面的诉求,一是数据高可用****,企业级要求数据零损失,RPO=0;二是服务高可用,服务中断时间RTO尽可能短。**除了满足上述高可用的前提下,用户还会追求性能及扩展性的最大化。相较于单机和分布式数据库集群,共享存储集群架构在高可用性、扩展性以及成本效益方面展现出更为显著的优势。

image.png

综上所述,核心业务系统中的功能性需求可以通过简单的修改和调整来满足。然而,高可用性、性能以及扩展性等问题,必须依赖于数据库的核心技术来解决。

YAC产品到底能力如何?

我们团队对崖山共享集群数据库(YAC)进行了全面的测试,覆盖了单机到四个节点的场景,具体包括产品架构、功能完整性、高可用性保障、性能表现四大方面。

1测试环境

128核X86架构,详细配置如下。
image.png

2架构层面

测试目标

  1. 测试YAC是否为全对称架构,每个节点都可进行读写。

  2. 测试产品的独特性。

测试项

  1. 针对第一点,我们主要对各个节点的读写性能表现进行了多种反复观测,发现四个节点的读写性能表现是相似的,四个节点均具备读写能力。

  2. 针对第二点我们主要查看了其进线程结构、存储结构、文件系统等,其存储文件系统进线程结构均不同于市面其他产品,具有自己的独特性与原创性。
    image.png

测试结论

YAC产品架构完备。架构及表现与RAC相同,四个节点均具备读写能力,读写性能表现相似。同时,产品存储结构、线程结构不同于市面上其他产品,具有自己的独特性。

3功能层面

测试目标

  1. 测试与Oracle的兼容度。

  2. 测试功能的完整性。

测试项
image.png

测试结论

产品系统表、系统视图、DBA视图、PL/SQL、事务、非自动提交及回滚方式、功能等与Oracle高度兼容。

在保持与Oracle和MySQL在细节功能及使用习惯上的一致性的同时,也对功能进行了丰富。

4高可用性

测试目标

测试YAC产品在性能极限的负载下,当系统故障时(软件BUG、硬件故障或掉电、网络中断、介质失效等),是否能做到数据不丢失(RPO=0),服务中断时间很短(RTO<30S)。

测试项
image.png

测试结论

YAC产品在性能极限的负载下做高可用测试,所测故障场景均可做到正确的识别切换,RPO=0,RTO<15S,一致性正确。

5性能层面

测试目标

  1. 测试单机的极限性能值。

  2. 测试集群对单节点性能的影响。

  3. 测试YAC扩展性。

测试结论

image.png

  1. YashanDB单机最高性能202万,且CPU占用率接近65%左右;

  2. YAC集群单实例最优194万,相对单机202万可知YAC集群架构几乎对单节点的性能没有影响;

  3. YAC四节点集群随节点数的增加,性能基本呈线性增长,四节点性能高达520万tpmC。

一句话评价:细节足见功底

从一个多年从事数据库内核研发工程师的角度看崖山数据库:细节足见功底。

测试过程中,我深刻感受到了崖山数据库的稳定。这个稳定既来源于产品的工程化能力和成熟度,也得益于在设计阶段对资源控制的精细考量。崖山数据库的这三个细节展示了其精细化的资源控制:

一是库内连接池功能亮眼。测试中崖山数据库的库内连接池功能是亮眼的,该功能对于维持系统不达到过高的压力水平和稳定性起到了至关重要的作用。

二是资源申请的极致控制。 在面临高压、高并发以及大内存使用的极端条件下,YAC都展现出了出色的稳定性,未发生内存溢出(OOM)等异常情况,且性能波动维持在极低水平。深入分析其参数配置,可以发现YAC对内存管理进行了精细划分与优化,包括更为合理的内存区域分配及大小设置,并采用了大页内存技术等高级策略。

三是资源及性能的可观测性。 该点也是常常被忽略,崖山数据库拥有与Oracle相似AWR性能报告,其独特之处在于采用了与Oracle相同的基于DB Time统计评估逻辑,这一特性使得性能监测更为全面且精准,为用户提供了极具指导价值的性能洞察。

同时测试中发现了崖山数据库具备一些少见的功能。比如闪回不但支持了Oracle的功能,同时还新增支持truncate闪回、本地swap表空间等功能,提升性能的同时,再一次体现了其精细资源管理的理念。

相关文章
|
11月前
|
关系型数据库 数据库 PostgreSQL
【YashanDB知识库】kettle同步PG至崖山提示no encryption pg_hba.conf记录
在使用 Kettle 进行 PostgreSQL 至崖山数据库的数据同步时,可能出现连接报错。原因是 `pg_hba.conf` 文件未正确配置 IP 连接规则。此文件控制客户端认证,决定哪些主机和用户可连接数据库。解决方法为:在 `pg_hba.conf` 中添加允许的 IP 规则(如 `host all all 10.9.7.54/32 md5`),并重启 PostgreSQL 服务使配置生效。该问题影响所有版本。
|
11月前
|
自然语言处理 搜索推荐 安全
满血上阵,DeepSeek x 低代码创造专属知识空间
本文介绍了如何结合阿里云百炼和魔笔平台,快速构建一个智能化的专属知识空间。通过利用DeepSeek R1等先进推理模型,实现高效的知识管理和智能问答系统。 5. **未来扩展**:探讨多租户隔离、终端用户接入等高级功能,以适应更大规模的应用场景。 通过这些步骤,用户可以轻松创建一个功能全面、性能卓越的知识管理系统,极大提升工作效率和创新能力。
1201 182
满血上阵,DeepSeek x 低代码创造专属知识空间
|
人工智能 固态存储 安全
一文告诉你CXL是什么,有什么新的机会 (上)
> 1. 大数据AI/ML应用爆发驱动大内存需求,但内存增长受限,CXL互联方案应运而生 > 2. CXL分为1.0/2.0/3.0版本,分别提供直连、池化、Fabric能力,预计在2022年/203年/2025年之后市场可用,目前看来池化对于软件的影响最大 > 3. CXL更多是对于已有架构的性能优化,全新的机会不多,较大的机会在于系统软件、内存即服务,以及内存数据库和内存云结构 > 4. CXL大概率将成为跨计算引擎的内存结构标准,短期利好云厂商,长期会数据中心架构产生结构性的变革
4015 0
|
7月前
|
关系型数据库 分布式数据库 数据库
|
7月前
|
存储 监控 物联网
一文解说RFID是如何对电动车进行管控的?
RFID技术助力电动车智能管理,应用于防盗、交通监控、充电结算等领域。通过电子标签、读写器和后台系统,实现车辆身份绑定、违章监测与自动扣费等功能,提升出行效率与城市交通管理水平。
|
11月前
|
缓存 监控 算法
JVM简介—2.垃圾回收器和内存分配策略
本文介绍了Java垃圾回收机制的多个方面,包括垃圾回收概述、对象存活判断、引用类型介绍、垃圾收集算法、垃圾收集器设计、具体垃圾回收器详情、Stop The World现象、内存分配与回收策略、新生代配置演示、内存泄漏和溢出问题以及JDK提供的相关工具。
JVM简介—2.垃圾回收器和内存分配策略
|
11月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于生物地理算法的MLP多层感知机优化matlab仿真
本程序基于生物地理算法(BBO)优化MLP多层感知机,通过MATLAB2022A实现随机数据点的趋势预测,并输出优化收敛曲线。BBO模拟物种在地理空间上的迁移、竞争与适应过程,以优化MLP的权重和偏置参数,提升预测性能。完整程序无水印,适用于机器学习和数据预测任务。
293 31
|
11月前
|
算法 调度 云计算
云计算任务调度优化matlab仿真,对比蚁群优化和蛙跳优化
本程序针对云计算任务调度优化问题,旨在减少任务消耗时间、提升经济效益并降低设备功耗。通过对比蚁群优化算法(ACO)与蛙跳优化算法(SFLA),分别模拟蚂蚁信息素路径选择及青蛙跳跃行为,在MATLAB2022A环境下运行测试。核心代码实现任务分配方案的动态调整与目标函数优化,结合任务集合T与服务器集合S,综合考量处理时间与能耗等约束条件,最终输出优化结果。两种算法各具优势,为云计算任务调度提供有效解决方案。
332 17
|
11月前
|
SQL 存储 缓存
【YashanDB知识库】要有好的跑批性能,有哪些参数要注意
本文来自YashanDB官网,主要探讨了在使用YashanDB进行批量任务时如何优化性能。文章列举了影响跑批性能的关键参数,并提供了最佳配置建议,涵盖空间划分、快照管理、统计信息收集及参数调整等方面。适用版本为YashanDB 23.2及以上。通过合理配置如REDO参数、IO模式、并行度和内存设置等,可显著提升批量任务的执行效率。更多性能调优内容可参考官方文档。
|
11月前
|
SQL Oracle 关系型数据库
【YashanDB知识库】同样建表语句,大整型数字在Oracle插入成功,在YashanDB插入失败
本文来自YashanDB官网,探讨在YashanDB与Oracle中执行相同建表语句时,插入大整型数字引发的错误(YAS-00013)。问题源于YashanDB的INT类型取值范围有限(-2,147,483,648~2,147,483,647),而Oracle的INT实际映射为NUMBER,支持更大数值。解决方案是将字段类型修改为Number或Bigint,以兼容大整型数据。此问题影响YashanDB所有版本,建议开发者根据数据需求调整字段类型以规避类似错误。