阿里云原生数据库POLARDB压力测试报告

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库,其最大的特色是计算节点(主要做SQL解析以及存储引擎计算的服务器)与存储节点(主要做数据块存储,数据库快照的服务器)分离,其次,与传统的云数据库一个实例一份数据拷贝不同,同一个实例的所有节点(包括读写节点和只读.

POLARDB介绍

POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库,其最大的特色是计算节点(主要做SQL解析以及存储引擎计算的服务器)与存储节点(主要做数据块存储,数据库快照的服务器)分离,其次,与传统的云数据库一个实例一份数据拷贝不同,同一个实例的所有节点(包括读写节点和只读节点)都访问存储节点上的同一份数据,最后,借助优秀的RDMA网络以及最新的块存储技术,PolarDB的数据备份耗时可以做到秒级别(备份时间与底层数据量无关),这三点相结合,我们可以推断出POLARDB不但满足了公有云计算环境下用户业务快速弹性扩展的刚性需求(只读实例扩展时间与底层数据量无关),同时也满足了互联网环境下用户对数据库服务器高可用的需求(服务器宕机后无需搬运数据重启进程即可服务)。

以下测试来自于袋鼠云技术部。

POLARDB架构

POLARDB_

一写多读

POLARDB采用分布式集群架构,一个集群包含一个主实例和至少一个只读实例(暂时仅支持一个,用于保障高可用)。主实例处理读写请求,只读实例仅处理读请求。主实例和只读实例之间采用Active-Active的Failover方式,提供数据库的高可用服务。

计算与存储分离

POLARDB采用计算与存储分离的设计理念,满足公有云计算环境下用户业务弹性扩展的刚性需求。数据库的计算节点(DB Server)仅存储元数据,而将数据文件、Redo Log等存储于远端的存储节点(Chunk Server)。各计算节点之间仅需同步Redo Log相关的元数据信息,极大降低了主实例和只读实例间的延迟,而且在主实例故障时,只读实例可以快速切换为主服务器。

读写分离

读写分离数据库接入功能,是POLARDB集群默认免费提供的一个透明、高可用、自适应的负载均衡能力。通过读写分离地址,SQL请求自动转发到POLARDB集群的各个实例,提供聚合、高吞吐的并发SQL处理能力。

高速链路互联

数据库的计算节点和存储节点之间采用高速网络互联,并通过RDMA协议进行数据传输,使得I/O性能不再成为瓶颈。

共享分布式存储

多个计算节点共享一份数据,而不是每个计算节点都存储一份数据,极大降低了用户的存储成本。基于全新打造的分布式块设备和文件系统,存储容量可以在线平滑扩展,不会受到单机服务器配置的影响,可应对上百TB级别的数据规模。

数据多副本、Parallel-Raft协议

数据库存储节点的数据采用多副本形式,确保数据的可靠性,并通过Parallel-Raft协议保证数据的一致性。
优点:
备份速度快,增加只读节点速度快。
只读实例无延迟。

参数
POLARDB默认关闭了doublewrite buffer,关闭了binlog。
image

压测方案

使用sysbench oltp标准压测程序分别压测读、写两种场景的性能。

环境准备
PolarDB: 8C64G
ECS:2C2G, CentOS 2.7(三台)
Sysbench 0.5

sysbench安装
yum -y install mysql-devel 

yum -y install automake 

yum -y install libtool 

wget https://github.com/akopytov/sysbench/archive/0.5.zip
unzip 0.5.zip
cd sysbench-0.5
./autogen.sh
./configure
make
cd sysbench

压测步骤

准备数据
$sysbench_path/sysbench --test=$sysbench_path/tests/db/oltp.lua --mysql-host=$ip --mysql-port=3306 --mysql-user=$mysql_user --mysql-password=$mysql_password --mysql-db=$table_name --mysql-table-engine=innodb --oltp-table-size=$[$table_size/10] --oltp-tables-count=$oltp_tables_count -db-driver=mysql prepare

注意事项:
1.如果测试POLARDB不能使用外网连接串(时延高难以达到最佳性能)使用非VPC的内网连接串要达到最佳的性能需要使用3~4台ECS同时进行压测才能发挥Polardb最佳性能,使用VPC网络单台ECS压测就能达到POLARDB最佳的性能(建议使用VPC连接串)

2.POLARDB的特点是读写分离,sysbench测试时需要单独测试读和写,避免使用读写混合sysbench命令测试,这样能最大的发挥POLARDB的性能优势,详细测试命令如下:

压测写性能

使用sysbench准备数据,单表1000万数据,总共100个表,每个表的空间大约2G。
$sysbenchpath/sysbench --test=$sysbenchpath/tests/db/oltp.lua --mysql-host=$ip --oltp-tables-count=$oltp_tables_count --mysql-user=$mysql_user --mysql-password=$mysql_password --mysql-port=3306 --db-driver=mysql --oltp-table-size=$[$table_size/10] --mysql-db=$table_name --max-requests=$[$table_size/10] --max-time=$max_time --oltp_simple_ranges=0 --oltp-distinct-ranges=0 --oltp-sum-ranges=0 --oltporder-ranges=0 --oltp-point-selects=0 --num-threads=$threads --randtype=uniform run

压测读性能

压测选用5个表,每个表1000万数据,总共1亿条数据进行压测。分表采用1,2,4,8,16,32个并发测试写入性能。
$sysbenchpath/sysbench --test=$sysbenchpath/tests/db/oltp.lua --mysql-host=$ip --oltp-tables-count=$oltp_tables_count --mysql-user=$mysql_user --mysql-password=$mysql_password --mysql-port=3306 --db-driver=mysql --oltp-table-size=$[$table_size/10] --mysql-db=$table_name --max-requests=$[$table_size/10] --oltp_simple_ranges=0 --oltp-distinct-ranges=0 --oltp-sum-ranges=0 --oltp-order-ranges=0 --max-time=$max_time --oltp-read-only=on --num-threads=$threads run

注:

  $sysbench_path:sysbench源码位置
$ip数据库的IP地址者公网连接串
$mysql_user 数据库用户名
$mysql_password 数据库密码
$table_name 数据库的名字
$oltp_tables_count 数据库表的数量
$table_size 数据库表的大小

压测结果

读取性能压测结果

在32个并发的时候,取得了最好的读区性能,读取QPS为46813.94,平均SQL响应时间2.05毫秒。
image
bbbbf5ce278d2494f58716d1545be7bec97b6073

写性能压测结果
32个并发的时候,取得了最好的写入性能,写QPS为156273.72,平均事物响应时间5.09毫秒。
image
f3ed45882e5e9b7ee339babfceaad2a53f87c0b0

看文福利!每天可抽奖,代金券,天猫精灵等奖品等你拿!点击进入抽奖页面

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
5天前
|
Cloud Native 关系型数据库 OLAP
云原生数据仓库产品使用合集之阿里云云原生数据仓库AnalyticDB PostgreSQL版的重分布时间主要取决的是什么
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
5天前
|
运维 Cloud Native 关系型数据库
云原生数据仓库产品使用合集之原生数据仓库AnalyticDB PostgreSQL版如果是列存表的话, adb支持通过根据某个字段做upsert吗
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
4天前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之在使用 DataWorks 数据集成同步 PostgreSQL 数据库中的 Geometry 类型数据如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
12 0
|
4天前
|
分布式计算 关系型数据库 大数据
MaxCompute产品使用合集之怎么才可以将 PostgreSQL 中的 geometry 空间类型字段同步到 MaxCompute 或另一个 PostgreSQL 数据库
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4天前
|
关系型数据库 MySQL 测试技术
【专栏】将 PostgreSQL 迁移到 MySQL 数据库
【4月更文挑战第29天】本文探讨了PostgreSQL数据库向MySQL迁移的过程、挑战及策略。迁移步骤包括评估规划、数据导出与转换、创建MySQL数据库、数据导入。挑战包括数据类型不匹配、函数和语法差异、数据完整性和性能问题。应对策略涉及数据类型映射、代码调整、数据校验和性能优化。迁移后需进行数据验证、性能测试和业务验证,确保顺利过渡。在数字化时代,掌握数据库迁移技能对技术人员至关重要。
|
4天前
|
运维 关系型数据库 分布式数据库
PolarDB产品使用合集之在选择分布式数据库时,主要考虑是什么
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
6天前
|
存储 关系型数据库 MySQL
【专栏】MySQL vs. PostgreSQL:选择适合你的开源数据库
【4月更文挑战第27天】MySQL与PostgreSQL是两大主流开源数据库,各有特色。MySQL注重简单、便捷和高效,适合读操作密集场景,而PostgreSQL强调灵活、强大和兼容,擅长并发写入与复杂查询。MySQL支持多种存储引擎和查询缓存,PostgreSQL则具备扩展性、强事务支持和高可用特性。选择时应考虑项目需求、团队技能和预期收益。
|
12天前
|
网络协议 安全 测试技术
性能工具之emqtt-bench BenchMark 测试示例
【4月更文挑战第19天】在前面两篇文章中介绍了emqtt-bench工具和MQTT的入门压测,本文示例 emqtt_bench 对 MQTT Broker 做 Beachmark 测试,让大家对 MQTT消息中间 BenchMark 测试有个整体了解,方便平常在压测工作查阅。
87 6
性能工具之emqtt-bench BenchMark 测试示例
|
24天前
|
测试技术 C语言
网站压力测试工具Siege图文详解
网站压力测试工具Siege图文详解
27 0
|
6天前
|
机器学习/深度学习 数据采集 人工智能
【专栏】利用AI辅助工具提高软件测试效率与准确性
【4月更文挑战第27天】本文探讨了AI在软件测试中的应用,如自动执行测试用例、识别缺陷和优化测试设计。AI辅助工具利用机器学习、自然语言处理和图像识别提高效率,但面临数据质量、模型解释性、维护更新及安全性挑战。未来,AI将更注重用户体验,提升透明度,并在保护隐私的同时,通过联邦学习等技术共享知识。AI在软件测试领域的前景广阔,但需解决现有挑战。

相关产品

  • 云原生数据库 PolarDB