【赵渝强老师】MySQL的基准测试与sysbench

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 本文介绍了MySQL数据库的基准测试及其重要性,并详细讲解了如何使用sysbench工具进行测试。内容涵盖sysbench的安装、基本使用方法,以及具体测试MySQL数据库的步骤,包括创建测试数据库、准备测试数据、执行测试和清理测试数据。通过这些步骤,可以帮助读者掌握如何有效地评估MySQL数据库的性能。

b153.png


对数据库进行基准测试,以掌握数据库的性能情况是非常必要的。因此对数据库的性能指标进行定量的、可复现的、可对比的测试就显得非常的重要。


一、MySQL的基准测试与sysbench


MySQL的基准测试可以理解为是对数据库运行时的一种压力测试。但这样的测试不关心业务逻辑,更加简单、直接、易于测试。测试时使用的数据可以由工具生成,不要求真实。MySQL数据库基准测试时的关键指标包括以下3个方面:


  • TPS/QPS:衡量吞吐量。
  • 响应时间:包括平均响应时间、最小响应时间、最大响应时间、时间百分比等,其中时间百分比参考意义较大,如前95%的请求的最大响应时间。。
  • 并发量:同时处理的查询请求的数量。


MySQL利用sysbench基准测试工具可以很好地完成数据库的基准测试工作。sysbench支持多线程的工作,并且能够实现跨平台的安装部署。


视频讲解如下:


二、【实战】安装和使用sysbench


下面通过具体的步骤来演示如何安装sysbench,以及它的基本使用方法。


(1)sysbench可以通过yum方式直接进行安装,执行下面的语句。

curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | bash
yum -y install sysbench


(2)查看sysbench的版本信息。

sysbench --version
# 输出的信息如下:
sysbench 1.0.20


(3)查看sysbench的使用帮助。

sysbench --help
# 输出的信息如下:
Usage:
  sysbench [options]... [testname] [command]


其中:

  • options代表sysbench进行测试时所使用的参数,主要分为通用选项和MySQL专用选项。下表列举了具体的选项名称和它们的含义。


  • testname指定了要进行测试的名称。
  • command代表sysbench要执行的命令,包括prepare、run和cleanup三个命令:prepare是为测试提前准备数据;run是执行正式的测试;cleanup是在测试完成后对数据库进行清理。


(4)使用sysbench测试服务器的CPU性能 。

sysbench cpu --cpu-max-prime=20000 --threads=2 run

提示:sysbench对CPU的测试主要是进行素数的加法运算进行测试,其中:

--cpu-max-prime: 生成素数的数量上限。

--threads: 启动进行素数计算的线程数。


输出的信息如下:

sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)
Running the test with following options:
#指定线程个数
Number of threads: 2
Initializing random number generator from current time
#每个线程产生的素数上限为2万个
Prime numbers limit: 20000
Initializing worker threads...
Threads started!
CPU speed:
    #所有线程每秒完成了342.47次event
    events per second:       342.47
General statistics:
    total time:              10.0052s #共耗时10.0052秒
    total number of events:  3427    #在10.0052秒内共完成了3427次event
Latency (ms):
   min:                    2.67 #完成1次event最少耗时2.67ms
   avg:                    5.83 #完成所有events平均耗时5.83ms
   max:                   26.00 #完成1次event最大耗时26毫秒
   95th percentile:       13.95 #95%的events完成都在13.95ms完成
   sum:                19979.50 
Threads fairness:
    #平均每完成1713.5000次event,标准差是3.50
    events (avg/stddev):         1713.5000/3.50 
  
    #每个线程平均耗时9.9897秒,标准差为0.01event
    execution time (avg/stddev): 9.9897/0.01


(5)使用sysbench测试磁盘的IOPS,执行下面的语句。 

# 准备测试数据
sysbench fileio --file-total-size=1G --file-test-mode=rndrw \
--time=30 --max-requests=0 prepare

# 开始测试
sysbench fileio --file-total-size=1G --file-test-mode=rndrw \
--time=30 --max-requests=0 run

# 清除测试数据
sysbench fileio --file-total-size=1G --file-test-mode=rndrw \
--time=30 --max-requests=0 cleanup

提示:IOPS是Input/Output Per Second的缩写,即每秒的输入输出量(或读写次数)。它是衡量磁盘性能的主要指标之一。IOPS的计算公式如下:

IOPS = (Throughput read + Throughput written) * 1024 / 16kb


输出的信息如下:

sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)
Running the test with following options:
Number of threads: 1
Initializing random number generator from current time
Extra file open flags: (none)
128 files, 8MiB each
1GiB total file size
Block size 16KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Initializing worker threads...
Threads started!
File operations:
    reads/s:                      3372.32
    writes/s:                     2248.21
    fsyncs/s:                     7195.38
Throughput:
    read, MiB/s:                  52.69
    written, MiB/s:               35.13
General statistics:
    total time:                   30.0309s
    total number of events:       384769
Latency (ms):
         min:                     0.00
         avg:                     0.08
         max:                    18.82
         95th percentile:         0.31
         sum:                 29737.74
Threads fairness:
    events (avg/stddev):           384769.0000/0.00
    execution time (avg/stddev):   29.7377/0.00
# 从上面的测试数据可以计算出当前磁盘的IOPS为:
IOPS=(52.69+35.13)*1024/16=5620.48



三、【实战】使用sysbench测试MySQL数据库


sysbench提供了相关的lua脚本对数据库的性能进行测试。这些脚本可以在目录“/usr/share/sysbench/”下找到。下面列出了这些lua的脚本。

tree /usr/share/sysbench/  -P *.lua 
/usr/share/sysbench/
 bulk_insert.lua
 oltp_common.lua
 oltp_delete.lua
 oltp_insert.lua
 oltp_point_select.lua
 oltp_read_only.lua
 oltp_read_write.lua
 oltp_update_index.lua
 oltp_update_non_index.lua
 oltp_write_only.lua
 select_random_points.lua
 select_random_ranges.lua
 tests
     include
        inspect.lua
        oltp_legacy
            bulk_insert.lua
            common.lua
            delete.lua
            insert.lua
            oltp.lua
            oltp_simple.lua
            parallel_prepare.lua
            select.lua
            select_random_points.lua
            select_random_ranges.lua
            update_index.lua
            update_non_index.lua
     t


下面通过具体的步骤来演示如何使用sysbench提供的lua脚本测试MySQL数据库。视频讲解如下:


(1)创建测试数据库sysbenchdemo。

mysql -hlocalhost -P3306 -uroot -pWelcome_1 \
-e 'create database sysbenchdemo'


(2)准备测试数据。

sysbench /usr/share/sysbench/oltp_insert.lua  \
         --mysql-host=localhost \
         --mysql-port=3306 \
         --mysql-socket=/tmp/mysql.sock \
         --mysql-user=root \
         --mysql-password=Welcome_1 \
         --mysql-db=sysbenchdemo \
         --db-driver=mysql \
         --tables=5 \
         --table-size=100000 \
         --time=180 prepare

提示:这调用了sysbench提供的脚本“/usr/share/sysbench/oltp_insert.lua”创建了5张表,并且往每张表中插入了100000条记录。


输出的信息如下:

sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)
Creating table 'sbtest1'...
Inserting 100000 records into 'sbtest1'
Creating a secondary index on 'sbtest1'...
Creating table 'sbtest2'...
Inserting 100000 records into 'sbtest2'
Creating a secondary index on 'sbtest2'...
Creating table 'sbtest3'...
Inserting 100000 records into 'sbtest3'
Creating a secondary index on 'sbtest3'...
Creating table 'sbtest4'...
Inserting 100000 records into 'sbtest4'
Creating a secondary index on 'sbtest4'...
Creating table 'sbtest5'...
Inserting 100000 records into 'sbtest5'
Creating a secondary index on 'sbtest5'...


(3)开始进行测试。

sysbench /usr/share/sysbench/oltp_insert.lua  \
         --mysql-host=localhost \
         --mysql-port=3306 \
         --mysql-socket=/tmp/mysql.sock \
         --mysql-user=root \
         --mysql-password=Welcome_1 \
         --mysql-db=sysbenchdemo \
         --db-driver=mysql \
         --tables=5 \
         --table-size=100000 \
         --time=180 run

# 输出的信息如下:
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)
Running the test with following options:
Number of threads: 1
Initializing random number generator from current time
Initializing worker threads...
Threads started!
SQL statistics:
    queries performed:
        read:                 0
        # 总的写次数
        write:                175062
        other:                0
        total:                175062
    # 总的事务数和每秒事务数
    transactions:             175062 (972.55 per sec.)
    queries:                  175062 (972.55 per sec.)
    ignored errors:           0      (0.00 per sec.)
    reconnects:               0      (0.00 per sec.)
General statistics:
    # 总的执行时间和事件数
    total time:               180.0014s
    total number of events:   175062
# 延时的统计信息
Latency (ms):
         min:                      0.62
         avg:                      1.02
         max:                     94.24
         95th percentile:          1.58
         sum:                 179185.02
Threads fairness:
    events (avg/stddev):           175062.0000/0.00
    execution time (avg/stddev):   179.1850/0.00


(4)清理测试数据。

sysbench /usr/share/sysbench/oltp_insert.lua  \
         --mysql-host=localhost \
         --mysql-port=3306 \
         --mysql-socket=/tmp/mysql.sock \
         --mysql-user=root \
         --mysql-password=Welcome_1 \
         --mysql-db=sysbenchdemo \
         --db-driver=mysql \
         --tables=5 \
         --table-size=100000 \
         --time=180 cleanup



相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
存储 关系型数据库 MySQL
【赵渝强老师】执行MySQL的冷备份与冷恢复
冷备份是在数据库关闭状态下进行的备份,速度快且恢复简单,但备份期间数据库不可用。本文通过一个MySQL数据库的示例,详细演示了冷备份和恢复的步骤,包括备份文件、模拟错误、恢复数据等过程。
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
141 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
29天前
|
关系型数据库 MySQL 数据库
【赵渝强老师】MySQL的参数文件
MySQL启动时会读取配置文件my.cnf来确定数据库文件位置及初始化参数。该文件分为Server和Client两部分,包含动态与静态参数。动态参数可在运行中通过命令修改,而静态参数需修改my.cnf并重启服务生效。文中还提供了相关代码示例和视频教程。
|
1月前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的全量日志文件
MySQL全量日志记录所有操作的SQL语句,默认禁用。启用后,可通过`show variables like %general_log%检查状态,使用`set global general_log=ON`临时开启,执行查询并查看日志文件以追踪SQL执行详情。
|
1月前
|
关系型数据库 MySQL 数据库
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志记录了所有对数据库的更改操作(不包括SELECT和SHOW),主要用于主从复制和数据恢复。binlog有三种模式,可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
|
1月前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的慢查询日志
MySQL的慢查询日志用于记录执行时间超过设定阈值的SQL语句,帮助数据库管理员识别并优化性能问题。通过`mysqldumpslow`工具可查看日志。本文介绍了如何检查、启用及配置慢查询日志,并通过实例演示了慢查询的记录与分析过程。
119 3
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的表空间
InnoDB是MySQL默认的存储引擎,主要由存储结构、内存结构和线程结构组成。其存储结构分为逻辑和物理两部分,逻辑存储结构包括表空间、段、区和页。表空间是InnoDB逻辑结构的最高层,所有数据都存放在其中。默认情况下,InnoDB有一个共享表空间ibdata1,用于存放撤销信息、系统事务信息等。启用参数`innodb_file_per_table`后,每张表的数据可以单独存放在一个表空间内,但撤销信息等仍存放在共享表空间中。
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的段、区和页
MySQL的InnoDB存储引擎逻辑存储结构与Oracle相似,包括表空间、段、区和页。表空间由段和页组成,段包括数据段、索引段等。区是1MB的连续空间,页是16KB的最小物理存储单位。InnoDB是面向行的存储引擎,每个页最多可存放7992行记录。
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL的撤销日志文件和错误日志文件
本文介绍了MySQL的物理存储结构,重点讲解了InnoDB存储引擎中的撤销日志文件(undo log)和错误日志文件。从MySQL 8.0开始,默认生成两个10MB的undo表空间文件,并支持动态扩容和收缩。错误日志文件记录了MySQL启动、运行、关闭过程中的问题,通过示例展示了如何查看和使用这些日志。
|
1月前
|
存储 关系型数据库 MySQL
【赵渝强老师】管理MySQL的用户
本文介绍了MySQL数据库中用户管理的相关操作,包括创建、重命名和删除用户。通过具体示例演示了如何使用SQL语句进行这些操作,并展示了相关表的字段信息和默认用户的作用。同时提供了视频讲解,帮助读者更好地理解和掌握这些操作。

相关产品

  • 云数据库 RDS MySQL 版
  • 下一篇
    DataWorks