使用MariaDB线程池提高MySQL的扩展性

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: MySQL的线程池能够有效地解决大量短连接的性能问题,大幅提高MySQL数据库的扩展性。但官方MySQL的线程池在收费的企业版中才有,免费的社区版中没有这个功能,这里介绍MairaDB的线程池。

MySQL的线程池能够有效地解决大量短连接的性能问题,大幅提高MySQL数据库的扩展性。但官方MySQL的线程池在收费的企业版中才有,免费的社区版中没有这个功能,这里介绍MairaDB的线程池。

01

线程池的说明

MySQL数据库默认是为每一个连接分配一个服务端的线程进行处理,在一个连接数少并且运行稳定的生产系统中,这通常不会有什么问题。但在下面两种情况下,会遇到性能问题

  • 前端发起的连接数过多,造成服务端生成大量的线程,消耗了大量的CPU资源,而这些连接大部分时候处于sleep的状态,后端线程空转。
  • 瞬间增加大量短连接的会话,造成服务端不断生成线程,高峰过后又有大量线程被销毁,这样会因为context-switch造成CPU性能大幅下降。

对于这种情况通常采用线程池的方法进行解决,线程池会预先创建一定数量的线程,当有连接的请求需要处理时,MySQL会从线程池中分配一条线程进行处理,到处理完成后,这条线程又会回到线程池中,下次它可能会被分配处理另外一个连接到请求。

02

单连接对单线程和线程池的对比

线程类型 适用场景 线程执行单位
one-thread-per-connection 连接数不多而且稳定 连接
pool-of-threads 高并发、短连接 SQL语句

需要说明的是:服务端的线程池和客户端的连接池不是一回事。

03

连接池和线程池的对比


池的类型 优化目标 功能
Connection Pool 客户端 减少建立连接的时间和连接占用的资源
Thread Pool 服务端 减少线程重复建立和context-switch的资源

线程池在MySQL的企业版才有,社区版没有,下面的图说明了MySQL企业版通过线程池有效地提高MySQL扩展性

https://www.mysql.com/products/enterprise/scalability.html


Oracle声称线程池让MySQL的扩展性提高了60倍。遗憾的是免费的社区版中并没有这个功能,但免费的Percona和MariaDB中都有这个功能。这里以MariaDB为例介绍线程池的作用。

04

安装MariaDB


在MariaDB的官方网站上可以下载安装包,在Linux上的安装方法如下:



groupadd mysqluseradd -g mysql mysqlcd /usr/localtar -zxvpf /path-to/mariadb-VERSION-OS.tar.gzln -s mariadb-VERSION-OS mysqlcd mysql./scripts/mysql_install_db --user=mysqlchown -R root .chown -R mysql data


启动MariaDB:


root@yaoyuan ~# /usr/local/mysql/bin/mysqld_safe  --user=mysql &

登陆MariaDB,root或者mysql用户登陆不需要密码





[mysql@yuan ~]$ mysqlWelcome to the MariaDB monitor.  Commands end with ; or \g.Your MariaDB connection id is 5Server version: 10.6.11-MariaDB MariaDB Server
Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MariaDB [(none)]> \s--------------mysql  Ver 15.1 Distrib 10.6.11-MariaDB, for linux-systemd (x86_64) using readline 5.1
Connection id:    5Current database:  Current user:    mysql@localhostSSL:      Not in useCurrent pager:    stdoutUsing outfile:    ''Using delimiter:  ;Server:      MariaDBServer version:    10.6.11-MariaDB MariaDB ServerProtocol version:  10Connection:    Localhost via UNIX socketServer characterset:  latin1Db     characterset:  latin1Client characterset:  utf8mb3Conn.  characterset:  utf8mb3UNIX socket:    /tmp/mysql.sockUptime:      1 hour 34 min 51 sec
Threads: 1  Questions: 47  Slow queries: 0  Opens: 37  Open tables: 30  Queries per second avg: 0.008--------------


05

配置线程池


控制线程池的主要参数是thread_handling,这个参数的默认值one-thread-per-connection,就是一个连接对应一个线程。




MariaDB [information_schema]> show variables like 'thread_h%';+-----------------+---------------------------+| Variable_name   | Value                     |+-----------------+---------------------------+| thread_handling | one-thread-per-connection |+-----------------+---------------------------+1 row in set (0.001 sec)

激活线程池的方法是在参数文件中把这个参数配置成pool-of-threads:





[mariadb]...thread_handling=pool-of-threads

启动后可以看到线程池的相关参数的默认值






MariaDB [(none)]> show variables like 'thread%';+--------------------------------+-----------------+| Variable_name                  | Value           |+--------------------------------+-----------------+| thread_cache_size              | 151             || thread_handling                | pool-of-threads || thread_pool_dedicated_listener | OFF             || thread_pool_exact_stats        | OFF             || thread_pool_idle_timeout       | 60              || thread_pool_max_threads        | 65536           || thread_pool_oversubscribe      | 3               || thread_pool_prio_kickup_timer  | 1000            || thread_pool_priority           | auto            || thread_pool_size               | 1               || thread_pool_stall_limit        | 500             || thread_stack                   | 299008          |+--------------------------------+-----------------+12 rows in set (0.075 sec)

thread_pool_size:线程池的大小,这个参数的默认值由cpu的个数决定,默认是CPU的个数,这里是虚拟机,只有一个虚拟CPU,因此是1。thread_pool_max_threads:线程池中的最大线程,默认65536。

06

测试线程池

测试环境是只有一个虚拟CPU的虚拟机。

参数配置 /etc/my.cnf



[mariadb]thread_handling=pool-of-threadsthread_pool_size=10max_connections=1000thread_pool_max_threads=50

创建1万条记录的表




[mysql@yuan ~]$ mysqlslap --create="create table table_a(col1 int primary key auto_increment, col2 varchar(255))" --query="insert into table_a(col2) values(md5(rand()))" --concurrency=10 --number-of-queries=10000 --no-dropBenchmark  Average number of seconds to run all queries: 1.982 seconds  Minimum number of seconds to run all queries: 1.982 seconds  Maximum number of seconds to run all queries: 1.982 seconds  Number of clients running queries: 10  Average number of queries per client: 1000

并发500个连接进行测试


[mysql@yuan ~]$  mysqlslap --query='select count(*) from table_a where col2<>md5(rand())' --concurrency=500 --iterations=10Benchmark  Average number of seconds to run all queries: 7.809 seconds  Minimum number of seconds to run all queries: 7.762 seconds  Maximum number of seconds to run all queries: 8.033 seconds  Number of clients running queries: 500  Average number of queries per client: 1

每个SQL语句运行的时间大约是7秒多,实际上这是因为并发造成context-switch而影响了执行的效率,如果是单线程会快很多,例如:






[mysql@yuan ~]$  mysqlslap --query='select count(*) from table_a where col2<>md5(rand())' --concurrency=1 --iterations=10Benchmark  Average number of seconds to run all queries: 0.015 seconds  Minimum number of seconds to run all queries: 0.015 seconds  Maximum number of seconds to run all queries: 0.016 seconds  Number of clients running queries: 1  Average number of queries per client: 1

观察500个连接运行时的状态参数





[mysql@yuan ~]$  mysqladmin extended-status -i5 -c100|grep Thread| Threadpool_idle_threads                                | 24                                               || Threadpool_threads                                     | 50                                               || Threads_cached                                         | 0                                                || Threads_connected                                      | 371                                              || Threads_created                                        | 113                                              || Threads_running                                        | 26                                               |
| Threadpool_idle_threads                                | 32                                               || Threadpool_threads                                     | 50                                               || Threads_cached                                         | 0                                                || Threads_connected                                      | 195                                              || Threads_created                                        | 113                                              || Threads_running                                        | 18                                               |
| Threadpool_idle_threads                                | 20                                               || Threadpool_threads                                     | 50                                               || Threads_cached                                         | 0                                                || Threads_connected                                      | 465                                              || Threads_created                                        | 113                                              || Threads_running                                        | 30                                               |
| Threadpool_idle_threads                                | 24                                               || Threadpool_threads                                     | 50                                               || Threads_cached                                         | 0                                                || Threads_connected                                      | 287                                              || Threads_created                                        | 113                                              || Threads_running                                        | 25                                               |
| Threadpool_idle_threads                                | 48                                               || Threadpool_threads                                     | 50                                               || Threads_cached                                         | 0                                                || Threads_connected                                      | 47                                               || Threads_created                                        | 113                                              || Threads_running                                        | 2                                                |

分析MariaDB的状态参数可以得到以下结论:

  • Threadpool_idle_threads+Threads_running=Threadpool_threads
  • Threads_created值一直没有变,表示一直没有创建新的线程处理连接。
  • Threads_cached是在one-thread-per-connection时缓存的线程,在线程池使用时是零。

实际互联网的应用中,网民登录到网站后大部分时间是浏览网页,执行操作的时间只占很少一部分,可以使用下面的命令模拟网民的每一分钟执行一个SQL:



[mysql@yuan ~]$  mysqlslap --query='select count(*) from table_a where col2<>md5(rand());select sleep(6);' --concurrency=1 --iterations=20Benchmark  Average number of seconds to run all queries: 6.015 seconds  Minimum number of seconds to run all queries: 6.015 seconds  Maximum number of seconds to run all queries: 6.017 seconds  Number of clients running queries: 1  Average number of queries per client: 1

再次观察MariaDB的状态参数




| Threadpool_idle_threads                                | 19                                               || Threadpool_threads                                     | 20                                               || Threads_cached                                         | 0                                                || Threads_connected                                      | 5                                                || Threads_created                                        | 133                                              || Threads_running                                        | 2                                                || Threadpool_idle_threads                                | 19                                               || Threadpool_threads                                     | 20                                               || Threads_cached                                         | 0                                                || Threads_connected                                      | 5                                                || Threads_created                                        | 133                                              || Threads_running                                        | 2                                                |
| Threadpool_idle_threads                                | 19                                               || Threadpool_threads                                     | 20                                               || Threads_cached                                         | 0                                                || Threads_connected                                      | 5                                                || Threads_created                                        | 133                                              || Threads_running                                        | 2                                                |

发现这时线程池里面的线程数下降到20个,大部分时间线程池中只有一个线程在提供服务。

07

总结

经过前面的测试,我们可以看到,线程池对减少MySQL服务端线程数量的作用非常明显,通过包括一定数量的线程的线程池可以向大量的连接提供服务。如果连接中执行的SQL运行时间较长,例如数据仓库类的业务,就不适合用线程池。另外非常简单的SQL(例如select 1)也会因为启动了线程池而比直接连接时运行得稍微慢一点。


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
2月前
|
人工智能 关系型数据库 Java
当MySQL遇见AI:使用Vector扩展实现智能语义搜索
传统数据库的关键词搜索已无法满足现代应用对智能语义查询的需求。本文介绍如何通过MySQL的向量扩展(Vector Extension),将大模型产生的文本嵌入向量存储在MySQL中,并实现高效的语义相似度搜索。我们将完整演示从环境准备、数据库表设计、Java应用集成到性能优化的全流程,让您的传统关系型数据库瞬间具备AI智能检索能力,为构建下一代智能应用提供核心数据支撑。
367 3
|
2月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
|
2月前
|
关系型数据库 分布式数据库 数据库
阿里云数据库收费价格:MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
阿里云数据库提供多种类型,包括关系型与NoSQL,主流如PolarDB、RDS MySQL/PostgreSQL、Redis等。价格低至21元/月起,支持按需付费与优惠套餐,适用于各类应用场景。
|
2月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
|
缓存 关系型数据库 MySQL
MySQL数据库优化:提升性能和扩展性的关键技巧
MySQL数据库优化:提升性能和扩展性的关键技巧
403 2
|
关系型数据库 Java MySQL
Linux安装JDK1.8 & tomcat & MariaDB(MySQL删减版)
本教程提供了在Linux环境下安装JDK1.8、Tomcat和MariaDB的详细步骤。这三个组件的组合为Java Web开发和部署提供了一个强大的基础。通过遵循这些简单的指导步骤,您可以轻松建立起一个稳定、高效的开发和部署环境。希望这个指导对您的开发工作有所帮助。
450 8
|
存储 关系型数据库 MySQL
四种数据库对比MySQL、PostgreSQL、ClickHouse、MongoDB——特点、性能、扩展性、安全性、适用场景
四种数据库对比 MySQL、PostgreSQL、ClickHouse、MongoDB——特点、性能、扩展性、安全性、适用场景
|
存储 关系型数据库 MySQL
深入解析 MySQL 中的扩展
【8月更文挑战第31天】
303 0
|
2月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
133 3
|
2月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。

推荐镜像

更多