[MySQL FAQ]系列 -- mysql如何计算打开文件数

本文涉及的产品
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDSClaw,2核4GB
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介:

一、试验

从手册的"6.4.8. How MySQL Opens and Closes Tables"可以了解到,每打开一个MyISAM表,就需要使用2个文件描述符,咱们来验证一下。
1. 重启mysqld
/etc/init.d/mysql restart
2. 看看打开了几个文件
lsof | grep /home/mysql
...
mysqld    24349 mysql    5u     unix 0x000001041e8de040             4244009 /home/mysql/mysql.sock
mysqld    24349 mysql    6u      REG               8,33     2048   30425188 /home/mysql/mysql/host.MYI
mysqld    24349 mysql    7u      REG               8,33        0   30425189 /home/mysql/mysql/host.MYD
mysqld    24349 mysql    8u      REG               8,33     2048   30425153 /home/mysql/mysql/user.MYI
mysqld    24349 mysql    9u      REG               8,33      892   30425155 /home/mysql/mysql/user.MYD
mysqld    24349 mysql   10u      REG               8,33     5120   30425126 /home/mysql/mysql/db.MYI
mysqld    24349 mysql   11u      REG               8,33     3080   30425148 /home/mysql/mysql/db.MYD
mysqld    24349 mysql   12u      REG               8,33     4096   30425154 /home/mysql/mysql/tables_priv.MYI
mysqld    24349 mysql   13u      REG               8,33        0   30425157 /home/mysql/mysql/tables_priv.MYD
mysqld    24349 mysql   14u      REG               8,33     4096   30425143 /home/mysql/mysql/columns_priv.MYI
mysqld    24349 mysql   15u      REG               8,33        0   30425156 /home/mysql/mysql/columns_priv.MYD
mysqld    24349 mysql   16u      REG               8,33     4096   30425127 /home/mysql/mysql/procs_priv.MYI
mysqld    24349 mysql   17u      REG               8,33        0   30425136 /home/mysql/mysql/procs_priv.MYD
mysqld    24349 mysql   18u      REG               8,33     1024   30425173 /home/mysql/mysql/servers.MYI
mysqld    24349 mysql   19u      REG               8,33        0   30425174 /home/mysql/mysql/servers.MYD
mysqld    24349 mysql   20u      REG               8,33     2048   30425182 /home/mysql/mysql/event.MYI
mysqld    24349 mysql   21u      REG               8,33        0   30425183 /home/mysql/mysql/event.MYD
...
可以看到,总共打开了8个表,每个表分别有2个文件描述符,看来没错。
3. 再来看 status 结果
mysql>show global status like 'open_%';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| Open_files             | 17    |
| Open_streams           | 0     |
| Open_table_definitions | 15    |
| Open_tables            | 8     |
| Opened_files           | 52    |
| Opened_tables          | 15    |
+------------------------+-------+
4. flush tables 后再看看
mysql>flush tables;
mysql> show global status like 'open_%';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| Open_files             | 1     |
| Open_streams           | 0     |
| Open_table_definitions | 0     |
| Open_tables            | 0     |
| Opened_files           | 52    |
| Opened_tables          | 15    |
+------------------------+-------+
lsof | grep /home/mysql
...
mysqld    24349 mysql    5u     unix 0x000001041e8de040             4244009 /home/mysql/mysql.sock
mysqld    24349 mysql   22u     unix 0x00000102378ff980             4244128 /home/mysql/mysql.sock
...
可以看到,flush 之后,所有的文件描述符都释放了。
通过测试可以得知,另一个打开的文件描述符是 slow query log所用。
如果是有大量的 MyISAM 表,那么就需要特别注意打开文件数是否会超出限制了。

二、原理

接下来仔细了解下这个最大文件数相关的参数:
table_cache (新版本改成了 table_open_cache)  The number of cached open tables.
open_files_limit  If this is not 0, then mysqld will use this value to reserve file descriptors to use with setrlimit(). 
If this value is 0 then mysqld will reserve max_connections*5 or max_connections + table_cache*2 (whichever is larger) 
number of files.
如果 open_files_limit 不是设置为 0,则以 setrlimit() 函数计算后的结果为准,如果设置为 0,则实际值是 max_connections*5 或 max_connections + table_cache*2 中的最大者。
因此,想要解决打开文件数超限的问题,还需要综合系统内核限制(ulimit -n),mysqld自身限制(open_files_limit),以及表缓存数(table_open_cache)等多方面因素。
不过,实际测试中,发现却不是这样的,open_files_limit采用了内核的最大限制,而非上面的计算结果。
1. 查看内核限制
ulimit -n
65535
2. 修改 my.cnf 限制
vi /etc/my.cnf
...
open_files_limit = 10000
...
3. 重启 mysqld
/etc/init.d/mysql restart
4. 查看结果
mysql>show global variables like '%open%';
| open_files_limit  | 65535 |
| table_open_cache  | 1000  |
5. 不设置 open_files_limit 看看
vi /etc/my.cnf
...
#open_files_limit = 10000
...
重启
/etc/init.d/mysql restart
查看
mysql>show global variables like '%open%';
| open_files_limit  | 65535 |
| table_open_cache  | 1000  |
而这个时候,按计算公式结果如下:
| max_connections    | 100   |
| table_open_cache            | 1000      |
来计算一下:
max_open_files_1 = max_connections + table_cache * 2 = 100 + 1000 * 2 = 2100
max_open_files_2 = max_connections*5 = 100 * 5 = 500
6. 修改 ulimit 试试看:
unlimit -n 5000
vi /etc/my.cnf
...
open_files_limit = 10000
...
/etc/init.d/mysql restart
mysql>show global variables like '%open%';
| open_files_limit  | 10000 |
| table_open_cache  | 1000  |
open_files_limit 比内核最大限制数还大,因此以 open_files_limit 为准。
vi /etc/my.cnf
...
#open_files_limit = 10000
...
/etc/init.d/mysql restart
mysql>show global variables like '%open%';
| open_files_limit  | 5000  |
| table_open_cache  | 1000  |
看到了,变成了新的内核最大限制
看到了吧,结果完全跟文档描述的以及mysql源码中写的不一样,看来预编译版本有些地方不太可靠啊 :(
以上测试在mysql 5.1.23-rc(预编译), mysql-5.1.24-rc(自编译) 以及 5.0.45(预编译) 均一样。
uname -a
Linux s1.yejr.com 2.6.9-55.ELsmp #1 SMP Fri Apr 20 16:36:54 EDT 2007 x86_64 x86_64 x86_64 GNU/Linux
mysql> select version();
+---------------+
| version()     |
+---------------+
| 5.1.23-rc-log | 
+---------------+
相关实践学习
自建数据库迁移到云数据库
本场景将引导您将网站的自建数据库平滑迁移至云数据库RDS。通过使用RDS,您可以获得稳定、可靠和安全的企业级数据库服务,可以更加专注于发展核心业务,无需过多担心数据库的管理和维护。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
存储 关系型数据库 MySQL
MYSQL 单表可以放多少数据是怎么计算出来的
MYSQL 单表可以放多少数据是怎么计算出来的
697 2
|
关系型数据库 MySQL 分布式数据库
PolarDB MySQL版标准版计算节点规格详解
PolarDB MySQL版标准版计算节点规格详解
310 1
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
192 3
|
存储 监控 关系型数据库
MySQL计算某条数据与上一条数据的生成时间差
MySQL计算某条数据与上一条数据的生成时间差
393 2
|
SQL 存储 关系型数据库
【MySQL进阶-06】深入理解mysql的内核查询成本计算
【MySQL进阶-06】深入理解mysql的内核查询成本计算
1135 0
|
关系型数据库 MySQL 数据库
MySQL 保姆级教程(八):创建计算字段
MySQL 保姆级教程(八):创建计算字段
|
关系型数据库 MySQL Unix
MySQL 计算时间差分钟
【5月更文挑战第3天】
1648 2
|
分布式计算 大数据 关系型数据库
MaxCompute产品使用问题之mysql读取从mc里的每10分钟计算好的结果数据表,如何同步数据过去
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
222 0
|
存储 SQL 关系型数据库
MySQL快速回顾:计算字段与函数
MySQL快速回顾:计算字段与函数
|
关系型数据库 MySQL Serverless
【随手记】MySQL窗口函数计算累加和
【随手记】MySQL窗口函数计算累加和
1091 0

推荐镜像

更多