一文带你了解MySQL之数据目录

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: 我们知道像InnoDB、MyISAM这样的存储引擎都是把表存储在磁盘上的,而操作系统用来管理磁盘的那个东东又被称为文件系统,所以用专业一点的话来表述就是:像 InnoDB 、 MyISAM 这样的存储引擎都是把表存储在文件系统上的。当我们想读取数据的时候,这些存储引擎会从文件系统中把数据读出来返回给我们,当我们想写入数据的时候,这些存储引擎会把这些数据又写回文件系统。本章就是学习下InnoDB和MyISAM这两个存储引擎的数据如何在文件系统中存储的

一、MySQL数据目录

MySQL服务器程序在启动时会到文件系统的某个目录下加载一些文件,之后在运行过程中产生的数据也都会存储到这个目录下的某些文件中,这个目录就称为数据目录,我们下边就要详细学习这个目录下具体都有哪些重要的东细。


1.1 数据目录和安装目录的区别

我们之前只接触过MySQL的安装目录(在安装MySQL的时候我们可以自己指定),我们重点强调过这个安装目录下非常重要的bin目录,它里边存储了许多关于控制客户端程序和服务器程序的命令(许多可执行文件,比如mysql,mysqld,mysqld_safe等好几十个)。而数据目录是用来存储MySQL在运行过程中产生的数据


1.2 如何确定MySQL的数据目录

说了半天,到底MySQL把数据都存到哪个路径下呢?其实数据目录对应着一个系统变量datadir,我们在使用客户端与服务器建立连接之后查看这个系统变量的值就可以了


mysql> show variables like '%datadir%';

+---------------+--------------------------+

| Variable_name | Value                    |

+---------------+--------------------------+

| datadir       | /data/mysql/my3306/data/ |

+---------------+--------------------------+

1 row in set (0.00 sec)


从结果可以看出,在我的计算机上MySQL的数据目录就是/data/mysql/my3306/data/


二、数据目录的结构

MySQL在运行过程中都会产生哪些数据呢?当然会包含我们创建的数据库、表、视图和触发器等的用户数据,除了这些用户数据,为了程序更好的运行,MySQL也会创建一些其他的额外数据,我们接下来细细的品味一下这个数据目录下的内容。


2.1 数据库在文件系统中的表示

每当我们使用create database 数据库名语句创建一个数据库的时候,在文件系统上实际发生了什么呢?其实很简单,每个数据库都对应数据目录下的一个子目录,或者说对应一个文件夹,我们每当我们新建一个数据库时,MySQL会帮我们做这一件事情:


在数据目录下创建一个和数据库名同名的子目录(或者说是文件夹)

比方说我们查看一下在我的计算机上当前有哪些数据库:


mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| mysql              |

| performance_schema |

| sys                |

| testdb             |

+--------------------+

5 rows in set (0.10 sec)


可以看到在我的计算机上当前有5个数据库,其中testdb数据库是我们自定义的,其余4个数据库是属于MySQL自带的系统数据库。我们再看一下我的计算机上的数据目录下的内容:


[root@mysql2 data]# ll

总用量 91928

-rw-r----- 1 mysql mysql       56 4月  25 00:30 auto.cnf

-rw------- 1 mysql mysql     1676 4月  25 00:30 ca-key.pem

-rw-r--r-- 1 mysql mysql     1112 4月  25 00:30 ca.pem

-rw-r--r-- 1 mysql mysql     1112 4月  25 00:30 client-cert.pem

-rw------- 1 mysql mysql     1680 4月  25 00:30 client-key.pem

-rw-r----- 1 mysql mysql   245760 5月  15 12:24 #ib_16384_0.dblwr

-rw-r----- 1 mysql mysql  8634368 5月   2 23:04 #ib_16384_1.dblwr

-rw-r----- 1 mysql mysql     3863 5月  12 19:23 ib_buffer_pool

-rw-r----- 1 mysql mysql 12582912 5月  15 12:23 ibdata1

-rw-r----- 1 mysql mysql 12582912 5月  15 12:21 ibtmp1

drwxr-x--- 2 mysql mysql     4096 5月  15 12:21 #innodb_redo

drwxr-x--- 2 mysql mysql      187 5月  15 12:21 #innodb_temp

drwxr-x--- 2 mysql mysql      143 4月  25 00:30 mysql

-rw-r----- 1 mysql mysql        5 5月  15 12:21 mysql2.pid

-rw-r----- 1 mysql mysql     1492 5月   8 13:01 mysqld-auto.cnf

-rw-r----- 1 mysql mysql 26214400 5月  15 12:23 mysql.ibd

drwxr-x--- 2 mysql mysql     8192 4月  25 00:30 performance_schema

-rw------- 1 mysql mysql     1676 4月  25 00:30 private_key.pem

-rw-r--r-- 1 mysql mysql      452 4月  25 00:30 public_key.pem

-rw-r--r-- 1 mysql mysql     1112 4月  25 00:30 server-cert.pem

-rw------- 1 mysql mysql     1676 4月  25 00:30 server-key.pem

drwxr-x--- 2 mysql mysql       28 4月  25 00:30 sys

drwxr-x--- 2 mysql mysql       87 5月  15 12:21 testdb

-rw-r----- 1 mysql mysql 16777216 5月  15 12:24 undo_001

-rw-r----- 1 mysql mysql 16777216 5月  15 12:24 undo_002

当然这个数据目录下的文件和子目录较多,但是如果仔细看的话,除了information_schema这个系统数据库外,其他的数据库在数据目录下都有对应的子目录。这个information_schema比较特殊,设计MySQL的时候对它的实现进行了特殊对待,没有使用相应的数据库目录,我们忽略它的存在就好了


2.2 表在文件系统中的展示

比如说我们在testdb数据库下创建一个名为demo8的表:


mysql> use testdb;

Database changed

mysql> create table demo8 (c1 int);

Query OK, 0 rows affected (0.14 sec)

那在数据库testdb对应的子目录下就会创建一个名为demo8.frm的用于描述表结构的文件。值得注意的是,这个后缀名为.frm是以二进制格式存储的,我们直接打开会是乱码的~


描述表结构的文件我们知道怎么存储了,那表中的数据存到什么文件中了呢?在这个问题上,不同的存储引擎就产生了分歧了,下边我们分别看一下InnoDB和MyISAM是用什么文件来保存表中数据的。


2.2.1 InnoDB是如何存储数据的

我们前边重点唠叨过InnoDB的一些实现原理,到现在为止我们应该熟悉下边这些知识:


InnoDB其实是使用页为基本单位来管理存储空间的,默认的页大小为16KB。

对于InnoDB存储引擎来说,每个索引都对应着一棵B+树,该B+树的每个节点都是一个数据页,数据页之间不必要是物理连续的,因为数据页之间有双向链表来维护着这些页的顺序。

InnoDB的聚簇索引的叶子节点存储了完整的用户记录,也就是所谓的索引即数据,数据即索引。

为了更好的管理这些页,设计InnoDB的时提出了一个表空间或者文件空间(英文名:table space或者file space)的概念,这个表空间是一个抽象的概念,它可以对应文件系统上一个或多个真实文件(不同表空间对应的文件数量可能不同)。每一个表空间可以被划分很多很多很多个页,我们的表数据就存放在某个表空间下的某些文件。设计InnoDB的时将表空间划分为多种不同的类型,我们一个一个看一下。


系统表空间(system tablespace)


这个所谓的系统表空间可以对应文件系统上一个或多个实际的文件,默认情况下,InnoDB会在数据目录下创建一个名为ibdata1,大小为12M的文件,这个文件就对应的系统表空间在文件系统上的表示。怎么才12M?这么点还没插多少数据就用完了,哈哈,那是因为这个文件是所谓的自扩展文件,也就是当不够用的时候它会自动增加文件大小


当然,如果你想让系统表空间对应文件系统上多个实际文件,或者仅仅觉得原来的ibdata1这个文件名难听,那可以在MySQL启动时配置对应的文件路径以及它们

的大小,比如我们这样修改一下配置文件:


[server]

innodb_data_file_path=data1:512M;data2:512M:autoextend

这样在MySQL启动之后就会创建这两个512M大小的文件作为系统表空间,其中的autoextend表明这两个文件如果不够用会自动扩展data2文件的大小。


我们也可以把系统表空间对应的文件路径不配置到数据目录下,甚至可以配置到单独的磁盘分区上,涉及到的启动参数就是innodb_data_file_path和innodb_data_home_dir,具体的配置逻辑挺绕的,我们这就不多唠叨了,知道改哪个参数可以修改系统表空间对应的文件,有需要的时候到官方文档一查查就好

了。


需要注意的一点是,在一个MySQL服务器中,系统表空间只有一份。


独立表空间(file-per-table tablespace)


在MySQL5.6.6以及之后的版本中,InnoDB并不会默认的把各个表的数据存储到系统表空间中,而是为每一个表建立一个独立表空间,也就是说我们创建了多少个表,就有多少个独立表空间。使用独立表空间来存储表数据的话,会在该表所属数据库对应的目录录下创建一个表示该独立表空间的文件,文件名和表名相同,只不过添加了一个.ibd的扩展名而已,所以完整的文件名称就是这样:


表名.ibd


比方说假如我们使用了独立表空间去存储testdb数据库下的demo8表的话,那么在该表所在数据库对应的testdb目录下会为demo8表创建这两个文件:


demo8.frm

demo8.ibd

其中demo8.ibd文件就用来存储demo8表中的数据和索引。当然我们也可以自己指定使用系统表空间还是独立表空间来存储数据,这个功能由启动参数

innodb_file_per_table控制,比如说我们想刻意将表数据都存储到系统表空间时,可以在启动MySQL服务器的时候这样配置:


[server]

innodb_file_per_table=0


当innodb_file_per_table的值为0时,代表使用系统表空间;当innodb_file_per_table的值为1时,代表使用独立表空间。不过innodb_file_per_table参数只对新建的表起作用,对于已经分配了表空间的表并不起作用。如果我们想把已经存在系统表空间中的表转移到独立表空间,可以使用下边的语法:


alter table 表名 tablespace [=] innodb_file_per_table;


或者把已经存在独⽴表空间的表转移到系统表空间,可以使⽤下边的语法:


alter table 表名 tablespace [=] innodb_system;


其中中括号扩起来的=可有可无,比如说我们想把demo8表从独立表空间移动到系统表空间,可以这么写:


alter table demo8 tablespace innodb_system;

其他类型的表空间


随着MySQL的发展,除了上述两种老牌表空间之外,现在还新提出了一些不同类型的表空间,比如通用表空间(general tablespace)、undo表空间(undo

tablespace)、临时表空间(temporary tablespace)等,具体情况我们就不细唠叨了,等用到的时候再提。


需要注意的是MySQL8版本中的innodb存储引擎的表没有frm文件,而是合并在*.ibd文件中


小提示:

Oracle官方将frm文件的信息及更多信息移动到叫做序列化字典信息(Serialized DictionaryInformation,SDI),SDI被写在ibd文件内部。MySQL 8.0属于oracle旗下,同理。

为了从IBD文件中提取SDI信息,Oracle提供了一个应用程ibd2sdi。

查看表结构:

ibd2sdi --dump-file=demo8.txt demo8.ibd


2.2.2 MyISAM是如何存储表数据的

好了,学习完了InnoDB的系统表空间和独立表空间,现在轮到MyISAM了。在MyISAM中的索引全部都是二级索引,该存储引擎的数据和索引是分开存放的。所以在件系统中也是使用不同的文件来存储数据文件和索引文件。而且和InnoDB不同的是,MyISAM并没有什么所谓的表空间一说,表数据都存放到对应的数据库子目录下假如demo8表使用MyISAM存储引擎的话,那么在它所在数据库对应的testdb目录下会为test表创建这三个文件:

demo8.frm

demo8.MYD

demo8.MYI

其中test.MYD代表表的数据文件,也就是我们插入的用户记录;demo8.MYI代表表的索引文件,我们为该表创建的索引都会放到这个文件中。


但是这个表结构文件在5.7和8.0版本名字不一样,但是都是存储表结构的


5.7里面是 xxx.frm

8.0里面是 xxx.sdi

2.3 视图在文件系统的表示

我们知道MySQL中的视图其实是虚拟的表,也就是某个查询语句的一个别名而已,所以在存储视图的时候是不需要存储真实的数据的,只需要把它的结构存储起来就行了。和表一样,描述视图结构的文件也会被存储到所属数据库对应的子目录下边,只会存储一个视图名.frm的文件


2.4 其他的文件

除了我们上边说的这些用户自己存储的数据以外,数据目录下还包括为了更好运行程序的一些额外文件,主要包括这几种类型的文件:


服务器进程文件


我们知道每运行一个MySQL服务器程序,都意味着启动一个进程。MySQL服务器会把自己的进程lD写入到一个文件中。


服务器日志文件


在服务器运行过程中,会产生各种各样的日志,比如常规的查询日志、错误日志、二进制日志、redo日志等。这些日志各有各的用途,后面讲解。


默认/自动生成的SSL和RSA证书和密钥文件


主要是为了客户端和服务器安全通信而创建的一些文件。


三、文件系统对数据库的影响

因为MySQL的数据都是存在文件系统中的,就不得不受到文件系统的一些制约,这在数据库和表的命名、表的S在和性能方面体现的比较明显,比如下边这些方面:


数据库名称和表名称不得超过文件系统所允许的最大长度

每个数据库都对应数据目录的一个子目录,数据库名称就是这个子目录的名称;每个表都会在数据库子目录下产生一个和表名同名的.ibd文件,如果是InnoDB的独立表空间或者使用MyISAM引擎还会有别的文件的名称与表名一致。这些目录或文件名的长度都受限于文件系统所允许的长度


特殊字符的问题

为了避免因为数据库名和表名出现某些特殊字符而造成文件系统不支持的情况,MySQL会把数据库名和表名中所有除数字和拉丁字母以外的所有字符在文件名里都射成 @+编码值的形式作为文件名。比如说我们创建的表的名称为’demo8?',由于?不属于数字或者拉丁字母,所以会被映射成编码值,所以这个表对应的.ibd文件的名称就变成了demo8@003f.ibd。


文件长度受文件系统最大长度限制

对于InnoDB的独立表空间来说,每个表的数据都会被存储到一个与表名同名的.ibd文件中;对于MyISAM存储引擎来说,数据和索引会分别存放到与表同名的.MYD和.MYI文件中。这些文件会随着表中记录的增加而增大,它们的大小受限于文件系统支持的最大文件大小。


四、MySQL系统数据库简介

我们前边提到了MySQL的几个系统数据库,这几个数据库包含了MySQL服务器运行过程中所需的一些信息以及一些运行状态信息,我们现在稍微了解一下


mysql

这个数据库的核心,它存储了MySQL的用户账户和权限信息,一些存储过程、事件的定义信息,一些运行过程中产生的日志信息,一些帮助信息以及时区信息等。


information_schema

这个数据库保存着MySQL服务器维护的所有其他数据库的信息,比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引等。这些信息并不是真实的用户数据,只是一些描述性信息,有时候也称之为元数据。


performance_schema

这个数据库里主要保存MySQL服务器运行过程中的一些状态信息,算是对MySQL服务器的各个性能监控。包括统计最近执行了哪些语句,在执行过程的每个阶段都花费了多少时间,内存的使用情况等等信息。


sys

这个数据库主要是通过视图的形式把information_schema和performance_schema结合起来,让程序员可以更方便的了解MySQL服务器的一些性能信息。


这四个系统数据库具体如何使用还是要参照官档,此处不多做解析~


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
4月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
2月前
|
SQL 人工智能 关系型数据库
如何实现MySQL百万级数据的查询?
本文探讨了在MySQL中对百万级数据进行排序分页查询的优化策略。面对五百万条数据,传统的浅分页和深分页查询效率较低,尤其深分页因偏移量大导致性能显著下降。通过为排序字段添加索引、使用联合索引、手动回表等方法,有效提升了查询速度。最终建议根据业务需求选择合适方案:浅分页可加单列索引,深分页推荐联合索引或子查询优化,同时结合前端传递最后一条数据ID的方式实现高效翻页。
133 0
|
29天前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
129 10
|
2月前
|
SQL 存储 缓存
MySQL 如何高效可靠处理持久化数据
本文详细解析了 MySQL 的 SQL 执行流程、crash-safe 机制及性能优化策略。内容涵盖连接器、分析器、优化器、执行器与存储引擎的工作原理,深入探讨 redolog 与 binlog 的两阶段提交机制,并分析日志策略、组提交、脏页刷盘等关键性能优化手段,帮助提升数据库稳定性与执行效率。
|
5月前
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
268 28
|
4月前
|
存储 SQL 缓存
mysql数据引擎有哪些
MySQL 提供了多种存储引擎,每种引擎都有其独特的特点和适用场景。以下是一些常见的 MySQL 存储引擎及其特点:
131 0
|
6月前
|
存储 SQL 关系型数据库
【YashanDB知识库】MySQL迁移至崖山char类型数据自动补空格问题
**简介**:在MySQL迁移到崖山环境时,若字段类型为char(2),而应用存储的数据仅为'0'或'1',查询时崖山会自动补空格。原因是mysql的sql_mode可能启用了PAD_CHAR_TO_FULL_LENGTH模式,导致保留CHAR类型尾随空格。解决方法是与应用确认数据需求,可将崖山环境中的char类型改为varchar类型以规避补空格问题,适用于所有版本。
|
7月前
|
Java 关系型数据库 MySQL
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
通过详细的步骤和示例代码,您可以在 SpringBoot 项目中成功集成 Flink CDC,并实时追踪 MySQL 数据库的变动。
1746 45
|
6月前
|
SQL 关系型数据库 MySQL
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
本文探讨了在使用YMP 23.2.1.3迁移MySQL Server字符集为latin1的中文数据至YashanDB时出现乱码的问题。问题根源在于MySQL latin1字符集存放的是实际utf8编码的数据,而YMP尚未支持此类场景。文章提供了两种解决方法:一是通过DBeaver直接迁移表数据;二是将MySQL表数据转换为Insert语句后手动插入YashanDB。同时指出,这两种方法适合单张表迁移,多表迁移可能存在兼容性问题,建议对问题表单独处理。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
|
6月前
|
缓存 NoSQL 关系型数据库
Redis和Mysql如何保证数据⼀致?
1. 先更新Mysql,再更新Redis,如果更新Redis失败,可能仍然不⼀致 2. 先删除Redis缓存数据,再更新Mysql,再次查询的时候在将数据添加到缓存中 这种⽅案能解决1 ⽅案的问题,但是在⾼并发下性能较低,⽽且仍然会出现数据不⼀致的问题,⽐如线程1删除了 Redis缓存数据,正在更新Mysql,此时另外⼀个查询再查询,那么就会把Mysql中⽼数据⼜查到 Redis中 1. 使用MQ异步同步, 保证数据的最终一致性 我们项目中会根据业务情况 , 使用不同的方案来解决Redis和Mysql的一致性问题 : 1. 对于一些一致性要求不高的场景 , 不做处理例如 : 用户行为数据 ,

推荐镜像

更多