MySQL的数据是存在哪的

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: MySQL的数据是存在哪的

MySQL的数据是存在哪的?


我们都知道,MySQL需要支持持久化,它把数据存储在磁盘中,在操作系统中会把管理磁盘的设备叫做文件系统,对于我们研发而言,我们大多数只会关心MySQL的索引、SQL性能优化,而对于数据是怎么存储、存在哪里这类问题就像是一个黑盒。接下来,就来通过这篇文章来简要了解下吧


1 数据存储在文件系统


我们常用的存储引擎InnoDB都是把表存储在文件系统上的(即磁盘),当需要读取数据时,InnoDB会从文件系统中把数据读取出来返回给我们;当需要写入数据时,InnoDB又会把数据写回到文件系统中,那么InnoDB存储引擎的数据是如何在文件系统中存储的呢?跟随着文字继续了解吧!


2 MySQL数据目录


MySQL服务器在启动时,会从文件系统的某个目录中加载文件,在运行时产生的数据也会写入存储到文件系统的这个目录中,这个目录就是数据目录


2.1 MySQL数据目录在哪


MySQL数据目录对应一个系统变量 datadir , 可以通过该命令查看数据目录存储的具体位置:


show variables like 'datadir';

输出结果如下:

也就是说我本机的MySQL的数据目录就在/usr/local/mysql/data/


3 数据目录的结构


我们知道,MySQL在运行过程中会产生的数据包括:我们创建的数据库、表、视图、服务器等,此外还有MySQL为了程序更好运行而创建的额外数据,接下来,我们具体来看下数据目录下的内容~


3.1 数据库在文件系统中的表示


当我们执行create database mydb 语句来创建一个数据库时,MySQL会做两个工作:


在数据目录下创建一个和数据库名称同名的文件夹mydb

在mydb下创建一个名为db.opt的文件,这个文件中包含了该数据库的各种属性,比如数据库的字符集、比较规则之类的


当前,通过执行show databases命令,可以查看到

我本机创建了的数据库有:

87cd126260ef4ab09ed6b9e658166dbd.png

然后我进入目录/usr/local/mysql/data/ 下查看是不是会有上面的这些文件夹:


adf6ab6a9ff14e92aa86b86a12ef3f6d.png


的确,高亮的文件夹就一一对应了MySQL中的数据库。不过如果仔细看的话,information_schema其实是不存在的,由于它比较特殊,所以MySQL的设计者对它的实现进行了特殊对待,因此没有对应的数据库目录。


3.2 表在文件系统中的表示


我们的数据其实都是以记录的形式插入到表中的,每个表的信息可以分为两种:


  1. 表结构的定义
  2. 表中的数据


表结构的定义其实就是我们的DDL语句,像表的名称、表里边的列名、每个列的数据类型、约束条件和索引等各种信息。为了保存这些信息,存储引擎都在数据目录下对应的数据库子目录下创建了一个专门用于描述表结构的文件,文件名的后缀为.frm


3.2.1 InnoDB是如何存储表数据的


相信对于InnoDB存储引擎,大家都挺熟悉以下几点的:


InnoDB使用页为基本单位来管理存储空间的,默认页大小为 16KB

对于InnoDB存储引擎,每个索引都对应着一棵B+树,该B+树的每个节点都是一个数据页,数据页之间不必要是物理连续的,因为数据页之间有双向链表来维护着这些页的顺序。

InnoDB的聚簇索引的叶子节点存储了完整的用户记录,也就是所谓的索引即数据,数据即索引。


为了更好的管理这些页,InnoDB的设计者提出了一个表空间或者 文件空间(英文名:table space或file space)的概念,这个表空间是一个抽象的概念,它可以对应文件系统上一个或多个真实文件(不同表空间对应的文件数量可能不同)。每一个表空间可以被划分为很多个页,我们的表数据就存放在某个表空间下的某些页里。表空间划分为几种不同的类型,我们一个一个看一下。


系统表空间(system tablespace)


系统表空间可以对应文件系统上一个或多个实际的文件,默认情况下, InnoDB会在数据目录下创建一个名为ibdata1、大小为 12M的文件,这个文件就是对应的系统表空间在文件系统上的表示。这个文件是可以自扩展的,当不够用的时候它会自己增加文件大小。需要注意的一点是,在一个MySQL服务器中,系统表空间只有一份。从MySQL5.5.7到MySQL5.6.6之间的各个版本中,我们表中的数据都会被默认存储到这个系统表空间。


独立表空间(file-per-table tablespace)


在MySQL5.6.6以及之后的版本中, InnoDB并不会默认的把各个表的数据存储到系统表空间中,而是为每一个表建立一个独立表空间,也就是说我们创建了多少个表,就有多少个独立表空间。使用独立表空间来存储表数据的话,会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件,文件名和表名相同,只不过添加了一个.ibd的扩展名而已,所以完整的文件名称长这样:

表名.ibd


其他类型的表空间


随着MySQL的发展,除了上述两种表空间之外,现在还新提出了一些不同类型的表空间,比如通用表空间 (general tablespace)、undo表空间(undo tablespace)、临时表空间(temporary tablespace)等,具体就不一一细说咯。


3.2.2 MyISAM是如何存储表数据的


在MyISAM中的索引全部都是二级索引,该存储引擎的数据和索引是分开存放的。所以在文件系统中也是使用不同的文件来存储数据文件和索引文件。而且和InnoDB不同的是,MyISAM并没有什么所谓的表空间一说,表数据都存放到对应的数据库子目录下。假如 test表使用MyISAM存储引擎的话,那么在它所在数据库对应的 testDB目录下会为test表创建这三个文件:

test.frm 
test.MYD
test.MYI

其中test.MYD代表表的数据文件,也就是我们插入的用户记录;test.MYI代表表的索引文件,我们为该表创建的索引都会放到这个文件中。


3.3 其他文件


像视图文件、服务器进程文件、服务器日志文件、默认/自动生成的SSL和RSA证书和密钥文件这些文件都存在数据目录中,具体的文件特性这里就不一一展开咯。


4 文件系统对数据库的影响


因为MySQL的数据都是存在文件系统中的,就不得不受到文件系统的一些制约,这在数据库和表的命名、表的大小和性能方面体现的比较明显,比如下边这些方面:


数据库名称和表名称不得超过文件系统所允许的最大长度。每个数据库都对应数据目录的一个子目录,数据库名称就是这个子目录的名称;每个表都会在数据库子目录下产生一个和表名同名的 .frm 文件,如果是InnoDB的独立表空间或者使用MyISAM引擎还会有别的文件的名称与表名一致,这些目录或文件名的长度都受限于文件系统所允许的长度。

特殊字符的问题。为了避免因为数据库名和表名出现某些特殊字符而造成文件系统不支持的情况,MySQL会把数据库名和表名 中所有除数字和拉丁字母以外的所有字符在文件名里都映射成 @+编码值的形式作为文件名。比方说我们创建的表的名称为 ‘test?’,由于?不属于数字或者拉丁字母,所以会被映射成编码值,所以这个表对应的.frm文件的名称就变成test@003f.frm。

文件长度受文件系统最大长度限制。对于InnoDB的独立表空间来说,每个表的数据都会被存储到一个与表名同名的 .ibd 文件中;对于 MyISAM 存储引擎来说,数据和索引会分别存放到与表同名的 .MYD 和 .MYI 文件中。这些文件会随着表中记录的增加而增大,它们的大小受限于文件系统支持的最大文件大小。


5 MySQL系统数据库简介


除了我们用户创建的数据库,MySQL会自带一些系统数据库,让我们来简要介绍下吧~


mysql:存储了MySQL的用户账户和权限信息,一些存储过程、事件的定义信息,一些运行过程中产生的日志信息,一些帮助信息以及时区信息等。

information_schema:这个数据库保存着MySQL服务器维护的所有其他数据库的信息,比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引。这些信息并不是真实的用户数据,而是一些描述性信息,有时候也称之为元数据。

performance_schema:这个数据库里主要保存MySQL服务器运行过程中的一些状态信息,算是对MySQL服务器的一个性能监控。包括统计最近执行了哪些语句,在执行过程的每个阶段都花费了多长时间,内存的使用情况等等信息。

sys:这个数据库主要是通过视图的形式把 information_schema 和 performance_schema 结合起来,让程序员可以更方便的了解MySQL服务器的一些性能信息。


6 参考文献


关于MySQL数据存储与文件系统的关系的内容就写到这里咯,主要参考了《MySQL是怎样运行的:从根儿上理解MySQL》,大家有兴趣也可以去看看,我个人觉得写得蛮好的,浅显易懂哈哈

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
4月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
2月前
|
SQL 人工智能 关系型数据库
如何实现MySQL百万级数据的查询?
本文探讨了在MySQL中对百万级数据进行排序分页查询的优化策略。面对五百万条数据,传统的浅分页和深分页查询效率较低,尤其深分页因偏移量大导致性能显著下降。通过为排序字段添加索引、使用联合索引、手动回表等方法,有效提升了查询速度。最终建议根据业务需求选择合适方案:浅分页可加单列索引,深分页推荐联合索引或子查询优化,同时结合前端传递最后一条数据ID的方式实现高效翻页。
130 0
|
24天前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
115 10
|
2月前
|
SQL 存储 缓存
MySQL 如何高效可靠处理持久化数据
本文详细解析了 MySQL 的 SQL 执行流程、crash-safe 机制及性能优化策略。内容涵盖连接器、分析器、优化器、执行器与存储引擎的工作原理,深入探讨 redolog 与 binlog 的两阶段提交机制,并分析日志策略、组提交、脏页刷盘等关键性能优化手段,帮助提升数据库稳定性与执行效率。
|
5月前
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
265 28
|
4月前
|
存储 SQL 缓存
mysql数据引擎有哪些
MySQL 提供了多种存储引擎,每种引擎都有其独特的特点和适用场景。以下是一些常见的 MySQL 存储引擎及其特点:
127 0
|
6月前
|
存储 SQL 关系型数据库
【YashanDB知识库】MySQL迁移至崖山char类型数据自动补空格问题
**简介**:在MySQL迁移到崖山环境时,若字段类型为char(2),而应用存储的数据仅为'0'或'1',查询时崖山会自动补空格。原因是mysql的sql_mode可能启用了PAD_CHAR_TO_FULL_LENGTH模式,导致保留CHAR类型尾随空格。解决方法是与应用确认数据需求,可将崖山环境中的char类型改为varchar类型以规避补空格问题,适用于所有版本。
|
6月前
|
SQL 关系型数据库 MySQL
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
本文探讨了在使用YMP 23.2.1.3迁移MySQL Server字符集为latin1的中文数据至YashanDB时出现乱码的问题。问题根源在于MySQL latin1字符集存放的是实际utf8编码的数据,而YMP尚未支持此类场景。文章提供了两种解决方法:一是通过DBeaver直接迁移表数据;二是将MySQL表数据转换为Insert语句后手动插入YashanDB。同时指出,这两种方法适合单张表迁移,多表迁移可能存在兼容性问题,建议对问题表单独处理。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
|
6月前
|
缓存 NoSQL 关系型数据库
Redis和Mysql如何保证数据⼀致?
1. 先更新Mysql,再更新Redis,如果更新Redis失败,可能仍然不⼀致 2. 先删除Redis缓存数据,再更新Mysql,再次查询的时候在将数据添加到缓存中 这种⽅案能解决1 ⽅案的问题,但是在⾼并发下性能较低,⽽且仍然会出现数据不⼀致的问题,⽐如线程1删除了 Redis缓存数据,正在更新Mysql,此时另外⼀个查询再查询,那么就会把Mysql中⽼数据⼜查到 Redis中 1. 使用MQ异步同步, 保证数据的最终一致性 我们项目中会根据业务情况 , 使用不同的方案来解决Redis和Mysql的一致性问题 : 1. 对于一些一致性要求不高的场景 , 不做处理例如 : 用户行为数据 ,
|
7月前
|
SQL 关系型数据库 MySQL
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
248 9

推荐镜像

更多