第02章 MySQL的数据目录【1.MySQL架构篇】【MySQL高级】

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: 第02章 MySQL的数据目录【1.MySQL架构篇】【MySQL高级】

前言

2022/7/28 12:40

暑假学习ing

推荐

【MySQL数据库教程天花板,mysql安装到mysql高级,强!硬!-哔哩哔哩】

尚硅谷MySQL学习笔记

第02章 MySQL的数据目录

1.MySQL8的主要目录结构

find / -name mysql  

安装好MySQL8之后,我们查看如下的目录结构:

[root@centos7-mysql-1 ~]# cd /var/lib/mysql
[root@centos7-mysql-1 mysql]# ll



1.1数据库文件的存放路径

MySQL数据库文件的存放路径:/var/lib/mysqI/
MySQL服务器程序在启动时会到文件系统的某个目录下加载一些文件,之后在运行过程中产生的数据也都会存储 到这个目录下的某些文件中,这个目录就称为数据目录。


MySQL把数据都存到哪个路径下呢?其实数据目录对应着一个系统变量datadir,我们在使用客户端与服务器建 立连接之后查看这个系统变量的值就可以了:

mysql> show variables like 'datadir';
+---------------+-----------------+
| Variable_name | Value           |
+---------------+-----------------+
| datadir       | /var/lib/mysql/ |
+---------------+-----------------+
1 row in set (0.00 sec)

从结果上可以看出,在我的计算机上mysql的数据目录就是/var/lib/mysql

1.2 相关命令的目录

相关命令的目录: /usr/bin (mysqladmin、mysqlbinlog、mysqldump等命令)和/usr/bin。

[root@centos7-mysql-1 mysql]# cd /usr/bin
[root@centos7-mysql-1 bin]# ls

[root@centos7-mysql-1 bin]# cd  /usr/sbin
[root@centos7-mysql-1 sbin]# ls



1.3 配置文件目录

配置文件目录:/usr/share/mysql-8.0(命令及配置文件),/etc/mysql(如my.cnf)

[root@centos7-mysql-1 sbin]# cd /usr/share/mysql-8.0
[root@centos7-mysql-1 mysql-8.0]# ll
[root@centos7-mysql-1 mysql-8.0]# cd /etc
[root@centos7-mysql-1 etc]# ls



2.数据库和文件系统的关系

InnoDBMyISAM这样的存储引擎都是把表存储在磁盘上的,操作系统用来管理磁盘的结构被称为文件系统,所以用专业一点的话来表述就是:像InnoDBMyISAM这样的存储引擎都是把表存储在文件系统上的。当我们想读取数据的时候,这些存储引擎会从文件系统中把数据读出来返回给我们,当我们想写入数据的时候,这 些存储引擎会把这些数据又写回文件系统。本章学习一下InnoDBMyISAM这两个存储引擎的数据如何在文件系统中存储。

2.1查看默认数据库

查看一下在我的计算机上当前有哪些数据库:

mysql> SHOW DATABASES;


可以看到有4个数据库是属于MySQL自带的系统数据库。


mysql

MySQL系统自带的核心数据库,它存储了MySQL的用户账户和权限信息,一些存储过程、事件的定义信息, 一些运行过程中产生的日志信息,一些帮助信息以及时区信息等。


information_schema

MySQL系统自带的数据库,这个数据库保存着MySQL服务器维护的所有其他数据库的信息,比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引。这些信息并不是真实的用户数据,而是一些描述性信息,有时候也称之为元数据。在系统数据库information_schema中提供了一些以innodb_sys开头的表,用于表示内部系统表。


performance_schema

MySQL系统自带的数据库,这个数据库里主要保存MySQL服务器运行过程中的一些状态信息,可以用来监控MySQL服务的各类性能指标。包括统计最近执行了哪些语句,在执行过程的每个阶段都花费了多长时间,内存的使用情况等信息。


sys

MySQL系统自带的数据库,这个数据库主要是通过视图的形式把information_schema和 performance_schema结合起来,帮助系统管理员和开发人员监控MySQL 的技术性能。

2.2数据库在文件系统中的表示

2.3 表在文件系统中的表示

2.3.1 InnoDB存储引擎模式

[root@centos7-mysql-1 etc]# cd /var/lib/mysql
[root@centos7-mysql-1 mysql]# ll
[root@centos7-mysql-1 mysql]# cd ./dbtest1
[root@centos7-mysql-1 dbtest1]# ll

5.7版本中:


db.opt 是数据库datest1的参数,保存数据库的相关配置

emp.frm 是数据表emp的结构

emp.ibd 是数据表emp的数据 ,独立表空间

数据也可以放在/var/lib/mysql/ibdata1系统表空间 默认大小12M

③系统表空间与独立表空间的设置

我们可以自己指定使用系统表空间还是独立表空间来存储数据,这个功能由启动参数innodb_file_per_table 控制,比如说我们想刻意将表数据都存储到系统表空间时,可以在启动MySQL服务器的时候这样配置:

[server]
innodb_file_per_table=0  #0:代表使用系统表空间:1:代表使用独立表空间

默认情况:

mysql> show variables like 'innodb_file_per_table';
+-----------------------+-------+
| Variable_name         | Value |
+-----------------------+-------+
| innodb_file_per_table | ON    |
+-----------------------+-------+
1 row in set (0.04 sec)

mysql8.0中:


没有db.opt

只有.idb没有.frm

表结构和表数据合一了。

Windows和linux一样。
疑问

怎么证明:表结构和表数据合一了。

解析ibd文件

ibd2sdi工具

ibd2sdi --dump-file=student.txt student.ibd



vim emp1.txt



2.3.2 MyISAM存储引擎模式

举例:创建一个MyISAM表,使用ENGINE选项显式指定引擎。因为InnoDB是默认引擎。

CREATE TABLE `student_myisam`(
`id`  bigint NOT NULL  AUTO_INCREMENT,
`name` varchar(64) DEFAULT NULL,
`age`  int DEFAULT NULL,
`sex` varchar(2) DEFAULT NULL,
PRIMARY KEY (`id`)
)ENGINE=MYISAM AUTO_INCREMENT=0 DEFAULT CHARSET=utf8mb3;

mysql5.7版本中:


InnoDB中:索引即数据,数据即索引,合在一起,ibd

MyISAM中:是分开的 .MYD是数据 .MYI 是索引

mysql8.0版本中:


.sdi 相当于.frm 存放元数据的

2.4 小结

举例:数据库a表b

1、如果表b采用InnoDB,data\a中会产生1个或者2个文件:
b.frm:描述表结构文件,字段长度等

如果采用系统表空间模式的,数据信息和索引信息都存储在ibdata1中

如果采用独立表空间存储模式,data\a中还会产生b.ibd文件(存储数据信息和索引信息)

此外:


①MySQL5.7中会在data/a的目录下生成db.opt文件用于保存数据库的相关配置。比如:字符集、比较规则。而 MySQL8.0不再提供db.opt文件。


②MySQL8.0中不再单独提供b.frm,而是合并在b.ibd文件中。


2、如果表b采用MyISAM, data\a中会产生3个文件:


MySQL5.7中:b.frm:描述表结构文件,字段长度等。

MySQL8.0中b.xxx.sdi:描述表结构文件,字段长度等

b.MYD(MYData):数据信息文件,存储数据信息(如果采用独立表存储模式)

b.MYI(MYIndex):存放索引信息文件

2.5 视图在文件系统的表示

我们知道MySQL中的视图其实是虚拟的表,也就是某个查询语句的一个别名而已,所以在存储视图的时候是不需要存储真实的数据的,只需要把它的结构存储起来就行了。和表一样,描述视图结构的文件也会被存储到所属数 据库对应的子目录下边,只会存储一个视图名.frm的文件。如下图中的:emp_details_view.frm,没有.ibd

2.6 其他的文件

除了我们上边说的这些用户自己存储的数据以外,数据目录下还包括为了更好运行程序的一些额外文件,主要包 括这几种类型的文件:

  • 服务器进程文件
    我们知道每运行一个MySQL服务器程序,都意味着启动一个进程。MySQL服务器会把自己的进程ID写入到一个文件中。
  • 服务器日志文件
    在服务器运行过程中,会产生各种各样的日志,比如常规的查询日志、错误日志、二进制日志、redo日志 等。这些日志各有各的用途,后面讲解。
    默认/自动生成的SSL和RSA证书和密钥文件
    主要是为了客户端和服务器安全通信而创建的一些文件。

最后

p104

2022/7/28 13:48

Markdown 5404 字数 241 行数

HTML 4119 字数 126 段落

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
25
分享
相关文章
|
9天前
|
Doris基础-架构、数据模型、数据划分
Apache Doris 是一款高性能、实时分析型数据库,基于MPP架构,支持高并发查询与复杂分析。其前身是百度的Palo项目,现为Apache顶级项目。Doris适用于报表分析、数据仓库构建、日志检索等场景,具备存算一体与存算分离两种架构,灵活适应不同业务需求。它提供主键、明细和聚合三种数据模型,便于高效处理更新、存储与统计汇总操作,广泛应用于大数据分析领域。
110 2
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
Super MySQL|揭秘PolarDB全异步执行架构,高并发场景性能利器
阿里云瑶池旗下的云原生数据库PolarDB MySQL版设计了基于协程的全异步执行架构,实现鉴权、事务提交、锁等待等核心逻辑的异步化执行,这是业界首个真正意义上实现全异步执行架构的MySQL数据库产品,显著提升了PolarDB MySQL的高并发处理能力,其中通用写入性能提升超过70%,长尾延迟降低60%以上。
MySQL进阶突击系列(03) MySQL架构原理solo九魂17环连问 | 给大厂面试官的一封信
本文介绍了MySQL架构原理、存储引擎和索引的相关知识点,涵盖查询和更新SQL的执行过程、MySQL各组件的作用、存储引擎的类型及特性、索引的建立和使用原则,以及二叉树、平衡二叉树和B树的区别。通过这些内容,帮助读者深入了解MySQL的工作机制,提高数据库管理和优化能力。
千万级数据秒级响应!碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
337 69
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
十万订单每秒热点数据架构优化实践深度解析
【11月更文挑战第20天】随着互联网技术的飞速发展,电子商务平台在高峰时段需要处理海量订单,这对系统的性能、稳定性和扩展性提出了极高的要求。尤其是在“双十一”、“618”等大型促销活动中,每秒需要处理数万甚至数十万笔订单,这对系统的热点数据处理能力构成了严峻挑战。本文将深入探讨如何优化架构以应对每秒十万订单级别的热点数据处理,从历史背景、功能点、业务场景、底层原理以及使用Java模拟示例等多个维度进行剖析。
194 8
基于Transformer架构的时间序列数据去噪技术研究
本文介绍了一种基于Transformer架构的时间序列去噪模型。通过生成合成数据训练,模型在不同噪声条件下展现出强去噪能力。文章详细解析了Transformer的输入嵌入、位置编码、自注意力机制及前馈网络等关键组件,并分析实验结果与注意力权重分布。研究为特定任务的模型优化和专业去噪模型开发奠定了基础。
251 14
基于Transformer架构的时间序列数据去噪技术研究
新闻聚合项目:多源异构数据的采集与存储架构
本文探讨了新闻聚合项目中数据采集的技术挑战与解决方案,指出单纯依赖抓取技术存在局限性。通过代理IP、Cookie和User-Agent的精细设置,可有效提高采集策略;但多源异构数据的清洗与存储同样关键,需结合智能化算法处理语义差异。正反方围绕技术手段的有效性和局限性展开讨论,最终强调综合运用代理技术与智能数据处理的重要性。未来,随着机器学习和自然语言处理的发展,新闻聚合将实现更高效的热点捕捉与信息传播。附带的代码示例展示了如何从多个中文新闻网站抓取数据并统计热点关键词。
207 2
新闻聚合项目:多源异构数据的采集与存储架构

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等