MySQL:如何快速的查看Innodb数据文件(2)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
全局流量管理 GTM,标准版 1个月
简介: MySQL:如何快速的查看Innodb数据文件

四、主键和普通索引叶子节点的行数据在存储上有哪些区别?

下面我先总结一下:

  • 主键会包含全部的字段,普通索引只会包含它定义的字段内容
  • 主键会包含trx id和roll ptr,普通索引不会包含
  • 即便不定义主键也会包含一个根据rowid排列的聚集索引,很明显如果不定义普通索引则不会存在
  • 普通索引叶子结点包含了主键或者rowid

下面我们验证一下,我们来观察第2行数据,即:

  1. | 2| gaopeng | NULL | gaopeng |

在主键上这条记录存在于(offset:180)中,在普通索引这条记录存在于(offset:137)中,下面我们分别解析:

主键(block 3 offset 180 ):

  1. [root@gp1 test]# ./bcview baguait1.ibd 1618050|grep 00000003
  2. current block:00000003--Offset:00180--cnt bytes:50--data is:8000000200000005d96adc00000042011067616f70656e6767616f70656e6720202020202020202020202020070600002000

解析一下:

  • 80000002:主键
  • 00000005d96a:trx id 6字节
  • dc000000420110:undo ptr 7字节
  • 67616f70656e67:第二个字段的‘gaopeng’的ASCII编码
  • 67616f70656e6720202020202020202020202020:第四个字段的‘gaopeng’的ASCII编码,并且因为是char(20)类型因此出现了0X20补足的情况,这实际上也解决了第5个问题,我们可以实实在在的看到这种补足操作,占用了更多的空间。

这里我们发现这条记录没有第三个字段,因为其为NULL,其包含在NULL位图中,后面我们会说明。

普通索引(block 4 offset 137 ):

[root@gp1 test]# ./bcview baguait1.ibd 
16
137
20
|grep 
00000004
current block:
00000004
--
Offset
:
00137
--cnt bytes:
20
--data 
is
:
67616f70656e67800000020700000020ffd56761

解析如下:

  • 67616f70656e67:‘gaopeng’的ASCII编码
  • 80000002:主键值2

后面的内容是下一行的行头了,这一点如果不确定可以看看最后一行,最后一行的位置是(offset:173)查看如下:


[root@gp1 test]# ./bcview baguait1.ibd

16
173
20
|grep
00000004
current block:
00000004
--
Offset
:
00173
--cnt bytes:
20
--data
is
:
6180000004000000000000000000000000000000

解析为:

  • 61:‘a’的ASCII编码
  • 80000004:主键值4

后面是0了,我们这里可以看到没有trx id和roll ptr,除了键值以外普通索引还包含了主键。

五、char和varchar在存储上的区别?

这一点我在上面已经说了,下面我们还是以第二行数据为例:

  1. | 2| gaopeng | NULL | gaopeng |

其中第1个‘gaopeng’是varchar(20)第2个‘gaopeng’是char(20)下面是他们的存储方式:

  • 67616f70656e67:第二个字段的‘gaopeng’的ASCII编码
  • 67616f70656e6720202020202020202020202020:第四个字段的‘gaopeng’的ASCII编码,并且因为是char(20)类型因此出现了0X20补足20字节的情况,我们可以实实在在的看到这种补足操作,占用了更多的空间。

不再过多熬述

六、数据中的NULL值如何存储的?

这一点还记得‘行头’的NULL位图吗?实际上这个位图会为每一个可以为NULL的字段预留1位的空间,用于标记是否字段的值为NULL,当然至少1字节(8位)。

+----+---------+---------+---------+
| id | c1 | c2 | c3 |
+----+---------+---------+---------+
|
1
| NULL | gaopeng | gaopeng |
|
2
| gaopeng | NULL | gaopeng |
|
3
| gaopeng | NULL | NULL |
|
4
| a | NULL | NULL |
+----+---------+---------+---------+

c1\c2\c3均可以为空,因此我们分别访问4条记录聚集索引(block 3)上的NULL位图信息,计算方式如下:

  • 第1行:记录(offset:128)那么128-5(5字节固定)-1(1字节NULL位图)= 122
  • 第2行:记录(offset:180)那么180-5(5字节固定)-1(1字节NULL位图)= 174
  • 第3行:记录(offset:231)那么231-5(5字节固定)-1(1字节NULL位图)= 225
  • 第4行:记录(offset:262)那么262-5(5字节固定)-1(1字节NULL位图)= 256

好了有了偏移量我们可以使用bcview访问这1字节的NULL位图信息了如下:

第1行 [root@gp1 test]# ./bcview baguait1.ibd 16 122 1 |grep 00000003 current block:00000003--Offset:00122--cnt bytes:01--data is:01 转换为二进制为:0000 0001

第2行 [root@gp1 test]# ./bcview baguait1.ibd 16 174 1 |grep 00000003 current block:00000003--Offset:00174--cnt bytes:01--data is:02 转换为二进制为:0000 0010

第3行 [root@gp1 test]# ./bcview baguait1.ibd 16 225 1 |grep 00000003 current block:00000003--Offset:00225--cnt bytes:01--data is:06 转换为二进制为:0000 0110

第4行 [root@gp1 test]# ./bcview baguait1.ibd 16 256 1 |grep 00000003 current block:00000003--Offset:00256--cnt bytes:01--data is:06 转换为二进制为:0000 0110

下面就是NULL位图的表示方法,1为NULL,我们发现和我们记录中的NULL记录一模一样。


c3 c2 c1
第1行 0 0 1
第2行 0 1 0
第3行 1 1 0
第4行 1 1 0

我们DDL修改字段的NULL属性的时候并不能通过修改数据字典来快速完成,我觉得修改更改ibd文件的实际内容是其中很大的一部分原因。下面是我修改NULL属性的记录,具体参考官方文档。

设置NULL和NOT NULL属性

都是inplace方式,因为需要修改NULL位图 因此都需要重组,代价较高
ALTER TABLE tbl_name MODIFY COLUMN column_name data_type NULL, ALGORITHM=INPLACE, LOCK=NONE;
ALTER TABLE tbl_name MODIFY COLUMN column_name data_type NOT NULL, ALGORITHM=INPLACE, LOCK=NONE;


            </div>
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
存储 关系型数据库 MySQL
第9章 【MySQL】InnoDB的表空间
第9章 【MySQL】InnoDB的表空间
93 0
第9章 【MySQL】InnoDB的表空间
|
17天前
|
存储 缓存 关系型数据库
详细解析MySQL中的innodb和myisam
总之,InnoDB和MyISAM各有千秋,选择合适的存储引擎应基于对应用程序特性的深入理解,以及对性能、数据完整性和可扩展性的综合考量。随着技术发展,InnoDB因其全面的功能和日益优化的性能,逐渐成为更广泛场景下的首选。然而,在特定条件下,MyISAM依然保留其独特的价值。
56 0
|
5月前
|
存储 缓存 关系型数据库
Mysql系列-4.Mysql存储引擎-InnoDB(上)
Mysql系列-4.Mysql存储引擎-InnoDB
75 0
|
5月前
|
存储 SQL 关系型数据库
MySQL之深入InnoDB存储引擎——redo日志
我们知道数据的修改首先是在Buffer Pool中进行的,之后再定时刷到磁盘中。那么如果在事务提交后还没刷新到磁盘中,系统就崩溃了,那么此时数据就丢失了,这就不满足事务的持久性了。而如果我们考虑每次提交之后,都同步将事务中所有的页面刷新到磁盘,这样确实可以保证持久性,但是这种方法存在以下两种问题:
|
5月前
|
存储 SQL 关系型数据库
MySQL之深入InnoDB存储引擎——物理文件
一、参数文件 当 MySQL 实例启动时,数据库会先去读一个配置参数文件,用来寻找数据库的各种文件所在位置以及指定某些初始化参数。在默认情况下,MySQL 实例会按照一定的顺序在指定的位置读取,没有参数文件也可以运行,这时所有的参数值取决于编译 MySQL 时指定的默认值和源代码中指定参数的默认值。 但是如果在默认的数据库目录下找不到 mysql 架构,则启动同样失败,mysql 架构中记录了访问该实例的权限。
|
SQL 关系型数据库 MySQL
【Mysql-InnoDB 系列】关于一致读
一致读(consistent read),在《MySQL技术内幕 第二版》中称为一致性非锁定读(consistent nonlocking read),是指InnoDB使用多版本控制(multi versioning)向查询提供数据库在某个时间点的快照。
87 0
|
存储 SQL 固态存储
MySQL的表空间到底是什么
MySQL的表空间到底是什么
446 0
|
存储 关系型数据库 MySQL
一文带你了解MySQL之InnoDB表空间
通过前边的内容,相信大家都知道了表空间是一个抽象的概念,对于系统表空间来说,对应着文件系统中一个或多个实际文件;对于每个独立表空间来说,对应着文件系统中一个名为表名.ibd的实际文件。 大家可以把表空间想象成被切分为许多个页的池子,当我们想为某个表插入一条记录的时候,就从池子中捞出一个对应的页来把数据写进去。 本章内容会深入到表空间的各个细节中,带领大家在InnoDB存储结构的池子中畅游。由于本章中将会涉及比较多的概念,虽然这些概念都不难,但是却相互依赖,所以奉劝大家看的时候:不要跳着看
246 0
|
存储 关系型数据库 MySQL
MySQL:如何快速的查看Innodb数据文件(1)
MySQL:如何快速的查看Innodb数据文件
255 0
MySQL:如何快速的查看Innodb数据文件(1)
|
存储 SQL 关系型数据库
MySQL:如何快速的查看Innodb数据文件(2)
MySQL:如何快速的查看Innodb数据文件
119 0