MySQL:如何快速的查看Innodb数据文件(2)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: MySQL:如何快速的查看Innodb数据文件

四、主键和普通索引叶子节点的行数据在存储上有哪些区别?

下面我先总结一下:

  • 主键会包含全部的字段,普通索引只会包含它定义的字段内容
  • 主键会包含trx id和roll ptr,普通索引不会包含
  • 即便不定义主键也会包含一个根据rowid排列的聚集索引,很明显如果不定义普通索引则不会存在
  • 普通索引叶子结点包含了主键或者rowid

下面我们验证一下,我们来观察第2行数据,即:

  1. | 2| gaopeng | NULL | gaopeng |

在主键上这条记录存在于(offset:180)中,在普通索引这条记录存在于(offset:137)中,下面我们分别解析:

主键(block 3 offset 180 ):

  1. [root@gp1 test]# ./bcview baguait1.ibd 1618050|grep 00000003
  2. current block:00000003--Offset:00180--cnt bytes:50--data is:8000000200000005d96adc00000042011067616f70656e6767616f70656e6720202020202020202020202020070600002000

解析一下:

  • 80000002:主键
  • 00000005d96a:trx id 6字节
  • dc000000420110:undo ptr 7字节
  • 67616f70656e67:第二个字段的‘gaopeng’的ASCII编码
  • 67616f70656e6720202020202020202020202020:第四个字段的‘gaopeng’的ASCII编码,并且因为是char(20)类型因此出现了0X20补足的情况,这实际上也解决了第5个问题,我们可以实实在在的看到这种补足操作,占用了更多的空间。

这里我们发现这条记录没有第三个字段,因为其为NULL,其包含在NULL位图中,后面我们会说明。

普通索引(block 4 offset 137 ):

[root@gp1 test]# ./bcview baguait1.ibd 
16
137
20
|grep 
00000004
current block:
00000004
--
Offset
:
00137
--cnt bytes:
20
--data 
is
:
67616f70656e67800000020700000020ffd56761

解析如下:

  • 67616f70656e67:‘gaopeng’的ASCII编码
  • 80000002:主键值2

后面的内容是下一行的行头了,这一点如果不确定可以看看最后一行,最后一行的位置是(offset:173)查看如下:


[root@gp1 test]# ./bcview baguait1.ibd

16
173
20
|grep
00000004
current block:
00000004
--
Offset
:
00173
--cnt bytes:
20
--data
is
:
6180000004000000000000000000000000000000

解析为:

  • 61:‘a’的ASCII编码
  • 80000004:主键值4

后面是0了,我们这里可以看到没有trx id和roll ptr,除了键值以外普通索引还包含了主键。

五、char和varchar在存储上的区别?

这一点我在上面已经说了,下面我们还是以第二行数据为例:

  1. | 2| gaopeng | NULL | gaopeng |

其中第1个‘gaopeng’是varchar(20)第2个‘gaopeng’是char(20)下面是他们的存储方式:

  • 67616f70656e67:第二个字段的‘gaopeng’的ASCII编码
  • 67616f70656e6720202020202020202020202020:第四个字段的‘gaopeng’的ASCII编码,并且因为是char(20)类型因此出现了0X20补足20字节的情况,我们可以实实在在的看到这种补足操作,占用了更多的空间。

不再过多熬述

六、数据中的NULL值如何存储的?

这一点还记得‘行头’的NULL位图吗?实际上这个位图会为每一个可以为NULL的字段预留1位的空间,用于标记是否字段的值为NULL,当然至少1字节(8位)。

+----+---------+---------+---------+
| id | c1 | c2 | c3 |
+----+---------+---------+---------+
|
1
| NULL | gaopeng | gaopeng |
|
2
| gaopeng | NULL | gaopeng |
|
3
| gaopeng | NULL | NULL |
|
4
| a | NULL | NULL |
+----+---------+---------+---------+

c1\c2\c3均可以为空,因此我们分别访问4条记录聚集索引(block 3)上的NULL位图信息,计算方式如下:

  • 第1行:记录(offset:128)那么128-5(5字节固定)-1(1字节NULL位图)= 122
  • 第2行:记录(offset:180)那么180-5(5字节固定)-1(1字节NULL位图)= 174
  • 第3行:记录(offset:231)那么231-5(5字节固定)-1(1字节NULL位图)= 225
  • 第4行:记录(offset:262)那么262-5(5字节固定)-1(1字节NULL位图)= 256

好了有了偏移量我们可以使用bcview访问这1字节的NULL位图信息了如下:

第1行 [root@gp1 test]# ./bcview baguait1.ibd 16 122 1 |grep 00000003 current block:00000003--Offset:00122--cnt bytes:01--data is:01 转换为二进制为:0000 0001

第2行 [root@gp1 test]# ./bcview baguait1.ibd 16 174 1 |grep 00000003 current block:00000003--Offset:00174--cnt bytes:01--data is:02 转换为二进制为:0000 0010

第3行 [root@gp1 test]# ./bcview baguait1.ibd 16 225 1 |grep 00000003 current block:00000003--Offset:00225--cnt bytes:01--data is:06 转换为二进制为:0000 0110

第4行 [root@gp1 test]# ./bcview baguait1.ibd 16 256 1 |grep 00000003 current block:00000003--Offset:00256--cnt bytes:01--data is:06 转换为二进制为:0000 0110

下面就是NULL位图的表示方法,1为NULL,我们发现和我们记录中的NULL记录一模一样。


c3 c2 c1
第1行 0 0 1
第2行 0 1 0
第3行 1 1 0
第4行 1 1 0

我们DDL修改字段的NULL属性的时候并不能通过修改数据字典来快速完成,我觉得修改更改ibd文件的实际内容是其中很大的一部分原因。下面是我修改NULL属性的记录,具体参考官方文档。

设置NULL和NOT NULL属性

都是inplace方式,因为需要修改NULL位图 因此都需要重组,代价较高
ALTER TABLE tbl_name MODIFY COLUMN column_name data_type NULL, ALGORITHM=INPLACE, LOCK=NONE;
ALTER TABLE tbl_name MODIFY COLUMN column_name data_type NOT NULL, ALGORITHM=INPLACE, LOCK=NONE;


            </div>
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
11月前
|
人工智能 Cloud Native 大数据
跳出营销噱头,深度探索国内培训格局
企业培训从最初的技能补缺,到如今的战略性人才发展布局,它正在从“成本中心”转向“价值创造中心”。一些央企、国企、上市公司更是将培训作为战略推动器,以培养具备全球化视野、数字化思维和创新精神的人才队伍。好的企业培训公司,就像一台高性能引擎,不仅帮助组织提速增效,更能在关键节点实现人才梯队的“基因升级”。
|
11月前
|
索引 API
鸿蒙开发:ForEach中为什么键值生成函数很重要
在列表组件使用的时候,如List、Grid、WaterFlow等,循环渲染时都会使用到ForEach或者LazyForEach,当然了,也有单独使用的场景,如下,一个很简单的列表组件使用,这种使用方式,在官方的很多案例中也多次出现,相信在实际的开发中多多少少也会存在。
234 8
鸿蒙开发:ForEach中为什么键值生成函数很重要
|
11月前
|
算法 网络安全 区块链
2023/11/10学习记录-C/C++对称分组加密DES
本文介绍了对称分组加密的常见算法(如DES、3DES、AES和国密SM4)及其应用场景,包括文件和视频加密、比特币私钥加密、消息和配置项加密及SSL通信加密。文章还详细展示了如何使用异或实现一个简易的对称加密算法,并通过示例代码演示了DES算法在ECB和CBC模式下的加密和解密过程,以及如何封装DES实现CBC和ECB的PKCS7Padding分块填充。
245 4
2023/11/10学习记录-C/C++对称分组加密DES
|
存储 监控 机器人
UiPath简介
RPA(Robotic Process Automation)是软件机器人,是基于计算机操作系统的工作桌面,自动识别、完成预先设定的工作流程。 UiPath即RPA中的一种。
UiPath简介
Object类型转换为long或者Long
1.转换为long Object o = new Object();long l = Long.valueOf(String.valueOf(o)).longValue();   2.转换为Long Object o = new Object();long l = Long.
4356 0
|
Ubuntu
ubuntu 配置 apt 使用代理
ubuntu 配置 apt 使用代理 仅配置系统代理是无法使 apt 也使用代理的,我们需要给 apt 独立配置代理。 方法 ubuntu 官方说明 :https://help.ubuntu.com/community/AptGet/Howto#Setting_up_apt-get_to_use_a_http-proxy 创建 /etc/apt/apt.
3922 0
|
Oracle 关系型数据库 数据库
一篇文章带你了解Oracle 数据库中 CROSS JOIN(cross join) 语法的作用
一篇文章带你了解Oracle 数据库中 CROSS JOIN(cross join) 语法的作用
1294 0
|
存储 运维 监控
【网络安全】安全等级保护测评培训试题集
【网络安全】安全等级保护测评培训试题集
2821 0
|
弹性计算 大数据 测试技术
阿里云服务器租用价格表-2023最新(附明细报价)
阿里云服务器租用价格表-2023最新(附明细报价),阿里云轻量应用服务器2核2G3M带宽轻量服务器一年108元,2核4G4M带宽轻量服务器一年297.98元12个月
1531 0
|
自然语言处理
自然语言处理工具Spacy使用笔记
自然语言处理工具Spacy使用笔记