随笔:sending data状态包含了使用内部临时表

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 这是一个我的随笔记录,这些过程非常有用,也非常明显。欢迎关注我的《深入理解MySQL主从原理 32讲 》,如下:语句如下:mysql> desc select id,count(*) from t110 group by id;+----+-------------+-------+...

这是一个我的随笔记录,这些过程非常有用,也非常明显。

欢迎关注我的《深入理解MySQL主从原理 32讲 》,如下:

image.png

语句如下:

mysql> desc select id,count(*) from t110 group by  id;
+----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+---------------------------------+
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows  | filtered | Extra                           |
+----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+---------------------------------+
|  1 | SIMPLE      | t110  | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 99395 |   100.00 | Using temporary; Using filesort |
+----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+---------------------------------+
1 row in set, 1 warning (0.00 sec)

存入内部临时表的操作也在'sending data' 下面,下面的debug trace可以看出
操作是获取innodb层一条数据handler::ha_rnd_next,然后在内部临时表中查询
这行记录hp_search,如果存在则做相应的更改heap_update(如count累加,sum加值等)

使用内部临时表
   1249 T@3: | | | | | | | | >handler::ha_rnd_next
   1250 T@3: | | | | | | | | | >rnd_next
   1251 T@3: | | | | | | | | | | >general_fetch
   1252 T@3: | | | | | | | | | | | >row_search_mvcc
   1253 T@3: | | | | | | | | | | | | >row_sel_store_mysql_rec
   1254 T@3: | | | | | | | | | | | | | >row_sel_store_mysql_field_func
   1255 T@3: | | | | | | | | | | | | | <row_sel_store_mysql_field_func 3267
   1256 T@3: | | | | | | | | | | | | <row_sel_store_mysql_rec 3457
   1257 T@3: | | | | | | | | | | | <row_search_mvcc 6453
   1258 T@3: | | | | | | | | | | <general_fetch 9913
   1259 T@3: | | | | | | | | | <rnd_next 10086
   1260 T@3: | | | | | | | | <handler::ha_rnd_next 3159
   1261 T@3: | | | | | | | | >evaluate_join_record
   1262 T@3: | | | | | | | | | enter: join: 0x7ffe7c007778 join_tab index: 0 table: t112 cond: 0x0
   1263 T@3: | | | | | | | | | counts: evaluate_join_record join->examined_rows++: 4
   1264 T@3: | | | | | | | | | >sub_select_op
   1265 T@3: | | | | | | | | | | >end_update
   1266 T@3: | | | | | | | | | | | >handler::ha_index_read_map
   1267 T@3: | | | | | | | | | | | | >heap_rkey
   1268 T@3: | | | | | | | | | | | | | enter: info: 0x7ffe7caa74d0  inx: 0
   1269 T@3: | | | | | | | | | | | | | >hp_search
   1270 T@3: | | | | | | | | | | | | | | exit: hash: 0x105050504
   1271 T@3: | | | | | | | | | | | | | | exit: found key at 0x7ffe7ceb4880
   1272 T@3: | | | | | | | | | | | | | <hp_search 124
   1273 T@3: | | | | | | | | | | | | | >hp_extract_record
   1274 T@3: | | | | | | | | | | | | | <hp_extract_record 369
   1275 T@3: | | | | | | | | | | | | <heap_rkey 81
   1276 T@3: | | | | | | | | | | | <handler::ha_index_read_map 3261
   1277 T@3: | | | | | | | | | | | >hanlder::ha_update_row
   1278 T@3: | | | | | | | | | | | | >heap_update
   1279 T@3: | | | | | | | | | | | | | >hp_copy_record_data_to_chunks
   1280 T@3: | | | | | | | | | | | | | <hp_copy_record_data_to_chunks 308
   1281 T@3: | | | | | | | | | | | | <heap_update 79
   1282 T@3: | | | | | | | | | | | <hanlder::ha_update_row 8518
   1283 T@3: | | | | | | | | | | <end_update 3482
   1284 T@3: | | | | | | | | | <sub_select_op 1085
   1285 T@3: | | | | | | | | <evaluate_join_record 1707

下面是count(*)累加关于heap_update old值和new值的查看

Breakpoint 2, heap_update (info=0x7ffe7c9a9620, old_record=0x7ffe7c00f3b8  <incomplete sequence \375>, new_record=0x7ffe7c00f3a0  <incomplete sequence \375>)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/storage/heap/hp_update.c:24
24        my_bool auto_key_changed= 0;
(gdb) x/16bx 0x7ffe7c00f3b8
0x7ffe7c00f3b8: 0xfd    0x00    0x01    0x00    0x00    0x00    0x01    0x00
0x7ffe7c00f3c0: 0x00    0x00    0x00    0x00    0x00    0x00    0x00    0x00
(gdb) x/16bx 0x7ffe7c00f3a0
0x7ffe7c00f3a0: 0xfd    0x00    0x01    0x00    0x00    0x00    0x02    0x00
0x7ffe7c00f3a8: 0x00    0x00    0x00    0x00    0x00    0x00    0x00    0x00
(gdb) c
Continuing.

Breakpoint 2, heap_update (info=0x7ffe7c9a9620, old_record=0x7ffe7c00f3b8  <incomplete sequence \375>, new_record=0x7ffe7c00f3a0  <incomplete sequence \375>)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/storage/heap/hp_update.c:24
24        my_bool auto_key_changed= 0;
(gdb) x/16bx 0x7ffe7c00f3b8
0x7ffe7c00f3b8: 0xfd    0x00    0x01    0x00    0x00    0x00    0x02    0x00
0x7ffe7c00f3c0: 0x00    0x00    0x00    0x00    0x00    0x00    0x00    0x00
(gdb) x/16bx 0x7ffe7c00f3a0
0x7ffe7c00f3a0: 0xfd    0x00    0x01    0x00    0x00    0x00    0x03    0x00
0x7ffe7c00f3a8: 0x00    0x00    0x00    0x00    0x00    0x00    0x00    0x00

注意到key = 1 的这个值,第一次断点old值为0x01 new值为0x02,第二次断点old值为0x02 new值为0x03

然后遍历完所有的行过后,进入排序状态为Creating sort index

   1526 T@3: | | | | | | | | | THD::enter_stage: 'Creating sort index' /root/mysqlall/percona-server-locks-detail-5.7.22/sql/sql_executor.cc:2604
   1527 T@3: | | | | | | | | | >PROFILING::status_change
   1528 T@3: | | | | | | | | | <PROFILING::status_change 384
   1529 T@3: | | | | | | | | | >create_sort_index
   1530 T@3: | | | | | | | | | | >my_raw_malloc
   1531 T@3: | | | | | | | | | | | my: size: 376  my_flags: 48
   1532 T@3: | | | | | | | | | | | exit: ptr: 0x7ffe7c9d1a90
   1533 T@3: | | | | | | | | | | <my_raw_malloc 219
   1534 T@3: | | | | | | | | | | >heap_info
   1535 T@3: | | | | | | | | | | <heap_info 57
   1536 T@3: | | | | | | | | | | >filesort
   1537 T@3: | | | | | | | | | | | >make_sortorder
   1538 T@3: | | | | | | | | | | | | >alloc_root
   1539 T@3: | | | | | | | | | | | | | enter: root: 0x7ffe7c003c08
   1540 T@3: | | | | | | | | | | | | | exit: ptr: 0x7ffe7caa4fc8
   1541 T@3: | | | | | | | | | | | | <alloc_root 304
   1542 T@3: | | | | | | | | | | | <make_sortorder 663
   1543 T@3: | | | | | | | | | | | opt: (null): starting struct
   1544 T@3: | | | | | | | | | | | opt: filesort_information: starting struct
   1545 T@3: | | | | | | | | | | | opt: (null): starting struct
   1546 T@3: | | | | | | | | | | | opt: direction: "asc"
   1547 T@3: | | | | | | | | | | | opt: table: "intermediate_tmp_table"
   1548 T@3: | | | | | | | | | | | opt: field: "id"
   1549 T@3: | | | | | | | | | | | opt: (null): ending struct
   1550 T@3: | | | | | | | | | | | opt: filesort_information: ending struct
   1551 T@3: | | | | | | | | | | | info: sort_length: 5
相关实践学习
阿里云图数据库GDB入门与应用
图数据库(Graph Database,简称GDB)是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言,可以帮您快速构建基于高度连接的数据集的应用程序。GDB非常适合社交网络、欺诈检测、推荐引擎、实时图谱、网络/IT运营这类高度互连数据集的场景。 GDB由阿里云自主研发,具备如下优势: 标准图查询语言:支持属性图,高度兼容Gremlin图查询语言。 高度优化的自研引擎:高度优化的自研图计算层和存储层,云盘多副本保障数据超高可靠,支持ACID事务。 服务高可用:支持高可用实例,节点故障迅速转移,保障业务连续性。 易运维:提供备份恢复、自动升级、监控告警、故障切换等丰富的运维功能,大幅降低运维成本。 产品主页:https://www.aliyun.com/product/gdb
相关文章
|
NoSQL Java Redis
Redis Cluster:Too many Cluster redirections异常
  转载请注明出处哈:http://carlosfu.iteye.com/blog/2240426   一、现象:     我们的redis私有云,对外提供了redis-standalone, redis-sentinel, redis-cluster三种类型的redis服务。
4580 0
Redis Cluster:Too many Cluster redirections异常
|
SQL NoSQL MySQL
MongoDB 执行计划 & 优化器简介 (上)
最近,由于工作需求去了解一下Query是如何在MongoDB内部进行处理,从而丢给存储引擎的。里面涉及了Query执行计划和优化器的相关代码,MongoDB整体思路设计的干净利落,有些地方深入挖一下其实还是能有些优化点的。本文会涉及一条Query被parse之后一路走到引擎之前,都做了那些事情,分析基于MongoDB v3.4.6代码。由于篇幅过长,文章分为上下两篇,分别介绍执行计划 & 优化器和
3986 0
|
10月前
|
存储 NoSQL MongoDB
【赵渝强老师】MongoDB写入数据的过程
在MongoDB数据更新时,WiredTiger存储引擎通过预写日志(Journal)机制先将更新写入日志文件,再通过检查点操作将日志中的操作刷新到数据文件,确保数据持久化和一致性。检查点定期创建,缩短恢复时间,并保证异常终止后可从上一个有效检查点恢复数据。视频讲解及图示详细说明了这一过程。
249 23
【赵渝强老师】MongoDB写入数据的过程
|
10月前
|
存储 关系型数据库 MySQL
MySQL索引学习笔记
本文深入探讨了MySQL数据库中慢查询分析的关键概念和技术手段。
689 81
|
10月前
|
存储 监控 NoSQL
【赵渝强老师】MongoDB文档级别的并发控制
MongoDB使用WiredTiger存储引擎在文档级别进行并发控制,允许多个写操作同时修改不同文档,但对同一文档的修改需序列化执行。引擎采用乐观锁和意向锁机制处理冲突。通过视频讲解、插入大量文档示例及使用`mongotop`和`db.serverStatus()`命令,演示了如何监控MongoDB的锁信息和读写统计,展示了数据库和集合级别的写锁情况。
267 29
|
11月前
|
存储 NoSQL 安全
【赵渝强老师】MongoDB的Journal日志
MongoDB通过Journal日志保证数据安全,记录检查点后的更新,确保数据库从异常中恢复到有效状态。每个Journal文件100M,存于--dbpath指定的journal子目录。默认已启用Journal日志,可通过--journal参数手动启用。WiredTiger存储引擎使用128KB内存缓冲区,异常关机时可能丢失最多128KB的数据。视频讲解和详细步骤参见附录。
296 17
|
9月前
|
存储 关系型数据库 MySQL
图解MySQL【日志】——Undo Log
Undo Log(回滚日志)是 MySQL 中用于实现事务原子性和一致性的关键机制。在默认的自动提交模式下,MySQL 隐式开启事务,每条增删改语句都会记录到 Undo Log 中。其主要作用包括:
310 0
|
11月前
|
存储 NoSQL MongoDB
【赵渝强老师】MongoDB逻辑存储结构
MongoDB的逻辑存储结构由数据库(Database)、集合(Collection)和文档(Document)组成,形成层次化数据模型。用户通过mongoshell或应用程序操作这些结构。视频讲解及结构图详见下文。
324 3
|
SQL 运维 NoSQL
MongoDB 6.0.3版本Balancer改动
Balancer不再执行自动分割,chunk无法作为数据均衡判断依据
|
关系型数据库 MySQL 数据库
MySQL 普通索引的加锁
前面已经介绍了主键索引的加锁范围和非主键唯一索引的加锁范围。 MySQL next-key lock 加锁范围是什么? 看来,MySQL next-key lock 的 bug 并没有被修复!
2908 0

热门文章

最新文章