[MySQL 5.6] Innodb 新特性之 multi purge thread

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:
在做5.6.12 vs 5.6.11的性能对比时,大量update产生了很长的purge history list。手贱把innodb_fast_shutdowns设置为0了,结果Purge线程一直干活了,差不多两个小时才结束….

我们知道,在MySQL5.5版本中,就已经开始将purge 任务从master线程中独立出来,而到了5.6,已经支持多个purge线程同时进行,简单的理了下代码逻辑.

////////////////////////////////////////////////////////


在5.6中,提供了参数Innodb_purge_threads来控制做purge操作的后台线程数,最大允许设置为32.

purge线程被分为两类,一类是coordinator thread,只有一个这样的线程,另外的Innodb_purge_threads-1个是worker线程.

线程在Innodb启动时创建
quoted code in innobase_start_or_create_for_mysql:
2584         if (!srv_read_only_mode
2585             && srv_force_recovery < SRV_FORCE_NO_BACKGROUND) {
2586
2587                 os_thread_create(
2588                         srv_purge_coordinator_thread,
2589                         NULL, thread_ids + 5 + SRV_MAX_N_IO_THREADS);
2590
2591                 ut_a(UT_ARR_SIZE(thread_ids)
2592                      > 5 + srv_n_purge_threads + SRV_MAX_N_IO_THREADS);
2593
2594                 /* We've already created the purge coordinator thread above. */
2595                 for (i = 1; i < srv_n_purge_threads; ++i) {
2596                         os_thread_create(
2597                                 srv_worker_thread, NULL,
2598                                 thread_ids + 5 + i + SRV_MAX_N_IO_THREADS);
2599                 }
2600
2601                 srv_start_wait_for_purge_to_start();
2602
2603         } else {
2604                 purge_sys->state = PURGE_STATE_DISABLED;
2605         }
a. coordinator thread
协调线程的入口函数是srv_purge_coordinator_thread

分为三个阶段:
正常工作阶段,在一个while循环中调用:
2754                 rseg_history_len = srv_do_purge(
2755                         srv_n_purge_threads, &n_total_purged);

 

从while break的条件由函数srv_purge_should_exit确定,这里有一个特殊情况,当innodb_fast_shutdown设置为0时,如果上一次purge的Page数不为0,则返回false,表示不退出循环,这是因为当fast shutdown为0时,需要做完所有的purge操作才会结束线程任务


第二个阶段是确认innodb_fast_shutdown被设置为0时,所有的记录都被purge掉了;这可以避免在退出上述循环后,有新的记录加入。这里已经不再使用worker线程了(trx_purge的第一个参数为1)

2769         while (srv_fast_shutdown == 0 && n_pages_purged > 0) {
2770                 n_pages_purged = trx_purge(1, srv_purge_batch_size, false);
2771         }
最后对history list做一次truncate,并确保所有worker线程退出

2773         /* Force a truncate of the history list. */
2774         n_pages_purged = trx_purge(1, srv_purge_batch_size, true);
这里有两个需要关注的函数:

a1)srv_do_purge:

在协调线程的主要工作都是在这个函数中,注意,不是有多少工作线程,就会用多少的,这里 实际上是把多余的线程当做一个池子,只有purge跟不上更新的时候,才会去调度这些线程:

调整n_use_threads
>>当trx_sys->rseg_history_len相比上次purge有增长时,或者超过了innodb_max_purge_lag_delay(不为0),++n_use_threads
>>否则,如果存在activity(srv_check_activity),–n_use_threads

执行purge调度
2577                 n_pages_purged = trx_purge(
2578                         n_use_threads, srv_purge_batch_size, false);

每128次purge, truncate一次history list,这也是为什么我们每隔一会,才看到history list长度变小的原因

2580                 if (!(count++ % TRX_SYS_N_RSEGS)) {
2581                         /* Force a truncate of the history list. */
2582                         n_pages_purged += trx_purge(
2583                                 1, srv_purge_batch_size, true);
2584                 }
a2)  trx_purge
trx_purge是purge任务调度的核心函数,包含三个参数:
* n_purge_threads —>使用到的worker线程数
* batch_size  —-> 由innodb_purge_batch_size控制,表示一次Purge的记录数
* truncate —>是否truncate history list 

持有purge_sys->latch的x锁,并建立read view,然后释放锁
purge_sys->view = read_view_purge_open(purge_sys->heap);

读取需要purge的undo记录,记录数不超过batch size,这些purge任务被指派给n_purge_threads个thr
1213         /* Fetch the UNDO recs that need to be purged. */
1214         n_pages_handled = trx_purge_attach_undo_recs(
1215                 n_purge_threads, purge_sys, &purge_sys->limit, batch_size);
当n_purge_threads>1时,会将n_purge_threads-1个thr加入到工作队列,由worker线程来消费

1221                 /* Submit the tasks to the work queue. */
1222                 for (i = 0; i < n_purge_threads - 1; ++i) {
1223                         thr = que_fork_scheduler_round_robin(
1224                                 purge_sys->query, thr);
1225
1226                         ut_a(thr != NULL);
1227
1228                         srv_que_task_enqueue_low(thr);
1229                 }

 

调度线程同样也需要运行一个thr任务,而不是仅仅只做分配;完成后,还需要等待其他worker线程完成任务
1243 run_synchronously:
1244                 ++purge_sys->n_submitted;
1245
1246                 que_run_threads(thr);
1247
1248                 os_atomic_inc_ulint(
1249                         &purge_sys->bh_mutex, &purge_sys->n_completed, 1);
1250
1251                 if (n_purge_threads > 1) {
1252                         trx_purge_wait_for_workers_to_complete(purge_sys);
1253                 }

当truncate为true时,还需要调用trx_purge_truncate–>trx_purge_truncate_history从回滚段中移除历史记录。


b.worker thread


入口函数是srv_worker_thread
2473         do {
2474                 srv_suspend_thread(slot);
2475
2476                 os_event_wait(slot->event);
2477
2478                 if (srv_task_execute()) {
2479
2480                         /* If there are tasks in the queue, wakeup
2481                         the purge coordinator thread. */
2482
2483                         srv_wake_purge_thread_if_not_active();
2484                 }
2485
2486                 /* Note: we are checking the state without holding the
2487                 purge_sys->latch here. */
2488         } while (purge_sys->state != PURGE_STATE_EXIT);
purge_sys->state是协调线程在将要退出前设置成PURGE_STATE_EXIT。因此worker线程总是在coordinator线程退出之后再退出


srv_task_execute()的工作流程也很简单: 持有srv_sys->tasks_mutex锁,从srv_sys->tasks中取出一个thr,然后释放tasks_mutex。再调用que_run_threads(thr)完成purge

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
26天前
|
SQL 安全 关系型数据库
【MySQL基础篇】事务(事务操作、事务四大特性、并发事务问题、事务隔离级别)
事务是MySQL中一组不可分割的操作集合,确保所有操作要么全部成功,要么全部失败。本文利用SQL演示并总结了事务操作、事务四大特性、并发事务问题、事务隔离级别。
【MySQL基础篇】事务(事务操作、事务四大特性、并发事务问题、事务隔离级别)
|
26天前
|
存储 缓存 关系型数据库
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
MySQL的存储引擎是其核心组件之一,负责数据的存储、索引和检索。不同的存储引擎具有不同的功能和特性,可以根据业务需求 选择合适的引擎。本文详细介绍了MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案。
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
|
1月前
|
存储 关系型数据库 MySQL
MySQL存储引擎详述:InnoDB为何胜出?
MySQL 是最流行的开源关系型数据库之一,其存储引擎设计是其高效灵活的关键。InnoDB 作为默认存储引擎,支持事务、行级锁和外键约束,适用于高并发读写和数据完整性要求高的场景;而 MyISAM 不支持事务,适合读密集且对事务要求不高的应用。根据不同需求选择合适的存储引擎至关重要,官方推荐大多数场景使用 InnoDB。
71 7
|
1月前
|
存储 关系型数据库 MySQL
Mysql索引:深入理解InnoDb聚集索引与MyisAm非聚集索引
通过本文的介绍,希望您能深入理解InnoDB聚集索引与MyISAM非聚集索引的概念、结构和应用场景,从而在实际工作中灵活运用这些知识,优化数据库性能。
144 7
|
2月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
176 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
1月前
|
存储 关系型数据库 MySQL
MySQL引擎InnoDB和MyISAM的区别?
InnoDB是MySQL默认的事务型存储引擎,支持事务、行级锁、MVCC、在线热备份等特性,主索引为聚簇索引,适用于高并发、高可靠性的场景。MyISAM设计简单,支持压缩表、空间索引,但不支持事务和行级锁,适合读多写少、不要求事务的场景。
64 9
|
2月前
|
关系型数据库 MySQL
mysql事务特性
原子性:一个事务内的操作统一成功或失败 一致性:事务前后的数据总量不变 隔离性:事务与事务之间相互不影响 持久性:事务一旦提交发生的改变不可逆
|
2月前
|
存储 安全 关系型数据库
InnoDB引擎特性
InnoDB事务型数据库的首选引擎,支持事务安全表(ACID),支持行锁定和外键。MySQL5.5.5之后,InnoDB作为默认存储引擎,InnoDB主要特性有: InnoDB给MySQL提供了具有提交,回滚和崩溃恢复能力的事务安全(ACID兼容)存储引擎。InnoDB锁定在行级并且也在SELECT语句中提供了一个类似Oracle的非锁定读。 InnoDB是为处理巨大数据量的最大性能设计。它的CPU效率可能是任何其他基于磁盘关系的数据库引擎所不能匹敌的。 InnoDB存储引擎完全与MySQL服务器整合,InnoDB存储引擎为在主内存中缓存数据和索引而维持它自己的缓冲池
|
2月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的表空间
InnoDB是MySQL默认的存储引擎,主要由存储结构、内存结构和线程结构组成。其存储结构分为逻辑和物理两部分,逻辑存储结构包括表空间、段、区和页。表空间是InnoDB逻辑结构的最高层,所有数据都存放在其中。默认情况下,InnoDB有一个共享表空间ibdata1,用于存放撤销信息、系统事务信息等。启用参数`innodb_file_per_table`后,每张表的数据可以单独存放在一个表空间内,但撤销信息等仍存放在共享表空间中。
|
2月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的段、区和页
MySQL的InnoDB存储引擎逻辑存储结构与Oracle相似,包括表空间、段、区和页。表空间由段和页组成,段包括数据段、索引段等。区是1MB的连续空间,页是16KB的最小物理存储单位。InnoDB是面向行的存储引擎,每个页最多可存放7992行记录。