MySQL Thread pool 操作过程

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介:
Thread pool 操作过程:
     thread pool 包含一定数量的 thread groups,每个groups 管理一定量的client connections,当mysql建立 connection 时,thread pool会以循环的方式(round-robin fashion)将其分配到其中的一个 thread groups中。
     thread_pool_size 规定了thread groups 的数量,这样也就规定了同时可以执行多少个statement 可取值为 1—64,每个thread group 的最大线程数是4096.
      thread pool 将 connection 和threads 分隔开,所以connection 和thread 和没有固定的联系。
      算法:
      每个 thread group 有一个监听线程,该线程监听那些从connection 发送过滤的statement,当接受到a statement 的时候,thread group 会有两个选择;立即执行或者放入队列稍后执行。
      当接受到的只是一个语句,而且没有其他语句处于队列,或者当前没有语句正在执行,那么就会立即执行该语句,否则的话该语句就会放入到队列中。
      当立即执行该语句时,那监控线程就会来执行次任务,此时意味着在该thread group 中临时没有线程处于监听状态,如果该语句执行的很快,那么该线程还会返回来继续处于监听状态。否则的话,thread pool 就会在需要的时候创建一个新的线程来监听。 thread pool 有一个后台线程来周期的监控thread group的状态,以免因为执行SQL时thread group 被block(比如遇到disk io 产生中断等)
      thread_pool_stall_limit 参数取值范围60ms ----  6s,该值代表了该语句将要结束并且要执行下一个语句的时间间隔(线程在超过thread_pool_size时,会等待thread_pool_stall_limit  ms后创建新线程,防止线程池瞬间扩展而还来不必要的线程开销)。较小的值 允许新的线程快速的启动,这样也可以防止死锁的产生。对于那些长时间执行的statement,适合较大的值,这样防止同时执行太多的statement。
      thread pool 专注于并发的短时间运行的statement ???
      当statement遇到disk io时,或者row lock或者table lock的时候,会造成 thread group 变的不可用,此时 thread pool 有一个回调机制来让该group 内开启一个新的thread 来执行其他的statement,当blocked thread 返回的时候,thread pool立马使用。
      对于队列: high-priority queue  和 low-priority queue
      一般情况下,事务里的第一个statement会被放到 低级别的队列中,其他的语句会被放到较高级别的。 thread_pool_high_priority_connection 可以将所有statement 都放到 高级别的队列中。
      如果语句针对的是非事务型的存储引擎,或者存储引擎 autocommit=1 所有的语句都会被放入到 low 级别的队列中,
      当thread group 选择队列中的语句开始执行的时候,先检查高优先级的队列,然后是低优先级的队列,对于发现的语句,它会从队列中移除并开始执行。
      如果某个语句在低优先级的队列中时间太长,thread pool 会将其放入到高优先级的队列中,thread_pool_prio_kickup_timer 参数来控制这个时间。
   thread pool 会选择重用最活跃的threads 来充分利用CPU的缓存,这个小小的调整对性能影响很大。
      下面是当thread group 有多个threads 活跃时举出的实例:
   1、一个线程执行一个statement,但是时间已经超过了 stalled time,thread group 会 开启一个新的thread 来执行其他的statement,设置当第一个语句还在执行过程中。。
   2、一个线程正在执行一个statement,然后被 blocked并被thread pool 检测到,这个时候此时 该 thread group 允许开启一个新的线程来执行另一个statement。
   3、一个线程正在执行一个statement,然后被blocked但没有被 thread pool检测到,这个时候只有等到 stalled 时间 才能开启一个新的线程来执行新的statement
      在某些线程 被blocked 但不被thread pool 检测到 但也不会阻止其他语句的执行也不会造成thread pool 死锁 这些情况是很重要的。
   1、长时间运行的statement,
   2、Binary log dump threads
   3、Statements blocked on a row lock, table lock, sleep, or any other blocking activity that has not been reported back to the thread pool by MySQL Server or a storage engine.
  
     以上情况,为防止死锁的产生,该statement 都会被放到stalled 类别对待,
     最大的线程数是the sum of max_connections and thread_pool_size





本文转自 位鹏飞 51CTO博客,原文链接:http://blog.51cto.com/weipengfei/1163228,如需转载请自行联系原作者
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
11月前
|
关系型数据库 MySQL Linux
mysql登录报错Can't create a new thread
mysql登录报错Can't create a new thread
164 0
|
存储 缓存 关系型数据库
【MySQL进阶-08】深入理解innodb存储格式,双写机制,buffer pool底层结构和淘汰策略
【MySQL进阶-08】深入理解innodb存储格式,双写机制,buffer pool底层结构和淘汰策略
559 0
|
3月前
|
缓存 关系型数据库 MySQL
MySQL Buffer Pool 解析:原理、组成及作用
MySQL Buffer Pool 解析:原理、组成及作用
|
3月前
|
存储 固态存储 关系型数据库
【MySQL技术内幕】2.5-Master Thread工作方式
【MySQL技术内幕】2.5-Master Thread工作方式
27 0
|
4月前
|
存储 算法 关系型数据库
MySQL之深入InnoDB存储引擎——Buffer Pool
InnoDB存储引擎是基于磁盘存储的,并将其中的记录按照页的方式进行管理。在数据库系统中,由于CPU速度与磁盘速度之间的鸿沟,基于磁盘的数据库系统通常使用缓冲池技术来提高数据库的整体性能。在数据库中进行读取页的操作,首先将从磁盘读到的页存放在缓冲池中,这个过程称为将页“FIX”在缓冲池中,在下一次读取相同的页时,首先判断该页是否存在缓冲池中,如果存在则被命中,直接读取,否则读取磁盘上的页。
|
11月前
|
SQL 关系型数据库 MySQL
Mysql主从同步报错解决:Fatal error: The slave I/O thread stops because ..
Mysql主从同步报错解决:Fatal error: The slave I/O thread stops because ..
393 0
|
存储 SQL 缓存
细说MySQL中磁盘与CPU的交互——神秘的Buffer Pool
MySQL是如何读取记录的?Buffer Pool缓存功不可没!什么是Buffer Pool?它的结构是什么样的?当数据不断的读取,缓存的数据如何更新?本文将带你详细了解这些!
118 0
细说MySQL中磁盘与CPU的交互——神秘的Buffer Pool
|
缓存 安全 关系型数据库
MySQL的Buffer Pool线程安全吗?
假设MySQL同时接收到了多个请求,他自然会用多线程处理,那这多线程就可能会同时访问BP,即同时操作里面的缓存页,同时操作一个free链表、flush链表、lru链表。现在多线程来并发的访问这个BP,此时他们都是在访问内存里的一些共享数据结构,如缓存页、各种链表,必要加锁,然后让一个线程先完成一系列操作,比如说加载数据页到缓存页,更新free、lru链表,然后释放锁,接着下个线程再执行操作。
89 0
|
存储 缓存 关系型数据库
图解MySQL系列(4)-Buffer Pool中的free链表
Buffer Pool中有N多缓存页,每个缓存页还有个描述信息。DB启动后,按BP大小向os申请一块内存区域,作为BP的内存区域。 当内存区域申请完后,DB按默认缓存页及对应描述信息快,在BP中划出一块块内存,当DB把BP划分完后
90 0
|
SQL 存储 缓存
MySQL的逻辑架构--逻辑架构剖析、SQL执行流程、数据库缓冲池(buffer pool)
MySQL的逻辑架构--逻辑架构剖析、SQL执行流程、数据库缓冲池(buffer pool)
264 1
MySQL的逻辑架构--逻辑架构剖析、SQL执行流程、数据库缓冲池(buffer pool)

热门文章

最新文章