浅谈MySQL原理与优化(二)—— 处理引擎

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: 我们来详细的分析一下处理引擎的作用。处理引擎相当于MySQL的大脑。他有三个非常重要的作用。管理理连接与线程、管理query cache、 解析SQL语句与执⾏计划⽣生成

引言

在上一篇中,我们探讨了MySQL的体系结构的组成部分。主要由客户端、处理引擎、存储引擎组成
image

现在,我们来详细的分析一下处理引擎的作用。处理引擎相当于MySQL的大脑。他有三个非常重要的作用。

管理连接与线程

mysql是采用的多线程模型,使用线程池来管理数据库的连接。线程对象被放在一个线程池中重复利用,这样可以减少重复创建对象的开销。我们可以通过thread_cache_size来设定线程池的大小,让MySQL更好的利用已有的线程连接。

image

管理query cache:

query cache是mysql一个独有的设计。MySQL会利用之前的查询结果,直接缓存结果集。简单来说,原理类似于将SQL语句和结果集作为一个个key-value键值对存储起来。如果下次有同样的查询语句,且数据库没有发生变化。MySQL并不会访问实际的表,而是会直接返回之前的结果集。注意这里的“同样的语句”即要完全一样,一个字都不能差。合理的利用query cache会得到很好的性能,当然,测试性能时query cache会带来些困扰,可以用 sql_no_cache hint 屏蔽

解析SQL语句与执⾏计划⽣生成

处理引擎会将SQL语句解析成语法树的结构,这样就可以理解语句中的字段,表,条件等信息。
image

接着,需要确定如何执行SQL语句并返回结果数据。众所周知,SQL是一个声明式的语言,用户在语句中只说明了想要的结果,并没有告诉引擎用什么样的过程去获得数据。这对于用户来说编程起来更容易,但是对于DBMS来说,增加了复杂性,执行计划需要引擎自己来确定。完成这部分工作的代码被称作优化器。

对于一个固定的查询,往往有很多种执行方式,优化器的任务就是在其中选择最优解即代价最小的一种。

这就好像是围棋AI 阿尔法狗,要从围棋可能的无数种落子中选择胜率最高的一样。
image

优化器会使用一个代价计算函数,来估算每种执行方式的时间代价,最终从若干中执行方式中,选择他认为代价最小的一种。

注意,这个代价是估算的,并不一定非常的准确,依赖的标准是数据表的一些统计信息,如果统计信息不够准确,或者优化器的估算方法并没有很好,也会造成MySQL的执行计划不是最优化的。

我们在实践中也确实会遇到这样的情况,通常会使用两种方法来解决

  1. 使用hint来提示mysql用更好的执行计划
  2. 简化语句,让MySQL更容易的估算代价。

以上是MySQL执行引擎的介绍和解析,希望对大家的日常工作,能有更好的帮助。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
1
分享
相关文章
MySQL实现文档全文搜索,分词匹配多段落重排展示,知识库搜索原理分享
本文介绍了在文档管理系统中实现高效全文搜索的方案。为解决原有ES搜索引擎私有化部署复杂、运维成本高的问题,我们转而使用MySQL实现搜索功能。通过对用户输入预处理、数据库模糊匹配、结果分段与关键字标红等步骤,实现了精准且高效的搜索效果。目前方案适用于中小企业,未来将根据需求优化并可能重新引入专业搜索引擎以提升性能。
215 5
拉卡拉 x Apache Doris:统一金融场景 OLAP 引擎,查询提速 15 倍,资源直降 52%
拉卡拉早期基于 Lambda 架构构建数据系统面临存储成本高、实时写入性能差、复杂查询耗时久、组件维护复杂等问题。为此,拉卡拉选择使用 Apache Doris 替换 Elasticsearch、Hive、Hbase、TiDB、Oracle / MySQL 等组件,实现了 OLAP 引擎的统一、查询性能提升 15 倍、资源减少 52% 的显著成效。
拉卡拉 x Apache Doris:统一金融场景 OLAP 引擎,查询提速 15 倍,资源直降 52%
|
2月前
|
mysql数据引擎有哪些
MySQL 提供了多种存储引擎,每种引擎都有其独特的特点和适用场景。以下是一些常见的 MySQL 存储引擎及其特点:
88 0
MySQL细节优化:关闭大小写敏感功能的方法。
通过这种方法,你就可以成功关闭 MySQL 的大小写敏感功能,让你的数据库操作更加便捷。
269 19
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
随着数据量增长和业务扩展,单个数据库难以满足需求,需调整为集群模式以实现负载均衡和读写分离。MySQL主从复制是常见的高可用架构,通过binlog日志同步数据,确保主从数据一致性。本文详细介绍MySQL主从复制原理及配置步骤,包括一主二从集群的搭建过程,帮助读者实现稳定可靠的数据库高可用架构。
328 9
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
181 9
从MySQL优化到脑力健康:技术人与效率的双重提升
聊到效率这个事,大家应该都挺有感触的吧。 不管是技术优化还是个人状态调整,怎么能更快、更省力地完成事情,都是我们每天要琢磨的事。
115 23
MySQL和SQLSugar百万条数据查询分页优化
在面对百万条数据的查询时,优化MySQL和SQLSugar的分页性能是非常重要的。通过合理使用索引、调整查询语句、使用缓存以及采用高效的分页策略,可以显著提高查询效率。本文介绍的技巧和方法,可以为开发人员在数据处理和查询优化中提供有效的指导,提升系统的性能和用户体验。掌握这些技巧后,您可以在处理海量数据时更加游刃有余。
527 9
图解MySQL【日志】——磁盘 I/O 次数过高时优化的办法
当 MySQL 磁盘 I/O 次数过高时,可通过调整参数优化。控制刷盘时机以降低频率:组提交参数 `binlog_group_commit_sync_delay` 和 `binlog_group_commit_sync_no_delay_count` 调整等待时间和事务数量;`sync_binlog=N` 设置 write 和 fsync 频率,`innodb_flush_log_at_trx_commit=2` 使提交时只写入 Redo Log 文件,由 OS 择机持久化,但两者在 OS 崩溃时有丢失数据风险。
132 3

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等