MySQL逻辑架构、存储引擎和SQL预热 --【MySQL高级篇1】

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: MySQL逻辑架构、存储引擎和SQL预热

1、MySQL逻辑架构简介

和其他数据库相比,MySQL有点与众不同,它的架构可以在多种不同的场景中应用并发挥良好的作用,主要体现在存储引擎的架构上。插件式的存储引擎架构将查询处理和其他的系统任务以及数据的存储提取相分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。

在这里插入图片描述

  1. 连接层最上层是一些客户端和连接服务,包含本地sock通信和大多数基于客户端/服务端工具实现的类似tcp/ip的通信。
  2. 服务层第二层架构主要完成大多数的核心服务,如SQL接口,并完成缓存的查询,SQL的分析进而优化及部分内置函数的执行。所有跨存储引擎的功能也在这一层实现,如过程、函数等。在该层,服务器会解析查询并创建相应的内部解析树,并对其完成相应的优化如确定表的顺序,是否利用索引等,最后生成相应的执行操作。如果是select语句,服务器还会查询内部的缓存。如果缓存空间足够大,这样在解决大量读的操作的环境下能够很好的提升系统的性能。
  3. 引擎层存储引擎层,存储引擎真正的负责了MySQL中的数据的存储和提取,服务器通过API与存储引擎进行通信。不同的存储引擎具有的功能不同,这样我们可以根据自己的实际需要进行选取。
  4. 存储层数据存储层,主要是将数据存储在运行于裸机设备的文件系统之上,并完成与存储引擎的交互

2、存储引擎简介

对比项 MsISAM InnoDB
主外键 不支持 支持
事务 不支持 支持
行表锁 表锁,即使操作一条记录也会锁住整个表,不适合高并发的操作 行锁,操作时只锁住某一行,不对其他行有影响,适合高并发的操作
缓存 只缓存索引,不缓存真实数据 不仅缓存索引还要缓存真实数据,对内存要求较高,而且内存大小对性能有决定性的影响
表空间
关注点 性能 事务
默认安装 Y Y
  • 阿里巴巴大部分mysql数据库其实使用的percona的原型加以修改。
  • AliSql + AliRedis

3、SQL预热

3.1、性能下降SQL慢

1. 表现

  • 执行时间长
  • 等待时间长

2. 原因

  • 查询语句写的烂。
  • 索引失效。有单值索引和复合索引
  • 关联查询太多join(设计缺陷或不得已的需求)
  • 服务器调优及各个参数设置不合理(缓冲、线程数等)

3.2、SQL执行顺序

1. 手写

SELECT DISTINCT
    < select list >
FROM
    < left_table > < join_type >
JOIN < right_table > ON < join_condition >
WHERE 
    < where_condition >
GROUP BY
    < group_by_list >
HAVING
    < having_condition >
ORDER BY
    < order_by_condition>
LIMIT < limit_number >

2. 机读

1 FROM < left_table >
2 ON < join_condition >
3 < join_type > JOIN < right_table >
4 WHERE < where_condition >
5 GROUP BY < group_by_list >
6 HAVING < having_condition >
7 SELECT
8 DISTINCT < select list >
9 ORDER BY < order_by_condition>
10 LIMIT < limit_number >

3. 总结

在这里插入图片描述

3.3、七种JOIN理论

1. LEFT JOIN

在这里插入图片描述
SQL语句

SELECT <select_list> FROM TableA A LEFT JOIN TableB B ON A.key=B.Key

2. RIGHT JOIN

在这里插入图片描述
SQL语句

SELECT <select_list> FROM TableA A RIGHT JOIN TableB B ON A.key=B.Key

3. INNER JOIN

在这里插入图片描述
SQL语句

SELECT <select_list> FROM TableA A INNER JOIN TableB B ON A.key=B.Key

4. LEFT JOIN + WHERE B.Key Is NULL

在这里插入图片描述
SQL语句

SELECT <select_list> FROM TableA A LEFT JOIN TableB B ON A.key=B.Key WHERE B.Key Is NULL

5. RIGHT JOIN + WHERE A.Key Is NULL

在这里插入图片描述
SQL语句

SELECT <select_list> FROM TableA A RIGHT JOIN TableB B ON A.key=B.Key WHERE A.Key Is NULL

6. FULL OUTER

在这里插入图片描述

SQL语句

SELECT <select_list> FROM TableA A FULL OUTER JOIN TableB B ON A.key=B.Key 

7. FULL OUTER JOIN + WHERE A.Key Is NULL OR B.Key Is NULL

在这里插入图片描述

SQL语句

SELECT <select_list> FROM TableA A FULL OUTER JOIN TableB B ON A.key=B.Key WHERE A.Key Is NULL OR B.Key Is NULL

3.4、七种JOIN的编写

建表和插入数据的SQL语句

CREATE TABLE `tbl_emp`  (
 `id` INT(11) NOT NULL AUTO_INCREMENT,
`name` VARCHAR(20)  DEFAULT NULL,
`deptId` INT(11) DEFAULT NULL,
 PRIMARY KEY (`id`) ,
KEY `fk_dept_id`(`deptId`)
)ENGINE = INNODB AUTO_INCREMENT = 1 CHARACTER SET = utf8;

 CREATE TABLE `tbl_dept`  (
 `id` INT(11) NOT NULL AUTO_INCREMENT,
`deptName` VARCHAR(30) DEFAULT NULL,
 `locAdd` VARCHAR(40) DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE = INNODB AUTO_INCREMENT = 1 CHARACTER SET = utf8;

INSERT INTO tbl_dept VALUES(NULL,'RD',1);
INSERT INTO tbl_dept VALUES(NULL,'HR',12);
INSERT INTO tbl_dept VALUES(NULL,'MK',13);
INSERT INTO tbl_dept VALUES(NULL,'MIS',14);
INSERT INTO tbl_dept VALUES(NULL,'FD',15);

INSERT INTO tbl_emp VALUES(NULL,'z3',1);
INSERT INTO tbl_emp VALUES(NULL,'z4',1);
INSERT INTO tbl_emp VALUES(NULL,'z5',1);
INSERT INTO tbl_emp VALUES(NULL,'w5',2);
INSERT INTO tbl_emp VALUES(NULL,'w6',2);
INSERT INTO tbl_emp VALUES(NULL,'s7',3);
INSERT INTO tbl_emp VALUES(NULL,'s8',4);
INSERT INTO tbl_emp VALUES(NULL,'s9',51);

1. LEFT JOIN

SELECT * FROM tbl_emp a LEFT JOIN tbl_dept b ON a.deptId=b.id

在这里插入图片描述
说明

就是左边表有的但没有和右边表共有,那么 右边表的相应数据补NULL

2. RIGHT JOIN

SELECT * FROM tbl_emp a RIGHT JOIN tbl_dept b ON a.deptId=b.id

在这里插入图片描述
说明

就是右边表有的但没有和左边表共有,那么 左边表的相应数据补NULL

3. INNER JOIN

SELECT * FROM tbl_emp a INNER JOIN tbl_dept b ON a.deptId=b.id

在这里插入图片描述

4. LEFT JOIN + WHERE B.Key Is NULL

SELECT * FROM tbl_emp a LEFT JOIN tbl_dept b ON a.deptId=b.id WHERE b.id IS NULL

在这里插入图片描述
说明

左边表有的但右边表没有的

5. RIGHT JOIN + WHERE A.Key Is NULL

SELECT * FROM tbl_emp a RIGHT JOIN tbl_dept b ON a.deptId=b.id WHERE a.deptId IS NULL

在这里插入图片描述
说明

右边表有的但左边表没有的

6. FULL OUTER

SELECT * FROM tbl_emp a RIGHT JOIN tbl_dept b ON a.deptId=b.id
UNION
SELECT * FROM tbl_emp a LEFT JOIN tbl_dept b ON a.deptId=b.id

在这里插入图片描述

7. FULL OUTER JOIN + WHERE A.Key Is NULL OR B.Key Is NULL

SELECT * FROM tbl_emp a RIGHT JOIN tbl_dept b ON a.deptId=b.id WHERE a.deptId IS NULL
UNION
SELECT * FROM tbl_emp a LEFT JOIN tbl_dept b ON a.deptId=b.id WHERE b.id IS NULL

在这里插入图片描述

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
10月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
8月前
|
存储 移动开发 JavaScript
快应用推广连接底层技术与架构以及如何结合自身系统分销的推广逻辑和技术对接-优雅草卓伊凡|果果|Ant
快应用推广连接底层技术与架构以及如何结合自身系统分销的推广逻辑和技术对接-优雅草卓伊凡|果果|Ant
167 4
快应用推广连接底层技术与架构以及如何结合自身系统分销的推广逻辑和技术对接-优雅草卓伊凡|果果|Ant
|
存储 SQL 关系型数据库
MySQL进阶突击系列(03) MySQL架构原理solo九魂17环连问 | 给大厂面试官的一封信
本文介绍了MySQL架构原理、存储引擎和索引的相关知识点,涵盖查询和更新SQL的执行过程、MySQL各组件的作用、存储引擎的类型及特性、索引的建立和使用原则,以及二叉树、平衡二叉树和B树的区别。通过这些内容,帮助读者深入了解MySQL的工作机制,提高数据库管理和优化能力。
|
9月前
|
关系型数据库 MySQL 分布式数据库
Super MySQL|揭秘PolarDB全异步执行架构,高并发场景性能利器
阿里云瑶池旗下的云原生数据库PolarDB MySQL版设计了基于协程的全异步执行架构,实现鉴权、事务提交、锁等待等核心逻辑的异步化执行,这是业界首个真正意义上实现全异步执行架构的MySQL数据库产品,显著提升了PolarDB MySQL的高并发处理能力,其中通用写入性能提升超过70%,长尾延迟降低60%以上。
|
8月前
|
人工智能 搜索推荐 数据安全/隐私保护
快应用推广联盟分销逻辑及技术架构深度解析-优雅草卓伊凡|果果|Ant
快应用推广联盟分销逻辑及技术架构深度解析-优雅草卓伊凡|果果|Ant
245 2
|
11月前
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
SQL 存储 缓存
MySQL的架构与SQL语句执行过程
MySQL架构分为Server层和存储引擎层,具有高度灵活性和可扩展性。Server层包括连接器、查询缓存(MySQL 8.0已移除)、分析器、优化器和执行器,负责处理SQL语句;存储引擎层负责数据的存储和读取,常见引擎有InnoDB、MyISAM和Memory。SQL执行过程涉及连接、解析、优化、执行和结果返回等步骤,本文详细讲解了一条SQL语句的完整执行过程。
451 3
|
SQL 存储 关系型数据库
MySQL进阶突击系列(01)一条简单SQL搞懂MySQL架构原理 | 含实用命令参数集
本文从MySQL的架构原理出发,详细介绍其SQL查询的全过程,涵盖客户端发起SQL查询、服务端SQL接口、解析器、优化器、存储引擎及日志数据等内容。同时提供了MySQL常用的管理命令参数集,帮助读者深入了解MySQL的技术细节和优化方法。
|
SQL 缓存 NoSQL
MySQL架构与SQL的执行流程_2
MySQL架构与SQL的执行流程_2
243 0
MySQL架构与SQL的执行流程_2
|
SQL 缓存 网络协议
MySQL架构与SQL的执行流程_1
MySQL架构与SQL的执行流程_1
235 0
MySQL架构与SQL的执行流程_1

推荐镜像

更多