Mysql学习-架构认识

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 2.Mysql的逻辑架构其可分为三层:最上层为基于网络的客户端/服务端的工具或服务类似的架构。比如:连接处理、授权认证、安全等。每个客户端连接都会在服务器进程中拥有一个线程,同时对其进行认证。第二层:大部分Mysql的核心服务功能都在这一层,包括:解析、分析、优化、缓存以及所有的内置函数,所有跨存储引擎的功能都在这一层实现:存储过程、视图、触发器等。Mysql首先会解析查询,并创建内部数据结构(解析树),然后对其进行各种优化,包括重写查询、决定表的读取顺序,以及选择合适的引擎等。同时可以请求优化器解释(explain)优化过程的各个因素,提供优化参考。第三层:包含了存储引擎,存储引擎负

1.Mysql的特色

和其他数据库相比,mysql即可以嵌入到应用程序中,也可以支持数据仓库,内容索引和部署软件,高可用的冗余系统,在线事务处理系统(OLTP)等各种应用类型。

Mysql最重要、最与众不同的特性:在于它的存储引擎架构,将查询处理(Query Processing)及其他系统任务(Server Task)和数据的存储/提取相分离。这样可以根据需求选择不同的数据存储方式。

2.Mysql的逻辑架构

其可分为三层:

最上层为基于网络的客户端/服务端的工具或服务类似的架构。比如:连接处理、授权认证、安全等。每个客户端连接都会在服务器进程中拥有一个线程,同时对其进行认证。

第二层:大部分Mysql的核心服务功能都在这一层,包括:解析、分析、优化、缓存以及所有的内置函数,所有跨存储引擎的功能都在这一层实现:存储过程、视图、触发器等。Mysql首先会解析查询,并创建内部数据结构(解析树),然后对其进行各种优化,包括重写查询、决定表的读取顺序,以及选择合适的引擎等。同时可以请求优化器解释(explain)优化过程的各个因素,提供优化参考。

第三层:包含了存储引擎,存储引擎负责Mysql中的存储与提取。服务器通过API与存储引擎进行通信。

3.并发控制

无论何时,只要有多个查询需要在同一时刻修改数据,都会产生并发控制的问题。在处理并发读和并发写时,可以通过实现一个由两种类型的锁组成的锁系统来解决问题。这两种类型的锁通常称为:

排他锁(execlusive lock)和共享锁(shared lock),也叫写锁(write lock)和读锁(read lock)。

其中:读锁是共享的,或者说是不互相阻塞的,写锁是排他的,也即一个读锁会阻塞其他的写锁和读锁。

由于加锁是消耗资源的,因此就会有锁策略,在锁的开销和数据的安全性之间寻求平衡。出现了表锁和行级锁。

表锁(table lock)是Mysql中最基本的锁策略,并且是开销最小的策略。加锁时,其会锁整张表。同时写锁比读锁具有更高的优先级。

行级锁(row lock)可以最大程度地支持并发处理(同时也代来最大的锁开销)。行级锁只在存储引擎层实现。

事务是一组原子性的sql查询,或者说一个独立的工作单元。其具有四个特性:ACID

原子性:atomicity,一个事务必须视为一个不可分割的最小工作单位。要么成功,要么失败。

一致性:consistency,从一个状态转成另一个一致性状态。当数据保存失败时,数据不会被提交到数据库中。

隔离性:isolation,一个事务所做的改变在最终提交前,对其他事务是不可见的。

持久性:durability,一旦事务提交,则所做的修改就会永久保存到数据库中。

事务的隔离级别:四种隔离级别

READ UNCOMMITTED:读未提交,事务中的修改,即使没有提交,对其他事务提交也都是可见的,事务可以读取未提交的数据,此时称为脏读。也即会引发脏读。

Read COMMITTED:读已提交,大多数数据库系统都会默认这个隔离级别,但Mysql不是。也称为不可重复读。一个事务开始时,只能看见已经提交的事务所做的修改。

REPEATABLE READ:可重复读,Mysql的默认级别,解决脏读的问题。保存了在此级别多次读取的数据的结果都是一样的,但此时还是会产生幻读的情况,因此InnoDB和XtraDB存储引擎通过多版本并发控制MVCC(Multiversion Concurrency Control)解决了幻读产生的问题。

SERIALIZABLE:可串行化,事务隔离的最高级别 ,强制将事务串行化执行,效率低,会存在大量锁并发竞争的情况。

4.死锁

两个或两个以上的事务在同一资源上相互引用,并请求锁定对方占用的资源,从而导致恶性循环的现象。

为了解决死锁现象,数据库系统实现了各种死锁检测和死锁超时机制。InnoDB目前处理死锁的方法是,将持有最少行级排他锁的事务进行回滚。

5. 事务日志

事务日志可以帮助提高事务的效率,使用事务日志,存储引擎在修改表的数据时只需要修改其内存的拷贝,再把该修改行为记录到持久在硬盘上的事务日志中,而不用每次将修改的数据本身持久化到磁盘,事务日志采用的是追加的方式。事务日志持久化以后,内存中被修改的数据在后台可以慢慢地刷回到磁盘。目前大多数存储引擎都是这样的实现的,称为预写式日志(Write-Ahead Logging),修改数据需要写两次磁盘。这样做的好处是即使是系统崩溃了,事务日志持久化了,机器重启之后 依然可以恢复这部分被修改的数据。

6. Mysql中的事务

Mysql提供了两种事务型的存储引擎:InnoDB和NDB Cluster。另外还有第三方的,比如XtraDB、PBXT。Mysql默认使用自动提交模式。

InnoDB采用的是两阶段锁定协议。在事务执行过程中,随时都可以执行锁定,锁只有在执行COMMIT或者ROLLBACK的时候才会释放。

7. 多版本控制MVCC

MVCC是行级锁的一个变种,但是它在很多情况下避免了加锁的操作,因此开销更低。MVCC的实现,是通过保存数据在某个时间点的快照来实现的。也就是说,不管需要执行多长时间,每个事务看到的数据都是一致的。InnoDB的MVCC,是通过在每行记录后面保存两个隐藏的列来实现的。这两列,一个保存了行创建的时间,一个保存行的过期时间。其存储的是系统的版本号。这里类似乐观锁的并发控制版本号,进行比较。

在进行CRUD操作时,其会进行版本号的比较、保存、删除、更新等。有了版本号,就不需要加锁了,可以解决因为锁带来的开销问题。

8.Mysql 的引擎

在Mysql5.1及之前,MyISAM是默认的存储引擎,其提供了大量的特性,包括全文索引、压缩、空间函数等,但MyISAM不支持事务和行级锁,而且崩溃后无法安全恢复。

Mysql中的其他引擎:

Archive引擎:只支持Insert、Select操作。其适合日志数据采集类应用,或者一些需要更加快速插入操作的应用场合。

Blackhole引擎:可用于复制数据库到备库 ,或者做简单记录到日志。不推荐使用,由于其没有任何的存储机制。

CSV引擎:可以将普通的CSV文件作为Mysql的表来处理,且这种表不支持索引。可以在数据库运行时拷入拷出文件。

Federated引擎:是访问其他Mysql服务器的一个代理,它会创建一个到远程Mysql服务器端的客户端连接,并将查询传输到远程服务器执行,然后提取或者发送需要的数据。MariaDB使用了它的一个后续改进版本。

Memory引擎:比MyISAM快一个数量级,适合于数据不会改变,同时重启后数据丢失也没关系的场景。

其具有良好的效率:用于查询、映射表;用于缓存周期性聚合数据的结果、用于保存数据分析中产生的中间数据。

Merge引擎:MyISAM引擎的一个变种,由多个MyISAM表合并而来的虚拟表。引入分区功能后,该功能已被遗弃。

NDB集群引擎:mysql高可用、容灾的,也即Mysql 集群方案。

第三方引擎:OLAP类引擎,Percona的XtraDB存储引擎是一个基于InnoDB引擎的改进版本。

TokuDB引擎使用了一种新的叫做分形树的索引数据结构。

面向列的存储引擎:Infobright,最有名的面向列的存储引擎。其是为数据仓库、数据分析而设计的。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
19天前
|
存储 SQL 关系型数据库
MySQL进阶突击系列(03) MySQL架构原理solo九魂17环连问 | 给大厂面试官的一封信
本文介绍了MySQL架构原理、存储引擎和索引的相关知识点,涵盖查询和更新SQL的执行过程、MySQL各组件的作用、存储引擎的类型及特性、索引的建立和使用原则,以及二叉树、平衡二叉树和B树的区别。通过这些内容,帮助读者深入了解MySQL的工作机制,提高数据库管理和优化能力。
|
2月前
|
存储 SQL 关系型数据库
Mysql高可用架构方案
本文阐述了Mysql高可用架构方案,介绍了 主从模式,MHA模式,MMM模式,MGR模式 方案的实现方式,没有哪个方案是完美的,开发人员在选择何种方案应用到项目中也没有标准答案,合适的才是最好的。
185 3
Mysql高可用架构方案
|
13天前
|
人工智能 自然语言处理
RWKV-7:RWKV系列开源最新的大模型架构,具有强大的上下文学习能力,超越传统的Attention范式
RWKV-7是RWKV系列的最新大模型架构版本,具有强大的上下文学习能力,超越了传统的attention和linear attention范式。本文详细介绍了RWKV-7的主要功能、技术原理及其在多语言处理、文本生成等领域的应用场景。
93 7
RWKV-7:RWKV系列开源最新的大模型架构,具有强大的上下文学习能力,超越传统的Attention范式
|
11天前
|
SQL 存储 关系型数据库
【MySQL基础篇】全面学习总结SQL语法、DataGrip安装教程
本文详细介绍了MySQL中的SQL语法,包括数据定义(DDL)、数据操作(DML)、数据查询(DQL)和数据控制(DCL)四个主要部分。内容涵盖了创建、修改和删除数据库、表以及表字段的操作,以及通过图形化工具DataGrip进行数据库管理和查询。此外,还讲解了数据的增、删、改、查操作,以及查询语句的条件、聚合函数、分组、排序和分页等知识点。
【MySQL基础篇】全面学习总结SQL语法、DataGrip安装教程
|
2月前
|
SQL 存储 缓存
【赵渝强老师】MySQL的体系架构
本文介绍了MySQL的体系架构,包括Server层的7个主要组件(Connectors、Connection Pool、Management Service & Utilities、SQL Interface、Parser、Optimizer、Query Caches & Buffers)及其作用,以及存储引擎层的支持情况,重点介绍了InnoDB存储引擎。文中还提供了相关图片和视频讲解。
【赵渝强老师】MySQL的体系架构
|
1月前
|
SQL 存储 关系型数据库
MySQL进阶突击系列(01)一条简单SQL搞懂MySQL架构原理 | 含实用命令参数集
本文从MySQL的架构原理出发,详细介绍其SQL查询的全过程,涵盖客户端发起SQL查询、服务端SQL接口、解析器、优化器、存储引擎及日志数据等内容。同时提供了MySQL常用的管理命令参数集,帮助读者深入了解MySQL的技术细节和优化方法。
|
3月前
|
关系型数据库 MySQL Java
Django学习二:配置mysql,创建model实例,自动创建数据库表,对mysql数据库表已经创建好的进行直接操作和实验。
这篇文章是关于如何使用Django框架配置MySQL数据库,创建模型实例,并自动或手动创建数据库表,以及对这些表进行操作的详细教程。
112 0
Django学习二:配置mysql,创建model实例,自动创建数据库表,对mysql数据库表已经创建好的进行直接操作和实验。
|
3月前
|
Java 关系型数据库 MySQL
springboot学习五:springboot整合Mybatis 连接 mysql数据库
这篇文章是关于如何使用Spring Boot整合MyBatis来连接MySQL数据库,并进行基本的增删改查操作的教程。
347 0
springboot学习五:springboot整合Mybatis 连接 mysql数据库
|
SQL 缓存 NoSQL
MySQL架构与SQL的执行流程_2
MySQL架构与SQL的执行流程_2
154 0
MySQL架构与SQL的执行流程_2
|
SQL 缓存 网络协议
MySQL架构与SQL的执行流程_1
MySQL架构与SQL的执行流程_1
153 0
MySQL架构与SQL的执行流程_1