MySQL 架构

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 原文:MySQL 架构MySQL架构和结构分析 官方架构图: MySQL DB 各模块架构图如下:   MySQL安装方式 MySQL初始化 简介:什么是事务; 事务: ACID :  事务确保了银行不会弄丢你的钱,而这种特性在应用逻辑设计中是很难实现的,甚至不可实现。
原文: MySQL 架构

MySQL架构和结构分析

官方架构图:

wKioL1NLJNiRnPzbAAn45ZsJsuY067.jpg

MySQL DB 各模块架构图如下:

wKiom1NLJSDxkZwaAALzdV2IEfA203.jpg

 

MySQL安装方式

wKioL1NLJRjSdsIXAAfglSdvzi8965.jpg

MySQL初始化

wKiom1NLJV2zwKazAAsmeOpZnBI736.jpg

简介:什么是事务; 事务: ACID :  事务确保了银行不会弄丢你的钱,而这种特性在应用逻辑设计中是很难实现的,甚至不可实现。一个ACID兼容的数据库服务器,要为事务处理大量的复杂工作确保ACID特性的实现,而这也许是用户未能察觉到的。

事务: ACID :
A :原子性(Atomicity) :一个事务必须被视为一个单独的内部”不可分“的工作单元,以确保整个事务要么全部执行,要么全部回滚。当一个事务具有原子性时,该事务绝对不会被部分执行,要么完全执行,要么根本就不执行。
C:一致性 (consistency): 数据库总是从一种一致性状态转换到另一种一致性状态。只要是最终事务没有被提交,任何事务处理过程中所做的数据改变,也不会影响到数据库的内容。

I:隔离性 (leolation) : 某个事务的结果只有在完成之后才对其它事务可见

D:持久性(durability) : 一旦一个事务提交,事务所做的数据改变是永久的。这意味着数据改变已被记录,即使系统崩溃,数据也不会因此丢失,持久性是个有点模糊的概念,因为实际上持久性也分为很多级别。

 

隔离: 隔离级别

   read uncommitted :未提交内容:在read uncommitted 隔离级:所有事务都可以”看到“ 未提交事务的执行结构。(读未提交) 脏读,不可重读,幻读

   read committee : 取提交内容:大多数数据库系统的默认隔离是read committed(但这不是mysql默认的!)它满足了隔离的早先简单定义:一个事务在开始时,只能“看见”已经提交事务所做的改变,一个事务从开始 到提交前,所做的任何数据改变都是不可见的,除非已经提交。这种隔离级别也支持所谓的”不可重复读“(nonrepeatable read)。这意味着用户运行同一语句两次,看到的结果是不同的。(读提交) 不可重读,幻读

   repeatable read : 可重读 : repeatable read 隔离解决了 read uncommitted  隔离导致的问题,它确保同一事物的多个实例在并发读取数据时,会”看到同样的“数据行。不过理论上,这会导致另一个棘手的问题:幻读(phantom read).简单来说,幻读指当前用户读取某一范围的数据行时,另一个事务又在该范围内插入了新行,当用户再读取该范围的数据行是,会发现有新的“幻影” (phantom)行。(可重读), 幻读

innodb和falcon存储引擎通过多版本并发控制(multiversion concurrency control) 机制解决了幻读问题。

   serializable :串行化

   serializable  是最高级别的隔离级,它通过强制事务排序,使之不可能互相冲突,从而解决幻读问题。简言之 serializable 是在每个读的数据行上加上锁。在这个级别上,可能导致大量的超时(timeout)现象和锁竞争(lock contention) 现象。如果用户的应用为了数据的稳定性,需要强制减少并发的话,可以选择这种隔离级强制事务的串行执行避免了幻读;建议:对事务要求不特别严格的场景下,可以使用读提交 read committee 

ANSI SQL 隔离级别

隔离级别
脏读可能性
不可重复读可能性
幻读可能性
加锁读
READ UNCOMMITTED
YES
YES
YES
NO
READ COMMITTED
NO
YES
YES
NO
REPEATABLE READ
NO
NO
YES
NO
SERIALZABLE
NO
NO
NO
YES

   死锁:是指两个事务或多个事务在同一资源上互相占用,并请求加锁时,而导致的恶性循环现象,当多个事务以不同顺序试图加锁同一资源时。就会产生死锁。任何时间,多个事务同时加锁一个资源,一定产生死锁。

  MVCC:多版本并发控制

   MVCC的实现,是通过保存数据库在某个时间点的快照来实现的,也就是说,不管执行多长时间,每个事务看到的数据都是一致的,根据事务开始的时间不同,每个事务对同一张表,同一时刻看到的数据可能不一样的,
   在MySQL中,每个事务启动时,InnoDB为每个启动的事务提供一个当下时刻的快照
为了实现此功能,InnoDB会为每个表提供两个隐藏的字段,一个用于保存行的创建时间,一个用于保存行的失效时间;
里面存储的是系统版本号:(system version number)
两个隔离级别下有效:read committee 和 repeatable read

 

简介:什么是事务日志:
               事务日志可使事务处理过程更加高效。和每次数据一改变就能更新磁盘中表的数据,存储引擎可以先更新数据在内存中的拷贝。这非常快,然后,存储引擎将数据 改变记录写入事务日志,它位于磁盘上,因此具有持久性,这相对比较快,因为追加日志事件导致的写操作,只涉及了磁盘很小区域上的顺序 I/O(sequential I/O),而替代了写磁盘中所需要的大量随机I/O,(random I/O).最后,相关进程会在某个时间把表数据更新到磁盘上.因此,大多存储引擎都选用了这种技术,也是通常所说的预写日志(write-athead logging), 利用两次磁盘写入操作把数据改变写入磁盘。 如果说数据更新已写入事务日志,却还未写入磁盘的表中,而发生系统奔溃,存储引擎将会在重启后恢复相关数据改变,具体的恢复方式因存储引擎而异

 

事 务日志通常放在有冗余的硬件设备上,事务日志一般分为一组或者三个轮流使用 因为现在市场上流行的都是:机械式硬盘:随机读写;(如果把数据直接写入数据库中,因为数据太多,所所以会导致 硬盘随机读写. 可想而知机械师硬盘随机读写那速度可见有多慢,你们懂得.) 顺序读写:(如果把数据库的事务操作 写入事务日志当中,因为写的只是事务日志,而不是真正的数据,所以硬盘会分配连续的磁盘空间 供事务日志写入,速度可见一般!) 事务日志文件:顺序IO:事务日志,一组两个轮流替换,保存在可冗余的设备中 未提交的事务并且还能够回滚你懂得.

MySQL工作模式及常用命令

交互式模式:mysql>

# 交互式模式下的客户端命令
   mysql> help # 获取命令帮助
   mysql> \? # 同上
   mysql> \c # 取消命令执行
   mysql> \g # 发送命令至服务器端
   mysql> \G # 发送命令至服务器端,垂直显示结果
   mysql> \q # 退出
   mysql> \! # 执行系统shell命令
   mysql> \s # 显示服务器端状态信息
   mysql> \. /path/to/mysql_script.sql # 批量执行sql
   mysql> \u # 切换数据库
# 交互式模式下的服务器端命令(需要命令提示符,默认为分号)
   mysql> help contents 能够获取帮助的分类信息
   mysql> help keyword 获取关键字的帮助信息,如help select

脚本模式:mysql < /path/to/mysql_script.sql

注:常用于主从复制批量导入数据时

 

连接MySQL

连接类型

 

本地通信:客户端与服务器端位于同一主机,而且还要基于127.0.0.1(localhost)地址或lo接口进行通信

   基于sock文件通信:如mysql -hlocalhost -uroot -p --socket=/tmp/mysql.sock

远程通信:客户端与服务器端位于不同的主机,或在同一主机使用非回环地址通信

   基于 TCP socket通信

mysql客户端选项

实例

-u,--user # 指定连接用户
-h,--host # 指定连接主机
-p,--password # 指定连接密码
--protocol={tcp|socket|memory|pipe} # 指定连接协议
-P,--port # 指定连接端口,默认监听端口:tcp/3306
--socket # 指定本地连接的sock文件
--compress # 数据传输采用压缩格式
-D,--database # 指定连接后默认使用的数据库
-H,--html # 指定产生html输出
-X,--xml # 指定产生xml输出
--safe-updates # 拒绝使用无where子句的update或delete命令
# 使用实例:mysql -hlocalhost -uroot -p

mysql命令提示符

mysql> # 等待输入命令
-> # 等待继续输入
‘> # 等待结束单引号
“> # 等待结束双引号
`> # 等待结束反引号
/*> # 注释,不执行,需以*/结束注释

mysql的快捷键

ctrl+w:# 删除光标之前的单词
ctrl+u:# 删除光标之前至命令行首的所有内容
ctrl+y:# 粘贴所有ctrl+w或ctrl+u删除的内容
ctrl+a:# 移动光标至行首
ctrl+e:# 移动光标至行尾 

MySQL管理工具mysqladmin

# 使用格式:mysqladmin [options] command [arg] [,command [arg]] …
# 常用的command包括:
create DB_Name:# 创建数据库
drop DB_Name:# 删除数据库
debug:# 打开调试日志并记录于error log中
status:# 显示简要状态信息
--sleep #:设置间隔时长
--count #:设置显示的批次
extended-status:# 显示扩展信息,输出mysqld的各状态变量及赋值,相当于执行“mysql> show global status”
variables:# 输出mysqld的各服务器变量
flush-hosts:# 清空主机相关的缓存:DNS解析缓存;此前因为连接错误次数过多而被拒绝访问mysqld的主机列表
flush-logs:# 日志滚动,只能滚动二进制日志和中继日志
refresh:# 相当于同时使用flush-hosts和flush-logs
flush-privileges:# 通知mysqld重读授权表
reload:# 功能同“flush-privileges”
flush-status:# 重置状态变量的值
flush-tables:# 关闭当前打开的表文件句柄
flush-threads:# 清空线程缓存
kill:# 杀死指定的线程,需指定线程ID;可以一次杀死多个线程,以逗号分隔,但不能有多余空格
password:# 修改当前用户的密码
ping:# 模拟ping操作,检测mysqld是否在线
processlist:# 显示mysqld线程列表
shutdown:# 关闭mysqld进程
start-slave,stop-slave:# 启动/关闭从服务器线程

MySQL数据文件解析

MyISAM表:每表有3个文件,都位于数据库目录中

tb_name.frm:# 表结构定义文件
tb_name.MYD:# 数据文件
tb_name.MYI:# 索引文件

InnoDB表:有2种存储方式

默认方式:每表有1个独立文件和一个多表共享的文件

tb_name.frm:# 表结构定义文件,位于数据库目录中
ibdata#:# 共享的表空间文件,默认位于数据目录(datadir指向的目录)中,如ibdata1

自定义方式:独立的表空间

tb_name.frm:#表结构定义文件
tb_name.ibd:# 独有的表空间文件
# 在MySQL初始化中打开独立表空间功能的方法:
vi /etc/my.cnf (在[mysqld]段下添加)
innodb_file_per_table = ON
# 注:表空间:table space,是由InnoDB管理的特有格式的数据文件,内部可同时存储数据和索引
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
目录
相关文章
|
4月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
3月前
|
关系型数据库 MySQL 分布式数据库
Super MySQL|揭秘PolarDB全异步执行架构,高并发场景性能利器
阿里云瑶池旗下的云原生数据库PolarDB MySQL版设计了基于协程的全异步执行架构,实现鉴权、事务提交、锁等待等核心逻辑的异步化执行,这是业界首个真正意义上实现全异步执行架构的MySQL数据库产品,显著提升了PolarDB MySQL的高并发处理能力,其中通用写入性能提升超过70%,长尾延迟降低60%以上。
|
9月前
|
存储 SQL 关系型数据库
MySQL进阶突击系列(03) MySQL架构原理solo九魂17环连问 | 给大厂面试官的一封信
本文介绍了MySQL架构原理、存储引擎和索引的相关知识点,涵盖查询和更新SQL的执行过程、MySQL各组件的作用、存储引擎的类型及特性、索引的建立和使用原则,以及二叉树、平衡二叉树和B树的区别。通过这些内容,帮助读者深入了解MySQL的工作机制,提高数据库管理和优化能力。
|
5月前
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
7月前
|
SQL 存储 缓存
MySQL的架构与SQL语句执行过程
MySQL架构分为Server层和存储引擎层,具有高度灵活性和可扩展性。Server层包括连接器、查询缓存(MySQL 8.0已移除)、分析器、优化器和执行器,负责处理SQL语句;存储引擎层负责数据的存储和读取,常见引擎有InnoDB、MyISAM和Memory。SQL执行过程涉及连接、解析、优化、执行和结果返回等步骤,本文详细讲解了一条SQL语句的完整执行过程。
232 3
|
10月前
|
SQL 存储 缓存
【赵渝强老师】MySQL的体系架构
本文介绍了MySQL的体系架构,包括Server层的7个主要组件(Connectors、Connection Pool、Management Service & Utilities、SQL Interface、Parser、Optimizer、Query Caches & Buffers)及其作用,以及存储引擎层的支持情况,重点介绍了InnoDB存储引擎。文中还提供了相关图片和视频讲解。
368 2
【赵渝强老师】MySQL的体系架构
|
9月前
|
SQL 存储 关系型数据库
MySQL进阶突击系列(01)一条简单SQL搞懂MySQL架构原理 | 含实用命令参数集
本文从MySQL的架构原理出发,详细介绍其SQL查询的全过程,涵盖客户端发起SQL查询、服务端SQL接口、解析器、优化器、存储引擎及日志数据等内容。同时提供了MySQL常用的管理命令参数集,帮助读者深入了解MySQL的技术细节和优化方法。
|
SQL 缓存 NoSQL
MySQL架构与SQL的执行流程_2
MySQL架构与SQL的执行流程_2
199 0
MySQL架构与SQL的执行流程_2
|
SQL 缓存 网络协议
MySQL架构与SQL的执行流程_1
MySQL架构与SQL的执行流程_1
191 0
MySQL架构与SQL的执行流程_1
|
22天前
|
安全 关系型数据库 MySQL
MySQL安全最佳实践:保护你的数据库
本文深入探讨了MySQL数据库的安全防护体系,涵盖认证安全、访问控制、网络安全、数据加密、审计监控、备份恢复、操作系统安全、应急响应等多个方面。通过具体配置示例,为企业提供了一套全面的安全实践方案,帮助强化数据库安全,防止数据泄露和未授权访问,保障企业数据资产安全。

推荐镜像

更多