MySQL性能优化(一):MySQL架构与核心问题

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 在 MySQL 性能优化之前,你有必要重新再认识下 MySQL,便于后续更容易理解 MySQL 性能优化中涉及到的知识点。本文将从 MySQL 架构、核心问题来针对性展开讨论,这也将是 MySQL性能优化 系列文章的开篇之作。

一、前言

作为程序员的你,数据库作为一门必修课,而 MySQL 数据库毫无疑问已经是最常用的数据库了。系统的稳定、高效、高并发等指标,很大程度上取决于数据库性能是否够优,可见性能优化的重要性,这也就不难理解各位在任何一场面试中都会被问及到数据库调优相关的问题。


因此,这就是我为何考虑写该系列文章的主要原因,希望该系列文章(MySQL性能优化)能够给你带来收获,让你更系统、更全面的掌握 MySQL 性能优化的技能、技巧。该系列文章将会持续分享、更新,如果觉得现在或者将来可能对你有用,不妨持续关注、收藏。


在 MySQL 性能优化之前,你有必要重新再认识下 MySQL,便于后续更容易理解 MySQL 性能优化中涉及到的知识点。本文将从 MySQL 架构、核心问题来针对性展开讨论,这也将是 MySQL性能优化 系列文章的开篇之作。


二、MySQL 逻辑架构

想深入探究 MySQL 之前,有必要了解一下 MySQL 的逻辑架构,逻辑架构图如下:

MySQL 的逻辑架构中,分为三层,如上图红色虚线框的三部分。


最上层架构并不是 MySQL 所独有的,大多数基于客户端/服务器形态的系统或者服务,都有类似的架构,其中包含 MySQL 的连接处理、授权认证、安全控制等等。


第二层架构是 MySQL 中最为核心的部分,其中包括查询解析、分析、优化、缓存以及所有的内置函数(如:日期、时间、函数等),所有跨存储引擎的功能都在这一层实现,例如:存储过程、触发器、视图等。


第三层架构是存储引擎。存储引擎负责 MySQL 中数据的存储和提取,类似与 Linux 系统下的各种文件系统一样,不同存储引擎都有各自的优势和劣势,不同场景可选择不同的引擎。不同存储引擎之间是不会相互通信的,只是简单地响应上层的请求。


三、如何控制高并发的读写?

无论何时,对于数据库而言,高并发的读写操作是很常见的,针对同一条记录在同一时刻进行修改、查询操作,都会产生并发控制的问题,处理不当将会出现大量的脏数据。那么,如何控制高并发的读写操作呢?


1.读写锁

在我们学习任何一门语言时,针对处理并发问题都会选择锁机制来解决并加以控制,这也是解决并发控制的经典方法,MySQL也不例外。在MySQL处理高并发的读或者写时,可以通过实现两种类型的锁来解决,这两种类型的锁通常被称为共享锁(Shared lock)排他锁(exclusive lock),其实就是大家叫的读锁(read lock)写锁(write lock)

读锁,是共享的,也就是说是互相不阻塞的。多个请求在同一时刻可以同时读取同一条记录,而互不干扰。


写锁,是排他的,也就是说一个写锁会阻塞其他的写锁和读锁,避免在写的过程中进行读、再写的操作,这更是出于安全的考虑,只有这样才能确保数据的准确、干净。在数据库中,每时每刻都在发生锁定,当某次请求修改数据时,MySQL 都会通过锁来防止其他请求读取同一数据。


2.锁策略

有了锁的机制,就能更好的控制高并发的读写操作,我们都知道锁也是有范围的,锁定对象范围的选择,更具有挑战性。尽量只锁定需要修改的部分数据,而不是所有数据,这也是选择锁定对象范围最想满足的。锁定范围越精确,锁定的数据量就越小,则系统的并发程度越高,加锁本身消耗的资源也就越小。


上述提到的无非就是设定锁的粒度,而MySQL则提供了多种选择,每种MySQL存储引擎都可以实现自己的锁策略和锁粒度。下面将介绍两种最常用的锁策略。

2.1 表级锁(table lock)

表级锁是 MySQL 最基本的锁策略,并且是开销最小的策略,它会锁定整张表。一个请求在对表进行写操作(插入、修改、删除等)前,需要先获得写锁,此时会阻塞其他请求对该表的所有读写操作。只有没有写锁时,其他请求才能读取并获得读锁,读锁之间是不相互阻塞的


尽管存储引擎可以管理自己的锁,而且 MySQL 本身还会使用各种有效的表级锁来实现不同的目的。例如,诸如 ALTER TABLE 之类的语句就使用了表级锁,而忽略存储引擎的锁机制。


开销小,加锁快;不会出现死锁;锁定粒度大,发出锁冲突的概率最高,并发度最低。

表级锁,更适用于以查询为主,只有少量按索引条件更新数据的应用。


2.2 行级锁(row lock)

行级锁可以最大程度地支持并发处理(同时也带来了最大的锁开销)。


开销大,加锁慢;会出现死锁;锁定粒度最小,发生锁冲突的概率最低,并发度最高。

行级锁,更适合于有大量按索引发更新少量不同数据,同时又有并发查询的应用,如一些在线事务处理系统。


四、MySQL 存储引擎是怎样的?

在文件系统中,MySQL 将每个数据库(即:schema)保存为数据目录 data 下的一个子目录。创建表时,MySQL 会在数据库 data 目录下创建一个和表同名的 .frm 文件来保存表的定义。


不同的存储引擎保存数据和索引的方式是不同的,但表的定义则是在 MySQL 服务层统一处理的。


可以使用 show table status like '表名' \G 命令来查看表的存储引擎以及表的其他相关信息,例如,查看 mysql 数据库中的 user 表:

mysql> use mysql;
No connection. Trying to reconnect...
Connection id:    20587
Current database: *** NONE ***
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> show table status like 'user' \G;
*************************** 1. row ***************************
           Name: user
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 3
 Avg_row_length: 125
    Data_length: 512
Max_data_length: 281474976710655
   Index_length: 4096
      Data_free: 136
 Auto_increment: NULL
    Create_time: 2019-07-12 14:45:17
    Update_time: 2019-12-20 15:55:44
     Check_time: NULL
      Collation: utf8_bin
       Checksum: NULL
 Create_options: 
        Comment: Users and global privileges
1 row in set (0.00 sec)
ERROR: 
No query specified

从查询结果的 Engine 字段可以表明,user表的存储引擎类型为 MyISAM,其他字段在此就不一一说明,如想详细了解可查阅相关文档。


在了解 MySQL 存储引擎前,可以先看看你的 MySQL 数据库支持哪些存储引擎,可通过 show engines 命令查看。我使用的MySQL版本为 5.7.25,查看结果如下图所示:

从上述结果可以看出,支持的存储引擎有: InnoDBMrg_MyisamMemoryBlackholeMyISAMCSVArchivePerformance_SchemaFederated,其中也做了简单的解释说明。


本文只针对 InnoDBMyISAM 两种最常见的存储引擎进行着重说明,其它存储引擎只做简单说明,详细可查阅官方文档。


1.InnoDB 存储引擎

InnoDB 是 MySQL 的默认事务型引擎,也是最重要、使用最广泛的存储引擎,并且有行级锁定外键约束

它被设计用来处理大量的短期(short-lived)事务,短期事务大部分情况是正常提交,很少会被回滚。InnoDB 的性能和自动崩溃恢复特性,使得它在非事务型存储的需求中也很流行。除非有非常特别的原因需要使用其他的存储引擎,否则应该优先考虑 InnoDB 引擎。

InnoDB 的适用场景/特性,有以下几种:

  • 经常更新的表,适合处理多重并发的更新请求。
  • 支持事务。
  • 可以从灾难中恢复(通过 bin-log 日志等)。
  • 外键约束。只有他支持外键。
  • 支持自动增加列属性 auto_increment


2.MyISAM 存储引擎

MyISAM 提供了大量的特性,包括全文检索、压缩等,但不支持事务和行级锁,支持表级锁。 对于只读的数据,或者表较小、可以忍受修复操作的场景,依然可以使用 MyISAM。


MyISAM 的适用场景/特性,有以下几种:

  • 不支持事务的设计,但是并不代表着有事务操作的项目不能用 MyISAM 存储引擎,完全可以在程序层进行根据自己的业务需求进行相应的控制。
  • 不支持外键的表设计。
  • 查询速度很快,如果数据库 insertupdate 的操作比较多的话比较适用。
  • 整天 对表进行加锁的场景。
  • MyISAM 极度强调快速读取操作。
  • MyIASM 中存储了表的行数,于是 SELECT COUNT(*) FROM TABLE 时只需要直接读取已经保存好的值而不需要进行全表扫描。如果表的读操作远远多于写操作且不需要数据库事务的支持,那么 MyIASM 也是很好的选择。


3.MySQL 内建的其他存储引擎

MySQL 还有一些特殊用途的存储引擎,在一些特殊场景下用起来会很爽的。在 MySQL 新版本中,有些可能因为一些原因已经不再支持了,还有一些会继续支持,但是需要明确地启用后才能使用。


3.1 Archive 存储引擎

Archive 引擎只支持 insertselect 操作,并且在 MySQL 5.1 之前连索引都不支持。


Archive 引擎会缓存所有的写并利用 zlib 对插入的行进行压缩,所以比 MyISAM 引擎的磁盘 I/O 更少。但是每次 select 查询都需要进行全表扫描,所以 Archive 更适合日志和数据采集类应用,况且这类应用在做数据分析时往往需要全表扫描。


Archive 引擎支持行级锁和专用的缓冲区,所以可以实现高并发的插入。在一个查询开始直到返回表中存在的所有行之前,Archive 引擎会阻止其他的 select 执行,以实现一致性读。另外,这也实现了批量插入在完成之前对读操作是不看见的。


3.2 Blackhole 存储引擎

Blackhole 引擎没有实现任何的存储机制,它会丢失所有插入的数据,不做任何保存。怪哉,岂不是一无用处?


但是服务器会记录 Blackhole 的日志,所以可以用于复制数据到备库,或者只是简单地记录到日志。这种特殊的存储引擎可以在一些特殊的复制架构和日志审核时发挥作用。

但这种存储引擎的存在,至今还是有些难以理解。


3.3 CSV 存储引擎

CSV 引擎可以将普通的 CSV 文件作为 MySQL 的表来处理,但这种表不支持索引。

CSV 引擎可以在数据库运行时拷入或者拷出文件,可以将 Excel 等电子表格软件中的数据存储为 CSV 文件,然后复制到MySQL数据目录下,就能在 MySQL 中打开使用。同样,如果将数据写入到一个 CSV 引擎表中,其他的外部程序也能立即从表的数据文件中读取 CSV 格式的数据。


因此,CSV 引擎可以作为一种数据交换的机制,是非常有用的。


3.4 Memory 存储引擎

如果需要快速地访问数据,并且这些数据不会被修改,重启以后丢失也没有关系,那么使用 Memory 引擎是非常有用的。Memory 引擎至少比MyISAM 引擎要快一个数量级,因为所有的数据都保存在内存中,不需要进行磁盘 I/O。Memory 引擎的表结构在重启以后还会保留,但数据会丢失。


Memory 引擎在很多场景下可以发挥很好的作用:

  • 用于查找或者映射表,例如将邮箱和州名映射的表。
  • 用于缓存周期性聚合数据的结果。
  • 用于保存数据分析中产生的中间数据。


Memory 引擎支持 Hash 索引,因此查找非常快。虽然 Memory 的速度非常快,但还是无法取代传统的基于磁盘的表。Memory 引擎是表级锁,因此并发吸入的性能较低。

如果 MySQL 在执行查询的过程中,需要使用临时表来保存中间结果,内部使用的临时表就是 Memory 引擎。如果中间结果太大超出了 Memory 的限制,或者含有 BLOBTEXT 字段,则临时表会转换成 MyISAM 的引擎。


看了上面的说明,大家就会经常混淆Memory和临时表了。临时表是指使用CREATE TEMPORARY TABLE语句创建的表,它可以使用任何存储引擎,因此和Memory不是一回事。临时表只在单个连接中可见,当连接断开时,临时表也将不复存在。


关于临时表和 Memory 引擎的那些事,可参考MySQL · 引擎特性 · 临时表那些事儿

MySQL 的存储引擎及第三方存储引擎,还有很多,在此就不一一介绍了,后续如有需要,再进一步来谈谈。


4.如何选择合适的存储引擎呢

这么多存储引擎,真是眼花缭乱,我们该如何选择呢?


大部分情况下,都会选择默认的存储引擎—— InnoDB,并且这也是最正确的选择,所以 Oracle 在 MySQL 5.5 版本时终于将 InnoDB 作为默认的存储引擎了。


对于如何选择合适的存储引擎,可以简单地归纳为一句话:”除非需要用到某些 InnoDB 不具备的特性,并且没有其他可以替代,否则都应该优先选择 InnoDB 引擎”


例如,如果要用到全文检索,建议优先考虑 InnoDB 加上 Sphinx 的组合,而不是使用支持全文检索的 MyISAM。当然,如果不需要用到 InnoDB 的特性,同时其他引擎的特性能够更好地满足需求,就可以考虑一下其他存储引擎。


除非万不得已,建议不要混合使用多种存储引擎,否则可能带来一系列复杂的问题,以及一些潜在的 bug 和边界问题。


如果需要使用不同的存储引擎,建议考虑从以下几个因素进行衡量考虑。

  • 事务
  • 备份
  • 恢复
  • 特有的特性


参考文章:

  1. https://www.cnblogs.com/sunsky303/p/8274586.html
  2. https://www.cnblogs.com/coderyuhui/p/10773143.html
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2天前
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
17天前
|
监控 NoSQL 算法
百万级URL重定向工程:大规模网站架构设计与性能优化实战
本文深入探讨了大规模重定向系统的核心挑战与解决方案,涵盖技术瓶颈分析、分布式架构设计、十亿级URL处理策略、全球化部署方案及全链路监控体系。通过数学建模与性能优化,提出三层架构模型,并结合一致性哈希分片算法实现高效路由。同时,对比不同架构的吞吐量与容灾能力,分享某电商平台实践案例,展示性能显著提升。最后展望重定向即服务(RaaS)未来趋势,包括AI动态路由、量子安全跳转和边缘智能等关键技术,为企业提供扩展性强、稳定性高的系统设计参考。
75 25
|
17天前
|
边缘计算 监控 安全
301重定向进阶实战:从性能优化到未来架构演进
本文探讨了百万级流量动态重定向的架构设计与优化方案,结合全球电商平台迁移案例,展示基于Nginx+Lua的动态规则引擎及流量分级策略。同时,深入分析性能优化与安全加固技术,如零延迟跳转、智能熔断机制,并提出混合云环境下的跨平台解决方案。此外,针对SEO数据继承与流量恢复提供三维权重映射模型和自动化监测工具链。最后,展望边缘计算、区块链及量子安全等下一代重定向技术,为企业构建面向未来的体系提供参考。
66 7
|
2月前
|
SQL 存储 缓存
MySQL的架构与SQL语句执行过程
MySQL架构分为Server层和存储引擎层,具有高度灵活性和可扩展性。Server层包括连接器、查询缓存(MySQL 8.0已移除)、分析器、优化器和执行器,负责处理SQL语句;存储引擎层负责数据的存储和读取,常见引擎有InnoDB、MyISAM和Memory。SQL执行过程涉及连接、解析、优化、执行和结果返回等步骤,本文详细讲解了一条SQL语句的完整执行过程。
108 3
|
1月前
|
缓存 人工智能 监控
文生图架构设计原来如此简单之性能优化
这个简单的架构包含了所有核心要素:用户请求、负载分发、处理节点和分层缓存。看起来很简单对吧?但它却能支撑起整个文生图服务。用最少的复杂度,实现最大的效果。
46 0
|
1月前
|
消息中间件 安全 NoSQL
布谷直播系统源码开发实战:从架构设计到性能优化
作为山东布谷科技的一名技术研发人员,我参与了多个直播系统平台从0到1的开发和搭建,也见证了直播行业从萌芽到爆发的全过程。今天,我想从研发角度,分享一些直播系统软件开发的经验和心得,希望能对大家有所帮助。
|
2月前
|
存储 SQL 缓存
MySQL原理简介—2.InnoDB架构原理和执行流程
本文介绍了MySQL中更新语句的执行流程及其背后的机制,主要包括: 1. **更新语句的执行流程**:从SQL解析到执行器调用InnoDB存储引擎接口。 2. **Buffer Pool缓冲池**:缓存磁盘数据,减少磁盘I/O。 3. **Undo日志**:记录更新前的数据,支持事务回滚。 4. **Redo日志**:确保事务持久性,防止宕机导致的数据丢失。 5. **Binlog日志**:记录逻辑操作,用于数据恢复和主从复制。 6. **事务提交机制**:包括redo日志和binlog日志的刷盘策略,确保数据一致性。 7. **后台IO线程**:将内存中的脏数据异步刷入磁盘。
164 12
|
1月前
|
关系型数据库 MySQL Java
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
|
1月前
|
关系型数据库 MySQL 数据库连接
docker拉取MySQL后数据库连接失败解决方案
通过以上方法,可以解决Docker中拉取MySQL镜像后数据库连接失败的常见问题。关键步骤包括确保容器正确启动、配置正确的环境变量、合理设置网络和权限,以及检查主机防火墙设置等。通过逐步排查,可以快速定位并解决连接问题,确保MySQL服务的正常使用。
308 82
|
7天前
|
SQL 关系型数据库 MySQL
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)
本文深入介绍 MySQL 数据库 SQL 语句调优方法。涵盖分析查询执行计划,如使用 EXPLAIN 命令及理解关键指标;优化查询语句结构,包括避免子查询、减少函数使用、合理用索引列及避免 “OR”。还介绍了索引类型知识,如 B 树索引、哈希索引等。结合与 MySQL 数据库课程设计相关文章,强调 SQL 语句调优重要性。为提升数据库性能提供实用方法,适合数据库管理员和开发人员。
下一篇
oss创建bucket