MySQL 高频面试题目(5)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: MySQL 高频面试题目(5)

MVCC核心思想:


image.png


image.png


MVCC的实现原理:

1、每一个事务在开启和查询的时候,都需要建立一个ReadView(一致性视图)


image.png


image.png


#锁


image.png


image.png


image.png


image.png


image.png


一个事务能够成功地给一张表加上表锁的前提,是没有其他任何一个事务已经锁定了这张表的任何一行数据。


加锁之前为了确定没有加上任意一行数据,需要遍历一张表的数据从头到尾部(全表扫描)。


任何一个事务加行锁的时候,会先加一 个表级别的意向锁,


决定能不能加表锁成功地标志 (意向锁),为了提升加表锁的效率。


image.png


image.png


image.png


image.png


MySQL中 行锁解决了不可重复读的问题,gap锁解决了幻读的问题。MySQL中默认使用邻键锁,Next key Lock =record Lock+gap Lock。


由于可重读的隔离级别下,默认采用Next-Key Locks,就是Record lock和gap lock的结合,即除了锁住记录本身,还要再锁住索引之间的间隙,


九、查询速度慢的原因,如何解决?

数据库重启,能够释放资源,比如:连接,以及内存占用的资源

Mysql优化的维度:

(1)连接:增加服务端可用连接数,减少客户端可用连接数

(2)架构方面:减轻数据库的压力:redis缓存

(3)架构方面:集群,基于主从复制的读写分离

(4)架构方面:分库分表:垂直分库(业务主题),水平分库分表

(5) SQL和索引的优化

(6)表结构和存储引擎的优化(不同存储引擎适用于不同的存储引擎,选用能用的最小的结构,行政区号编码,卡号,建表; 表结构分区(天,月,年)商户信息表(基础信息表,联系信息表,结算信息表,附件信息表))

(7)操作系统,MySQL配置参数,操作系统

(8)硬件:升级硬件型号

(9)业务层面的优化,例如:双十一期间,蚂蚁庄园用户饲料发放延迟(降级,用来保证最核心的业务;银行转账只能查看月份,双十一预售(分流 ))


(交易历史表,根据月份,建立12个分区)


十、具体SQL慢查询分析

1、MySQL会开启慢查询日志 slow query log记录,慢查询默认关闭

2,我们通常使用mysqldumpslow工具统计慢SQL信息

3,找到非常慢的SQL信息后,可以使用Explain来分析

Explain中有几个比较重要的字段


Type

对于主键索引或者唯一索引,只能查询一条数据

myisame,memory的查询结果:type的种类为system ;

InnoDB存储引擎的查询结果:type的种类为const


image.png


  • 我们至少要优化到range级别
  • Possible_keys
    可能用到的索引,对于联合索引(A,B)来说,有可能两个都用到
  • Key
    是最终使用的索引(用不到索引,但是优化器对于覆盖索引,索引下推,但是优化器最终优化后直接走索引)。
  • Extra 额外的信息


网络异常,图片无法展示
|


Useing Where存储引擎层返回的数据不全是客户端所需要的,所以需要在server层过滤后再返回客户端

(A,B) Select B返回server层

Using Index Condition:索引条件下推,本来是需要返回server层,但是在某些特殊情况下,下推到存储引擎,

Using filesort: 不能直接用索引排序(order by id; )

Using temporary: 得到最终数据之前,数据需要放到临时表里边存储,再去做相应的过滤操作。 (Distinct字段,Group by操作;需要优化,为字段建立索引,或者联合索引)

对于翻页 Select语句如何优化,

Select * from user_innodb limit 90000,10; 0.3 s

Select * from user_innodb where id>90000 limit 10


SQL优化的目的,是为了用到索引


十一、SQL优化的案例分析

服务端状态分析:

如果出现连接变慢,查询被阻塞,无法获取连接的情况

1,重启!

2,Show processlist查看线程状态,连接数数量,连接时间,状态

3,查看锁的状态

4,Kill有问题的线程


对于具体的慢SQl:

一,分析查询基本情况

涉及到的表的表结构,字段的索引情况,每张表的数据量,查询的业务含义;这个非常重要,因为有的时候你会发现SQL根本没必要这么写,或者表设计有问题。

二,找出慢的原因

1,查看执行计划,分析SQL的执行情况,了解表访问顺序,访问类型,索引,扫描行数等信息。

2,如果总体的时间很长,不确定哪一个影响因素最大,通过条件的递减,顺序的调整,找出慢查询的主要原因,不断地尝试验证。

找到原因:比如是没有走索引引起的,还是关联查询引起的,还是order by引起的。

找到原因之后:

二,对症下药

1,创建索引或者联合索引

2,改写SQL,这里需要平时积累经验,例如:

1)使用小表驱动大表


为什么小表驱动大表比较优呢?

假设有n条记录的id索引,遍历搜寻单值的算法复杂度大概是O(lgn),


设A表记录数m,B表记录数n,m>>n(远大于),两表的id上都有索引。

当A驱动B查询时,复杂度大概是O(mlgn);反之,B驱动A查询时,复杂度大概是O(nlgm)。

最后,比较下mlgn和nlgm的增长趋势,设m=an(a>>1),有anlgn/(nlg(an)) = algn/(an),

最后归结为na和an的量级,显然na>>an(可由无穷大的求导法则推测两者的增长速度),

所以O(mlgn)>O(nlgm),也就是小表驱动大表比较优。


2)用Join来代替子查询

(子查询需要建立临时表)

连接(JOIN)… 之所以更有效率一些,是因为 MySQL不需要在内存中创建临时表来完成这个逻辑上的需要两个步骤的查询工作


3)Not exist 转换为left join is Null

MySQL优化–NOT EXISTS和LEFT JOIN方式差异


两种执行方式对比:


1、从执行计划来看,两个表都使用了索引,区别在于NOT EXISTS使用“DEPENDENT SUBQUERY”方式,而LEFT JOIN使用普通表关联的方式

2、从执行过程来看,LEFT JOIN方式主要消耗Sending data的上,在NOT EXISTS方式主要消耗在"executing"和“Sending data”两项上,受限于PROFILE只能记录100行结果,因此超过57万个"executing"和“Sending data”的组合项没有显示,虽然每次"executing"和“Sending data”的组合项消耗时间较少(约50毫秒),但由于执行次数较高,导致最终执行时间较长(50μs*578436=28921800us=28.92s)


如何在NOT EXISTS和LEFT JOIN中选择:

1、当外层数据较少时,子查询循环次数较少,使用NOT EXISTS并不会导致严重的性能问题,推荐使用NOT EXISTS方式。

2、当外层数据较大时,子查询消耗随外层数据量递增,查询性能较差,推荐使用LEFT JOIN方式


总结:

按照存在即合理是客观唯心主义的理论,NOT EXISTS以更直观地方式实现业务需求,在SQL复杂度上要远低于LEFT JOIN,且在生产执行计划时,NOT EXISTS方式相对更稳定些,LEFT JOIN可能会随统计信息变化而生产不同的执行计划。


4)Or 改为union (or进行全表扫描)

可以用 union 或 union all 代替 or ,以避免因为 or 引起的全表扫描


5)如果结果集允许重复的话,使用Union All代替Union

Union:对两个结果集进行并集操作,不包括重复行,同时进行默认规则的排序;

Union All:对两个结果集进行并集操作,包括重复行,不进行排序;

因为 UNION ALL 不去重,效率高于 UNION。


6)大偏移的limit,先过滤再排序


对于翻页 Select语句如何优化,

Select * from user_innodb limit 90000,10; 0.3 s

Select * from user_innodb where id>90000 limit 10


小结一下,在上述的执行过程中,造成 limit 大偏移量执行时间变久的原因有:


查询所有列导致回表

limit a, b会查询前a+b条数据,然后丢弃前a条数据

综合上述两个原因,MySQL 花费了大量时间在回表上,而其中a次回表的结果又不会出现在结果集中,这才导致查询时间变得越来越长。


如果SQL语句本身解决不了,就要上升到表结构和架构上

3,表结构(冗余,拆分,not null等)、架构优化(UAN存读写分离分库分表)

业务层面的优化


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
4天前
|
SQL 关系型数据库 MySQL
大厂面试官:聊下 MySQL 慢查询优化、索引优化?
MySQL慢查询优化、索引优化,是必知必备,大厂面试高频,本文深入详解,建议收藏。关注【mikechen的互联网架构】,10年+BAT架构经验分享。
大厂面试官:聊下 MySQL 慢查询优化、索引优化?
|
26天前
|
存储 关系型数据库 MySQL
阿里面试:为什么要索引?什么是MySQL索引?底层结构是什么?
尼恩是一位资深架构师,他在自己的读者交流群中分享了关于MySQL索引的重要知识点。索引是帮助MySQL高效获取数据的数据结构,主要作用包括显著提升查询速度、降低磁盘I/O次数、优化排序与分组操作以及提升复杂查询的性能。MySQL支持多种索引类型,如主键索引、唯一索引、普通索引、全文索引和空间数据索引。索引的底层数据结构主要是B+树,它能够有效支持范围查询和顺序遍历,同时保持高效的插入、删除和查找性能。尼恩还强调了索引的优缺点,并提供了多个面试题及其解答,帮助读者在面试中脱颖而出。相关资料可在公众号【技术自由圈】获取。
|
19天前
|
SQL 缓存 关系型数据库
美团面试:Mysql 有几级缓存? 每一级缓存,具体是什么?
在40岁老架构师尼恩的读者交流群中,近期有小伙伴因未能系统梳理MySQL缓存机制而在美团面试中失利。为此,尼恩对MySQL的缓存机制进行了系统化梳理,包括一级缓存(InnoDB缓存)和二级缓存(查询缓存)。同时,他还将这些知识点整理进《尼恩Java面试宝典PDF》V175版本,帮助大家提升技术水平,顺利通过面试。更多技术资料请关注公号【技术自由圈】。
美团面试:Mysql 有几级缓存? 每一级缓存,具体是什么?
|
13天前
|
SQL 算法 关系型数据库
面试:什么是死锁,如何避免或解决死锁;MySQL中的死锁现象,MySQL死锁如何解决
面试:什么是死锁,死锁产生的四个必要条件,如何避免或解决死锁;数据库锁,锁分类,控制事务;MySQL中的死锁现象,MySQL死锁如何解决
|
20天前
|
SQL 关系型数据库 MySQL
美团面试:Mysql如何选择最优 执行计划,为什么?
在40岁老架构师尼恩的读者交流群中,近期有小伙伴面试美团时遇到了关于MySQL执行计划的面试题:“MySQL如何选择最优执行计划,为什么?”由于缺乏系统化的准备,小伙伴未能给出满意的答案,面试失败。为此,尼恩为大家系统化地梳理了MySQL执行计划的相关知识,帮助大家提升技术水平,展示“技术肌肉”,让面试官“爱到不能自已”。相关内容已收录进《尼恩Java面试宝典PDF》V175版本,供大家参考学习。
|
1月前
|
SQL 关系型数据库 MySQL
阿里面试:MYSQL 事务ACID,底层原理是什么? 具体是如何实现的?
尼恩,一位40岁的资深架构师,通过其丰富的经验和深厚的技術功底,为众多读者提供了宝贵的面试指导和技术分享。在他的读者交流群中,许多小伙伴获得了来自一线互联网企业的面试机会,并成功应对了诸如事务ACID特性实现、MVCC等相关面试题。尼恩特别整理了这些常见面试题的系统化解答,形成了《MVCC 学习圣经:一次穿透MYSQL MVCC》PDF文档,旨在帮助大家在面试中展示出扎实的技术功底,提高面试成功率。此外,他还编写了《尼恩Java面试宝典》等资料,涵盖了大量面试题和答案,帮助读者全面提升技术面试的表现。这些资料不仅内容详实,而且持续更新,是求职者备战技术面试的宝贵资源。
阿里面试:MYSQL 事务ACID,底层原理是什么? 具体是如何实现的?
|
1月前
|
SQL 关系型数据库 MySQL
京东面试:什么情况下 mysql RR不能解决幻读? RR隔离mysql如何实现?
老架构师尼恩在其读者交流群中分享了关于MySQL事务隔离级别的深入解析,特别针对RR级隔离如何解决幻读问题进行了详细讨论。文章不仅解释了ACID中的隔离性概念,还列举了四种事务隔离级别(未提交读、提交读、可重复读、串行读)的特点及应用场景。尼恩通过具体的例子和图表,清晰地展示了不同隔离级别下的并发事务问题(脏读、不可重复读、幻读)及其解决方案,特别是RR级隔离下的MVCC机制如何通过快照读和当前读来防止幻读。此外,尼恩还提供了相关面试题的解答技巧和参考资料,帮助读者更好地准备技术面试。更多详细内容和实战案例可在《尼恩Java面试宝典》中找到。
|
1月前
|
SQL 安全 关系型数据库
MySQL 增删操作面试题
MySQL 增删操作面试题
114 1
|
1月前
|
SQL 关系型数据库 MySQL
美团面试:mysql 索引失效?怎么解决? (重点知识,建议收藏,读10遍+)
本文详细解析了MySQL索引失效的多种场景及解决方法,包括破坏最左匹配原则、索引覆盖原则、前缀匹配原则、`ORDER BY`排序不当、`OR`关键字使用不当、索引列上有计算或函数、使用`NOT IN`和`NOT EXISTS`不当、列的比对等。通过实例演示和`EXPLAIN`命令分析,帮助读者深入理解索引失效的原因,并提供相应的优化建议。文章还推荐了《尼恩Java面试宝典》等资源,助力面试者提升技术水平,顺利通过面试。
|
1月前
|
存储 关系型数据库 MySQL
面试官:MySQL一次到底插入多少条数据合适啊?
本文探讨了数据库插入操作的基础知识、批量插入的优势与挑战,以及如何确定合适的插入数据量。通过面试对话的形式,详细解析了单条插入与批量插入的区别,磁盘I/O、内存使用、事务大小和锁策略等关键因素。最后,结合MyBatis框架,提供了实际应用中的批量插入策略和优化建议。希望读者不仅能掌握技术细节,还能理解背后的原理,从而更好地优化数据库性能。