MySQL性能分析、及调优工具使用详解

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

本文汇总了MySQL DBA日常工作中用到的些工具,方便初学者,也便于自己查阅。


先介绍下基础设施(CPU、IO、网络等)检查的工具:

vmstat、sar(sysstat工具包)、mpstat、oprofile、nicstat、dstat、iotop、tsar、iostat 掌握几个即可,功能大同小异(个人常用的是 dstat、sar)


CPU

    mpstat -P ALL 1  每隔1s显示一次

wKioL1kLNwrB2iUEAAQH4kdBUck374.png

    上图可以看到CPU调度不均衡。因此我们可以尝试将pid700的进程绑定到第四颗CPU上。taskset -p 03 700 



磁盘:

    vmstat -S m 1 10

    iostat -xkdz 1

    iotop

    pt-ioprofile --profile-pid=$(pidof mysqld) --cell=sizes --run-time=30

wKiom1kLNyLROwlVAADIBt0shC0101.png

 

内存:

    vmtouch  【很cool的工具】  参考:http://blog.yufeng.info/archives/1903

    作用:

       查看一个文件(或者目录)哪些部分在内存中;

       把文件调入内存;

       把文件清除出内存;

       把文件锁住在内存中而不被换出到磁盘上;

 

1. 看看/bin目录有多少内容在内存中

$ vmtouch /bin/
           
Files: 92
     Directories: 1
  Resident Pages: 348/1307  1M/5M 26.6%
         Elapsed: 0.003426 seconds

2. 看看某文件(big-dataset.txt)有多少在内存中

How much ofbig-dataset.txt is currently in memory?

$ vmtouch -v big-dataset.txt
big-dataset.txt
[                                                           ] 0/42116

           
Files: 1
     Directories: 0
  Resident Pages: 0/42116  0/164M 0%
         Elapsed: 0.005182 seconds

然后读入部分文件,

$ tail -n 10000big-dataset.txt > /dev/null

然后在用vmtouch查看一下:

$ vmtouch -vbig-dataset.txt
big-dataset.txt
[                                                   oOOOOOOO] 4950/42116

           
Files: 1
     Directories: 0
 Resident Pages: 4950/42116 19M/164M  11.8%
        Elapsed: 0.006706 seconds

我们可以看出big-datset.txt开始时没有数据在内存中,在用tail命令读入了部分数据后,有19MB的数据进入了内存。

3. 把文件(a.txt)清除出内存

$ vmtouch -vea.txt
Evicting a.txt

           
Files: 1
     Directories: 0
   Evicted Pages: 42116 (164M)
         Elapsed: 0.076824 seconds

vmtouch主要作用是做数据的warm-up,即对于将要用到的数据,通过vmtouch把它们事先读入内存,而不是在需要时再从硬盘上读入,这样可以提高系统效率。


 

网络:

    nicstat -z 1 (需要参照网上自己编译安装)

wKiom1kLN0fxzJf3AAIASKqrCsw324.png


全面的工具:

    dstat  -tclmdny 1

wKiom1kLN1-QkdHMAAG9cOHgS1c707.png



   oprofile  

    【这个工具太厉强大,但是需要我们先安装带debug的kernel才行,具体请自行查阅文档】


基础设施没问题后,我们才可以去考虑MySQL的参数调优及性能优化。

常用的性能分析工具有:

mytop、innotop、orzdba、dodba、mysqltuner.pl。(这几个工具都很好用)



此外,常用的带web界面的监控工具有:

zabbix

lepus 天兔

官网:http://www.lepus.cc/page/opensource

专业做mysql监控的软件。

可直观监控主从状态,界面比较炫。支持分析慢查询(基于pt-query-digest实现)


PMM监控的部署(采用docker容器的部署方法很简单,界面也很炫,但是感觉还是不够实用。



命令行的pt工具包套件:

percona-toolkit家族的系列工具,功能非常多,已经在我博客里面拆分成好几篇基本上都罗列了一遍用法了。



此外, 比较推荐的有如下2个命令行的工具:

innotop mytop的加强版】

参考://www.percona.com/blog/2013/10/14/innotop-real-time-advanced-investigation-tool-mysql/

下载地址:git clone https://github.com/innotop/innotop.git epel源里面也可以直接yum方式安装】

 

配置方法:

yum install  perl-TermReadKey  perl-Time-HiRes  perl-DBD-MySQL  perl-DBI

 

./innotop --help   可以查看到支持的参数。不过我们不在命令行输入密码,所有这些参数一般都用不到的。

 

./innotop --write   进入交互式界面后,输入根据提示输入相关的参数,然后退出命令行。会在当前目录下生成一个.innotop/innotop.conf里面记录了数据的密码信息。【我们只要在最后一步,提示是否保存密码到文本中时候,选择n即可只保存配置信息,不记录密码】

 

输入,显示所有支持的命令,如下图:

wKioL1kLOD7A2cQwAABtRLKlLAY639.png

wKiom1kLOD_h1wQKAAAfijJyaBs775.png

wKiom1kLOD_gm3yOAAAd5uP8QUM045.png

wKioL1kLOD-zHTvLAAAw-huJoNI489.png

wKiom1kLOECz8rX2AAAxafYLsfo936.png

wKioL1kLOEDRTmEEAAAjb1Yp1wc981.png


q键,可以退出inntop的控制台界面。

在当前目录下,自动生成一个.innotop的隐藏文件夹。innotop.conf里面保存了数据库的连接方式。

wKioL1kLOEChuWUCAAAW1w-O1Zo103.png


如果我们不退出刚才的Dashboard界面,直接输入,可以看到IO相关状态,如下图:

wKioL1kLOIrD2c0dAACNnUdB2as699.png


输入Q,可以查看query list

wKiom1kLOIrCTcaRAABPu06lBJ4613.png

然后按e并输入thread ID显示执行计划或者按f显示完整sql语句,或者按o显示系统优化过的语句(需要MySQL的版本支持EXPLAIN EXTENDED

wKioL1kLOIqCvZ9hAABLO4UwHIE661.png

innotop是通过information_schema.processlist来获得完整的sql语句,并且根据COMMAND来过滤掉空闲线程的。



输入S,然后选择我们上面的test连接配置,可查看 Variables & Status

wKiom1kLOIuTYBoTAABQrgwPEUY364.png


输入B,显示 Buffer Pool的状态:

wKioL1kLOIuTS9Q5AABFQ-ZRpBI774.png


输入M,可以查看主从复制的状态。下图是master上的截图:

wKiom1kLOIzSTKYsAABL01-ElLM037.png




mytop

比较简单。

mytop  --user root --pass root



mysqltuner

一个pl脚本,mysqltuner 根据提示输入用户名和密码即可分析并给出优化的建议。直接使用yum install mysqltuner也能安装。



orzdba

http://code.taobao.org/p/orzdba/src/trunk/

chmod +x orzdba即可。

 

我个人常用下面的2个即可,其他的状态使用dstatsar等命令来获取。

 

注意:下面的2个参数的调用默认是没有地方输入用户名和密码的,因此建议将密码写到/etc/my.cnf client段里面。

./orzdba -mysql -C 10 -i 1

wKiom1kLORCwbCB7AAC0fG81918234.png


./orzdba -innodb -C 10 -i 1

wKiom1kLORDCLGVKAADjDff6GfM782.png


tcpdump抓包捕获瞬间的SQL

step1

tcpdump -s 65535 -x -nn -q -tttt -i eth0 -c 5000 port 3306 > /root/dump.txt

上面的命令参数含义:

    -s     #snaplen, 也就是数据包的截取长度

    -nn    #将地址、端口显示为数字格式【经常用】

    -q     #快速输出。只输出较少的协议信息。【经常用】

    -tttt # 在每行打印的时间戳之前添加日期的打印【经常用】

    -c     #在收到指定的数量的分组后,tcpdump就会停止。

 

step2

pt-query-digest --type tcpdump/root/dump.txt  即可分析出结果


#!/bin/bash

#实时采集并分析1000个分组的sql包数据

#Date:2017/05/02

 

#注意部分机器的网卡是eth1或多网卡,脚本里面需要做修改

 

source/etc/profile

 

[! -e /usr/sbin/tcpdump ] &&  yum  install  tcpdump -y > /dev/null 2>&1

 

#如果抓取的数据太少,可以修改-c 5000 多抓取些用于分析

tcpdump -s 65535 -x -nn -q -tttt -i eth0 -c 5000 port 3306 > /root/dump.txt && pt-query-digest --type tcpdump /root/dump.txt > /root/pt_result.log

 

if[ $? -eq 0 ] ; then

  echo "统计结果输出到/root/pt_result.log" && rm -f /root/dump.txt

else

  echo "程序运行出错"

fi

 

 

dodba 【推荐】

doDBA tools是一个基于控制台的远程监控工具,它不需要在本地/远程系统上安装任何软件,它可以实时收集操作系统、MySQL、InnoDB的实时性能状态数据,并可以生成Doing日志文件,来帮助你快速了解/优化系统及MySQL数据库。

 

远程收集系统信息是通过ssh(用户名密码或建立信任)的方式连接到远程服务器上收集,收集的方法都是通过读取Linuxproc下的等meminfodiskstatsuptimenetvmstat cpuinfo loadavg等文件,这和pmmzabbix收集方式一致。

 

远程收集MySQL信息是通过 MySQL tcp连接到MySQL数据库上收集,只需要授予连接用户PROCESSSELECT权限即可。

 

系统信息和MySQL信息的收集可以分离,如果只想收集系统信息,只需要提供系统用户名密码即可,如果只收集MySQL可以只提供MySQL连接信息,如果是rds用户,可以使用-rds参数,在使用mytop时会自动忽略系统信息的收集。


http://www.ywnds.com/?p=7499

 

下载地址:https://github.com/dblucyne/dodba_tools

 

wget https://raw.githubusercontent.com/dblucyne/dodba_tools/master/doDBA--no-check-certificate

wget https://raw.githubusercontent.com/dblucyne/dodba_tools/master/doDBA.conf--no-check-certificate

chmod +x doDBA


功能非常强大,官方地址:https://github.com/dblucyne/dodba_tools 介绍的很详细


具体如何使用在运维帮的公众号上面有比较全面的介绍,下面是我摘录的部分内容:


./doDBA-help   查看帮助


收集Linux性能数据

./doDBA-h=192.168.2.11 -sys  # 通过ssh远程连接去获取信息

wKiom1kLTXWyMoAaAAA_wqy2Ujo429.png

 

 

搜集MySQL性能数据

./doDBA-h=127.0.0.1 -mysql

wKioL1kLTYDT9mVKAABF5K2ZLpA201.png


执行前需要先去修改 doDBA.conf  配置上mysql的用户名密码和端口:

{

"Host":"",

"Huser":"root",

"Hport":"22",

"Hpwd":  "",

"Muser": "root",

"Mpwd": "Abcd@1234",

"Mport":"3306"

}

 

### 这里需要注意一点就是:搜集远程mysql时候,必须要先在目标MySQL上对本机IP做授权,不然会出现下图类似的报错。


 

 

搜集InnoDB性能数据

./doDBA-h=127.0.0.1 -innodb

wKiom1kLTZKA0DNsAAAiPM867PY992.png

 

 

搜集MySQLLinux性能数据

./doDBA-h=127.0.0.1 -myall

wKiom1kLTZzTQtuEAABBwdPfYWw315.png

 

类似Mytop的功能

./doDBA-h=127.0.0.1 -mytop

wKioL1kLTaWQAWFmAAB9KmXyRqM665.png

 

 

搜集到日志文件

./doDBA-h=127.0.0.1 -mytop -log

wKioL1kLTbDzDSb6AABasPW_Hjw901.png 

 

开启Doing功能

./doDBA -h=127.0.0.1-myall -t=3   # 当有超过3个活跃线程时就自动执行show processlist show engine innodb status\G 并把采集到的信息存到dbdba.log

 


 

配合shell批量采集

cat ip.txt 内容如下:

192.168.2.11

192.168.2.12

 

cat ip.txt | while read ip;  do  echo $ip;  ./doDBA -h=$ip -mysql -log

 






重磅推荐:my.cnf 参数计算器(推荐):

http://www.mysqlcalculator.com/

不同物理硬件的服务器,my.cnf 的部分参数需要调整,如果参数设置的太大,可能导致OOM。因此有必要用这个计算器算一下。



上文中部分内容参考自网易王洪权的ppt。










本文转自 lirulei90 51CTO博客,原文链接:http://blog.51cto.com/lee90/1921029,如需转载请自行联系原作者
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
568 4
|
9天前
|
监控 前端开发 Java
Java SpringBoot –性能分析与调优
Java SpringBoot –性能分析与调优
|
9天前
|
缓存 监控 Linux
Linux性能分析利器:全面掌握perf工具
【10月更文挑战第18天】 在Linux系统中,性能分析是确保软件运行效率的关键步骤。`perf`工具,作为Linux内核自带的性能分析工具,为开发者提供了强大的性能监控和分析能力。本文将全面介绍`perf`工具的使用,帮助你成为性能优化的高手。
45 1
|
9天前
|
缓存 监控 Linux
掌握Linux性能分析:深入探索perf工具
【10月更文挑战第26天】
14 1
|
2月前
|
存储 SQL 关系型数据库
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
MySQL调优主要分为三个步骤:监控报警、排查慢SQL、MySQL调优。 排查慢SQL:开启慢查询日志 、找出最慢的几条SQL、分析查询计划 。 MySQL调优: 基础优化:缓存优化、硬件优化、参数优化、定期清理垃圾、使用合适的存储引擎、读写分离、分库分表; 表设计优化:数据类型优化、冷热数据分表等。 索引优化:考虑索引失效的11个场景、遵循索引设计原则、连接查询优化、排序优化、深分页查询优化、覆盖索引、索引下推、用普通索引等。 SQL优化。
511 15
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
|
8天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
43 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
49 3
|
9天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第26天】数据库作为现代应用系统的核心组件,其性能优化至关重要。本文主要探讨MySQL的索引策略与查询性能调优。通过合理创建索引(如B-Tree、复合索引)和优化查询语句(如使用EXPLAIN、优化分页查询),可以显著提升数据库的响应速度和稳定性。实践中还需定期审查慢查询日志,持续优化性能。
40 0
|
1月前
|
Web App开发 监控 JavaScript
一些常用的 Vue 性能分析工具
【10月更文挑战第2天】
63 1
|
2月前
|
存储 缓存 关系型数据库
【MySQL调优】如何进行MySQL调优?一篇文章就够了!
MySQL调优主要分为三个步骤:监控报警、排查慢SQL、MySQL调优。 排查慢SQL:开启慢查询日志 、找出最慢的几条SQL、分析查询计划 。 MySQL调优: 基础优化:缓存优化、硬件优化、参数优化、定期清理垃圾、使用合适的存储引擎、读写分离、分库分表; 表设计优化:数据类型优化、冷热数据分表等。 索引优化:考虑索引失效的11个场景、遵循索引设计原则、连接查询优化、排序优化、深分页查询优化、覆盖索引、索引下推、用普通索引等。 SQL优化。
【MySQL调优】如何进行MySQL调优?一篇文章就够了!
下一篇
无影云桌面