数据库中间件监控实战，MySQL中哪些指标比较关键以及如何采集这些指标了。帮助提早发现问题，提升数据库可用性。

1 整体思路

监控哪类指标？

如何采集数据？

第10讲监控方法论如何落地？

这些就可以在MySQL中应用起来。MySQL是个服务，所以可借用Google四个黄金指标解决问题：

1.1 延迟

应用程序会向MySQL发起SELECT、UPDATE等操作，处理这些请求花费多久很关键，甚至还想知道具体是哪个SQL最慢，这样就可以有针对性地调优。

1.1.1 采集延迟数据

在客户端埋点

上层业务程序在请求MySQL的时候，记录每个SQL请求耗时，把这些数据统一推给监控系统，监控系统就可以计算出平均延迟、95分位、99分位的延迟数据了。要埋点，对业务代码有侵入性。

Slow queries

MySQL提供慢查询数量的统计指标，通过如下命令拿到：

show global status like 'Slow_queries';

+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| Slow_queries  | 107   |

+---------------+-------+

1 row in set (0.000 sec)

这指标是Counter型，即单调递增，若想知道最近1min有多少慢查询，需要使用increase函数做二次计算。

慢查询标准

全局变量long_query_time，默认10s，可调整。每当查询时间超过 long_query_time 指定时间，Slow_queries 就会 +1。

获取 long_query_time 值：

SHOW VARIABLES LIKE 'long_query_time';

+-----------------+-----------+

| Variable_name   | Value     |

+-----------------+-----------+

| long_query_time | 10.000000 |

+-----------------+-----------+

通过 performance schema、sys schema 拿到统计数据。若performance schema的 events_statements_summary_by_digest 表，该表捕获很多关键信息，如延迟、错误量、查询量。

如下案例，SQL执行2次，平均执行时间325ms，表里的时间度量指标都是以皮秒为单位：

*************************** 1. row ***************************

               SCHEMA_NAME: employees

                    DIGEST: 0c6318da9de53353a3a1bacea70b4fce

               DIGEST_TEXT: SELECT * FROM `employees` WHERE `emp_no` > ?

                COUNT_STAR: 2

            SUM_TIMER_WAIT: 650358383000

            MIN_TIMER_WAIT: 292045159000

            AVG_TIMER_WAIT: 325179191000

            MAX_TIMER_WAIT: 358313224000

             SUM_LOCK_TIME: 520000000

                SUM_ERRORS: 0

              SUM_WARNINGS: 0

         SUM_ROWS_AFFECTED: 0

             SUM_ROWS_SENT: 520048

         SUM_ROWS_EXAMINED: 520048

...

         SUM_NO_INDEX_USED: 0

    SUM_NO_GOOD_INDEX_USED: 0

                FIRST_SEEN: 2016-03-24 14:25:32

                 LAST_SEEN: 2016-03-24 14:25:55

针对即时查询、诊断问题，还可使用 sys schema。sys schema提供一种组织良好、易读的指标查询方式，查询更简单。如下方法找到最慢的SQL。这个数据在 statements_with_runtimes_in_95th_percentile 表中。

SELECT * FROM sys.statements_with_runtimes_in_95th_percentile;

更多例子查看 sys schema 文档。不过要注意的是，MySQL 5.7.7开始才包含sys schema，5.6 版本开始可手工安装。

1.2 流量

最熟的就是统计 SELECT、UPDATE、DELETE、INSERT 等语句执行数量。若流量太高，超过硬件承载能力，显然需监控、扩容。这些类型指标在 MySQL 全局变量中都能拿到：

show global status where Variable_name regexp 'Com_insert|Com_update|Com_delete|Com_select|Questions|Queries';

+-------------------------+-----------+

| Variable_name           | Value     |

+-------------------------+-----------+

| Com_delete              | 2091033   |

| Com_delete_multi        | 0         |

| Com_insert              | 8837007   |

| Com_insert_select       | 0         |

| Com_select              | 226099709 |

| Com_update              | 24218879  |

| Com_update_multi        | 0         |

| Empty_queries           | 25455182  |

| Qcache_queries_in_cache | 0         |

| Queries                 | 704921835 |

| Questions               | 461095549 |

| Slow_queries            | 107       |

+-------------------------+-----------+

这些指标都是 Counter 型。Com_ 是 Command 的前缀，即各类命令的执行次数。 整体吞吐量主要是看 Questions 指标，但Questions 很容易和它上面的Queries混淆。从例子里我们可以明显看出 Questions 的数量比 Queries 少。Questions 表示客户端发给 MySQL 的语句数量，而Queries还会包含在存储过程中执行的语句，以及 PREPARE 这种准备语句，所以监控整体吞吐一般是看 Questions。

流量方面的指标，一般我们会统计写数量（Com_insert + Com_update + Com_delete）、读数量（Com_select）、语句总量（Questions）。

错误

错误量这类指标有多个应用场景，比如客户端连接 MySQL 失败了，或者语句发给 MySQL，执行的时候失败了，都需要有失败计数。典型的采集手段有两种。

在客户端采集、埋点，不管MySQL问题 or 网络问题或中间负载均衡问题或DNS解析问题，只要连接失败，都能发现。但有代码侵入性。

从 MySQL 采集相关错误，如连接错误通过 Aborted_connects、Connection_errors_max_connections拿

show global status where Variable_name regexp 'Connection_errors_max_connections|Aborted_connects';

+-----------------------------------+--------+

| Variable_name                     | Value  |

+-----------------------------------+--------+

| Aborted_connects                  | 785546 |

| Connection_errors_max_connections | 0      |

+-----------------------------------+--------+

只要连接失败，不管啥原因，Aborted_connects 都 +1，而更常用的是 Connection_errors_max_connections ，表示超过了最大连接数，所以 MySQL 拒绝连接。MySQL默认最大连接数151，在现在这样硬件条件下，实在太小，因此出现这种情况的频率较高，要多关注，及时发现。

SHOW VARIABLES LIKE 'max_connections';

+-----------------+-------+

| Variable_name   | Value |

+-----------------+-------+

| max_connections | 151   |

+-----------------+-------+

可通过如下命令调整最大连接数：

SET GLOBAL max_connections = 2048;

虽可通过命令临时调整最大连接数，但一旦重启话就失效。为永久修改该配置，需调整 my.cnf 加一行：

max_connections = 2048

events_statements_summary_by_digest 表也能拿到错误数量。

SELECT schema_name

    , SUM(sum_errors) err_count

 FROM performance_schema.events_statements_summary_by_digest

WHERE schema_name IS NOT NULL

GROUP BY schema_name;

+--------------------+-----------+

| schema_name        | err_count |

+--------------------+-----------+

| employees          |         8 |

| performance_schema |         1 |

| sys                |         3 |

+--------------------+-----------+

饱和度

MySQL用什么指标反映资源有多“满”？先关注 MySQL 所在机器 CPU、内存、硬盘I/O、网络流量这些基础指标。

MySQL本身也有一些指标反映饱和度，如连接数，当前连接数（Threads_connected）除以最大连接数（max_connections）可得 连接数使用率，需重点监控的饱和度指标。

InnoDB Buffer pool 相关指标：

Buffer pool 的使用率

Buffer pool 的内存命中率

Buffer pool内存专门用来缓存 Table、Index 相关数据，提升查询性能。

查看Buffer pool相关指标：

MariaDB [(none)]> show global status like '%buffer%';

+---------------------------------------+--------------------------------------------------+

| Variable_name                         | Value                                            |

+---------------------------------------+--------------------------------------------------+

| Innodb_buffer_pool_dump_status        |                                                  |

| Innodb_buffer_pool_load_status        | Buffer pool(s) load completed at 220825 11:11:13 |

| Innodb_buffer_pool_resize_status      |                                                  |

| Innodb_buffer_pool_load_incomplete    | OFF                                              |

| Innodb_buffer_pool_pages_data         | 5837                                             |

| Innodb_buffer_pool_bytes_data         | 95633408                                         |

| Innodb_buffer_pool_pages_dirty        | 32                                               |

| Innodb_buffer_pool_bytes_dirty        | 524288                                           |

| Innodb_buffer_pool_pages_flushed      | 134640371                                        |

| Innodb_buffer_pool_pages_free         | 1036                                             |

| Innodb_buffer_pool_pages_misc         | 1318                                             |

| Innodb_buffer_pool_pages_total        | 8191                                             |

| Innodb_buffer_pool_read_ahead_rnd     | 0                                                |

| Innodb_buffer_pool_read_ahead         | 93316                                            |

| Innodb_buffer_pool_read_ahead_evicted | 203                                              |

| Innodb_buffer_pool_read_requests      | 8667876784                                       |

| Innodb_buffer_pool_reads              | 236654                                           |

| Innodb_buffer_pool_wait_free          | 5                                                |

| Innodb_buffer_pool_write_requests     | 533520851                                        |

+---------------------------------------+--------------------------------------------------+

Innodb_buffer_pool_pages_total ：InnoDB Buffer pool 页总量，页（page）是 Buffer pool 的一个分配单位，默认page size=16KiB，可通过 show variables like "innodb_page_size"看。

Innodb_buffer_pool_pages_free ：剩余页数量，通过 total 和 free 可得 used，used/total=使用率。使用率高不是说有问题，因为InnoDB有 LRU 缓存清理机制，只要响应够快，高使用率也不是问题。

Innodb_buffer_pool_read_requests 和 Innodb_buffer_pool_reads ：read_requests 表示向 Buffer pool 发起的查询总量，若Buffer pool缓存了相关数据直接返回，没有就得穿透内存去查询硬盘。

有多少请求满足不了，需查硬盘？得看 Innodb_buffer_pool_reads 指标统计数量。

reads指标 / read_requests = 穿透比例

比例越高，性能越差，可调整 Buffer pool 大小解决。

根据 Google 四个黄金指标方法论，梳理 MySQL 相关指标，这些指标大多可通过 global status 和 variables 拿到。performance schema、sys schema 相对难搞：

sys schema 需要较高版本才能支持

这两个 schema 的数据不太适合放到 metrics 库

常见做法通过一些偏全局统计指标，如Slow_queries，先发现问题，再通过这俩 schema 的数据分析细节。

不同的采集器采集的指标，命名方式会有差别，不过大同小异，关键理解思路、原理。

利用 Categraf 配置采集，演示整个过程。

2 采集配置

Categraf 针对 MySQL 的采集插件配置，在 conf/input.mysql/mysql.toml 里。我准备了一个配置样例，你可以参考。

[[instances]]

address = "127.0.0.1:3306"

username = "root"

password = "1234"

extra_status_metrics = true

extra_innodb_metrics = true

gather_processlist_processes_by_state = false

gather_processlist_processes_by_user = false

gather_schema_size = false

gather_table_size = false

gather_system_table_size = false

gather_slave_status = true

# # timeout

# timeout_seconds = 3

# labels = { instance="n9e-dev-mysql" }

最关键的配置是 数据库连接地址和认证信息，具体采集哪些由一堆开关控制。建议把

extra_status_metrics

extra_innodb_metrics

gather_slave_status

置true，其他都不太需采集。labels推荐加instance标签，给这数据库取表意性更强名称，收到告警消息可一眼知道是哪个数据库问题。instances部分是数组，若要监控多个数据库，就配置多个 instances。

Categraf作为采集探针，采集 MySQL 时，有两种方案：

2.1 中心化探测

找一台机器作为探针机器，部署一个单独 Categraf，只采集 MySQL 相关指标，同时采集所有的 MySQL 实例，即这个 Categraf 的 mysql.toml 中有很多 instances 配置段。

2.1.1 适用

MySQL 实例数量较少

云上 RDS 服务

相对不太方便做自动化，如新建一个MySQL，还需要到这个探针机器里配置相关的采集规则，麻烦。

2.2 分布式本地采集（推荐）

把 Categraf 部署到部署 MySQL 的那台机器上，让 Categraf 采集 127.0.0.1:3306 实例。

MySQL服务建议不要混部，一台宿主机就部署一个 MySQL，InnoDB Buffer pool设置大些，80%物理内存，性能杠杠。

DBA 管理 MySQL经常创建集群，通常沉淀一些自动化工具，在自动化工具里把部署 Categraf、配置 Categraf 的 mysql.toml 的逻辑都加上，一键搞定。监控只需读权限，建议为监控系统创建一个单独的数据库账号，统一账号、统一密码、统一授权，这样 mysql.toml 配置也一致。

采用这种部署方式一般就用机器名做标识，不太需单独instance标签。Categraf 内置一个 夜莺监控大盘，大盘变量使用机器名来做过滤。如用Grafana，去 Grafana 官网搜 Dashboard，大同小异。刚提到的那些关键指标最好都放Dashboard。

效果图：

3 业务指标

MySQL指标采集核心原理：连上MySQL执行一些 SQL，查询性能数据。

Categraf 内置一些查询 SQL，能否自定义SQL查询一些业务指标？如查询一下业务系统的用户量，把用户量作为指标上报到监控系统。可使用 Categraf 的 MySQL 采集插件实现，查看 mysql.toml 里的默认配置：

[[instances.queries]]

# 作为 metric name 的前缀

mesurement = "users"

# 查询返回的结果，可能有多列是数值，指定哪些列作为指标上报

metric_fields = [ "total" ]

#  查询返回的结果，可能有多列是字符串，指定哪些列作为标签上报

label_fields = [ "service" ]

# 指定某一列的内容作为 metric name 的后缀

field_to_append = ""

# 语句执行超时时间

timeout = "3s"

# 查询语句，连续三个单引号，和Python的三个单引号语义类似，里边内容就不用转义

request = '''

select 'n9e' as service, count(*) as total from n9e_v5.users

'''

自定义SQL的配置，想查询哪个数据库实例，就在对应 [[instances]] 下面增加 [[instances.queries]] 。

MySQL 相关的监控实践，包括性能监控和业务监控，核心就是上面我们说的这些内容，下面我们做一个总结。

4 总结

Google 四个黄金指标方法论指导MySQL 监控数据采集，从延迟、流量、错误、饱和度分别讲解了具体指标是什么及如何获取。

采集器部署还有一种就是容器环境 Sidecar 模式。因为生产环境里 MySQL 一般很少放容器，所以没提。

由于 MySQL 存储很多业务数据，是业务指标重要来源，通过自定义 SQL可以获取很多业务指标，推荐试用这种监控方式。

5 FAQ

MySQL的监控大盘已给出，一些关键指标也点出，告警规则怎么配置？常见的告警 PromQL 哪些？

对于MySQL监控大盘中的关键指标，我们可以根据业务需求设置相应的告警规则。一些常见的告警PromQL表达式如下：

监控服务器运行状态：如果服务器停止响应或CPU使用率超过阈值，则发出告警。

up == 0 or (100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)) > 90

监控MySQL数据库性能：例如，监听可用连接数是否已达到最大连接数并进行告警。

mysql_global_status_threads_connected / mysql_global_variables_max_connections * 100 > 80

监控MySQL数据库存储空间：配置阈值，并在使用率超过预设值后触发告警。

mysql_info_schema_data_length_bytes / mysql_info_schema_data_free_bytes * 100 > 80

除以上这些例子外，还可以根据具体业务情况自定义更多的告警规则。提示：为了实现更精细化的告警，建议对不同种类的监控数据，针对不同的告警级别进行区分，制定更加明确的告警策略。