Metricbeat:mysql module之query metricset介绍

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: Elastic官网对于mysql query metricset介绍很少,也没有介绍其用法,但是在基于ELK实现mysql性能监控中,query metricset又是明显支持的指标集。本着探索学习精神,通过查阅了不少资料后,今天我们就针对query metricset来详细介绍。

0. 引言

Elastic官网对于mysql query metricset介绍很少,也没有介绍其用法,但是在基于ELK实现mysql性能监控中,query metricset又是明显支持的指标集。本着探索学习精神,通过查阅了不少资料后,今天我们就针对query metricset来详细介绍。

1. query metricset使用场景

Elastic官网对于mysql query metricset介绍很少,只有一句总结性介绍,对于其用法也没有解释

query metricset allows for custom execution of metric related queries in MySQL
查询指标集允许在MySQL中自定义执行指标相关的查询

通俗来讲,就是允许你自定义查询sql,然后metricbeat会针对你自定义的这个sql进行监控,并且将监控的相关结果指标输出到你指定的es或者logstash中。并且会生成对应的索引数据,其对应的索引为metricbeat-+es 版本号,如metricbeat-7.13.0

我们可以利用ELK+Metricbeat实现对mysql性能指标的监控,其中针对mysql module的指标集有status、galera_status、performance、query。status为mysql状态相关指标、galera_status为mysql集群相关指标、performance为mysql性能相关指标,这三者我们已经在之前的博客中演示过他们的使用。

而query指标集就是我们自定义的查询的相关指标,下面我们详细介绍它的用法

2. query metricset使用方法

通过其定义我们可以知道query指标集要求了我们需要额外再声明我们自定义的查询语句。

使用query metricset的配置项由三部分组成:

  • metricsets中声明query
- module: mysql
  metricsets:
    - query
  • 声明命名空间namespace:相当于是给你的自定义查询起个名字
namespace: "my_namespace"
  • 声明queries属性
    queries属性中包含三个子属性:

(1)query: 自定义的查询语句
(2)query_namespace:该子查询的命名空间,自定义,用于后续在索引中定位
(3)response_format:响应格式:table或者variables
这里的使用规则,我参考了官方sql module的解释,但是因为无从考证,所以仅提供出来供大家参考

variables: Expects a two-column table that looks like a key/value result. The left column is considered a key and the right column the value. This mode generates a single event on each fetch operation.
variables: 期待一个两列的表格,看起来像一个键/值的结果。左栏被认为是键,右栏是值。这种模式在每次获取操作时都会产生一个单一的事件。
table: Expects any number of columns. This mode generates a single event for each row.
table: 期望有任何数量的列。这种模式为每一行生成一个事件

样例:

queries:
  - query: "select * from user_test.user"
    response_format: "table"
    query_namespace: "user query"
  - query: "select * from order_test.order"
    response_format: "variables"
    query_namespace: "order query"

总体案例如下

- module: mysql
  metricsets:
    - status
    - galera_status
    - performance
    - query
  period: 10s

  hosts: ["root:123456@tcp(127.0.0.1:3306)/"]
  # query metricsets 额外配置项
  namespace: "my_namespace"
  queries:
  - query: "select * from user_test.user"
    response_format: "table"
    query_namespace: "user query"
  - query: "select * from order_test.order"
    response_format: "table"
    query_namespace: "order query"
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
5月前
|
SQL 关系型数据库 MySQL
MySQL技能完整学习列表3、SQL语言基础——1、SQL(Structured Query Language)简介——2、基本SQL语句:SELECT、INSERT、UPDATE、DELETE
MySQL技能完整学习列表3、SQL语言基础——1、SQL(Structured Query Language)简介——2、基本SQL语句:SELECT、INSERT、UPDATE、DELETE
112 0
|
2月前
|
SQL 关系型数据库 MySQL
MySQL的match WITH QUERY EXPANSION 模式是什么?如何使用?
【8月更文挑战第29天】MySQL的match WITH QUERY EXPANSION 模式是什么?如何使用?
34 4
|
2月前
|
关系型数据库 MySQL Java
解决com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large
这篇文章提供了解决MySQL JDBC驱动中`com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large`错误的步骤,主要是通过增加配置文件中的`max_allowed_packet`参数值并重启服务来允许更大的数据包传输。
解决com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large
|
1月前
|
SQL 关系型数据库 MySQL
MySQL 的 WITH QUERY EXPANSION 如何使用举例
【9月更文挑战第2天】MySQL 的 WITH QUERY EXPANSION 如何使用举例
28 0
|
1月前
|
存储 关系型数据库 MySQL
MySQL MATCH 函数如何使用 WITH QUERY EXPANSION?
【9月更文挑战第2天】MySQL MATCH 函数如何使用 WITH QUERY EXPANSION?
30 0
|
3月前
|
DataWorks 监控 关系型数据库
利用 DataWorks 数据推送定期推播 MySQL 或 StarRocks Query 诊断信息
DataWorks 近期上线了数据推送功能,能够将数据库查询的数据组织后推送到各渠道 (如钉钉、飞书、企业微信及 Teams),除了能将业务数据组织后推送,也能将数据库自身提供的监控数据组织后推送,这边我们就以 MySQL (也适用于StarRocks) 为例,定期推播 MySQL 的数据量变化等信息,帮助用户掌握 MySQL 状态。
91 1
|
3月前
|
存储 大数据 数据库
MySQL设计规约问题之为什么要利用pt-query-digest定期分析slow query log并进行优化
MySQL设计规约问题之为什么要利用pt-query-digest定期分析slow query log并进行优化
|
3月前
|
SQL 关系型数据库 MySQL
[已解决]com.mysql.cj.jdbc.exceptions. PacketTooBigException: Packet for query is too large (3,456,888
[已解决]com.mysql.cj.jdbc.exceptions. PacketTooBigException: Packet for query is too large (3,456,888
22 0
|
11月前
|
关系型数据库 MySQL 数据库
解决Navicat报错:2013 - Lost connection to MySQL server during query
解决Navicat报错:2013 - Lost connection to MySQL server during query
817 0
|
5月前
|
监控 关系型数据库 MySQL
MetricBeat监控MySQL
MetricBeat监控MySQL
下一篇
无影云桌面