Metricbeat:mysql module之query metricset介绍

简介: Elastic官网对于mysql query metricset介绍很少,也没有介绍其用法,但是在基于ELK实现mysql性能监控中,query metricset又是明显支持的指标集。本着探索学习精神,通过查阅了不少资料后,今天我们就针对query metricset来详细介绍。

0. 引言

Elastic官网对于mysql query metricset介绍很少,也没有介绍其用法,但是在基于ELK实现mysql性能监控中,query metricset又是明显支持的指标集。本着探索学习精神,通过查阅了不少资料后,今天我们就针对query metricset来详细介绍。

1. query metricset使用场景

Elastic官网对于mysql query metricset介绍很少,只有一句总结性介绍,对于其用法也没有解释

query metricset allows for custom execution of metric related queries in MySQL
查询指标集允许在MySQL中自定义执行指标相关的查询

通俗来讲,就是允许你自定义查询sql,然后metricbeat会针对你自定义的这个sql进行监控,并且将监控的相关结果指标输出到你指定的es或者logstash中。并且会生成对应的索引数据,其对应的索引为metricbeat-+es 版本号,如metricbeat-7.13.0

我们可以利用ELK+Metricbeat实现对mysql性能指标的监控,其中针对mysql module的指标集有status、galera_status、performance、query。status为mysql状态相关指标、galera_status为mysql集群相关指标、performance为mysql性能相关指标,这三者我们已经在之前的博客中演示过他们的使用。

而query指标集就是我们自定义的查询的相关指标,下面我们详细介绍它的用法

2. query metricset使用方法

通过其定义我们可以知道query指标集要求了我们需要额外再声明我们自定义的查询语句。

使用query metricset的配置项由三部分组成:

  • metricsets中声明query
- module: mysql
  metricsets:
    - query
  • 声明命名空间namespace:相当于是给你的自定义查询起个名字
namespace: "my_namespace"
  • 声明queries属性
    queries属性中包含三个子属性:

(1)query: 自定义的查询语句
(2)query_namespace:该子查询的命名空间,自定义,用于后续在索引中定位
(3)response_format:响应格式:table或者variables
这里的使用规则,我参考了官方sql module的解释,但是因为无从考证,所以仅提供出来供大家参考

variables: Expects a two-column table that looks like a key/value result. The left column is considered a key and the right column the value. This mode generates a single event on each fetch operation.
variables: 期待一个两列的表格,看起来像一个键/值的结果。左栏被认为是键,右栏是值。这种模式在每次获取操作时都会产生一个单一的事件。
table: Expects any number of columns. This mode generates a single event for each row.
table: 期望有任何数量的列。这种模式为每一行生成一个事件

样例:

queries:
  - query: "select * from user_test.user"
    response_format: "table"
    query_namespace: "user query"
  - query: "select * from order_test.order"
    response_format: "variables"
    query_namespace: "order query"

总体案例如下

- module: mysql
  metricsets:
    - status
    - galera_status
    - performance
    - query
  period: 10s

  hosts: ["root:123456@tcp(127.0.0.1:3306)/"]
  # query metricsets 额外配置项
  namespace: "my_namespace"
  queries:
  - query: "select * from user_test.user"
    response_format: "table"
    query_namespace: "user query"
  - query: "select * from order_test.order"
    response_format: "table"
    query_namespace: "order query"
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
SQL 关系型数据库 MySQL
MySQL技能完整学习列表3、SQL语言基础——1、SQL(Structured Query Language)简介——2、基本SQL语句:SELECT、INSERT、UPDATE、DELETE
MySQL技能完整学习列表3、SQL语言基础——1、SQL(Structured Query Language)简介——2、基本SQL语句:SELECT、INSERT、UPDATE、DELETE
323 0
|
SQL 关系型数据库 MySQL
MySQL的match WITH QUERY EXPANSION 模式是什么?如何使用?
【8月更文挑战第29天】MySQL的match WITH QUERY EXPANSION 模式是什么?如何使用?
239 5
|
关系型数据库 MySQL 数据库
解决Navicat报错:2013 - Lost connection to MySQL server during query
解决Navicat报错:2013 - Lost connection to MySQL server during query
3157 0
|
关系型数据库 MySQL Java
解决com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large
这篇文章提供了解决MySQL JDBC驱动中`com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large`错误的步骤,主要是通过增加配置文件中的`max_allowed_packet`参数值并重启服务来允许更大的数据包传输。
解决com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large
|
DataWorks 监控 关系型数据库
利用 DataWorks 数据推送定期推播 MySQL 或 StarRocks Query 诊断信息
DataWorks 近期上线了数据推送功能,能够将数据库查询的数据组织后推送到各渠道 (如钉钉、飞书、企业微信及 Teams),除了能将业务数据组织后推送,也能将数据库自身提供的监控数据组织后推送,这边我们就以 MySQL (也适用于StarRocks) 为例,定期推播 MySQL 的数据量变化等信息,帮助用户掌握 MySQL 状态。
331 1
|
SQL 关系型数据库 MySQL
MySQL 的 WITH QUERY EXPANSION 如何使用举例
【9月更文挑战第2天】MySQL 的 WITH QUERY EXPANSION 如何使用举例
217 0
|
存储 关系型数据库 MySQL
MySQL MATCH 函数如何使用 WITH QUERY EXPANSION?
【9月更文挑战第2天】MySQL MATCH 函数如何使用 WITH QUERY EXPANSION?
233 0
|
存储 大数据 数据库
MySQL设计规约问题之为什么要利用pt-query-digest定期分析slow query log并进行优化
MySQL设计规约问题之为什么要利用pt-query-digest定期分析slow query log并进行优化
|
SQL 关系型数据库 MySQL
[已解决]com.mysql.cj.jdbc.exceptions. PacketTooBigException: Packet for query is too large (3,456,888
[已解决]com.mysql.cj.jdbc.exceptions. PacketTooBigException: Packet for query is too large (3,456,888
377 0
|
监控 关系型数据库 MySQL
MetricBeat监控MySQL
MetricBeat监控MySQL

推荐镜像

更多