EFK环境收集MySQL慢日志

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
简介: EFK环境收集MySQL慢日志

本文通过EFK(Elasticsearch、Fluentd、Kibana)来收集MySQL慢日志,当前系统环境基于Centos7,MySQL基于wlnmp一键包安装。本文由吴昊博客全网首发。

注意文中软件版本,版本不同可能会影响最终结果,本文未在新版中进行测试。

1、安装Fluentd

方法一:使用官方推荐的安装方式

curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

方法二:直接下载rpm包安装

wget https://s3.amazonaws.com/packages.treasuredata.com/3/redhat/7/x86_64/td-agent-3.8.1-0.el7.x86_64.rpm

yum install td-agent-3.8.1-0.el7.x86_64.rpm

2、修改fluentd启动用户

sed -i s#User=td-agent#User=root# /usr/lib/systemd/system/td-agent.service

sed -i s#Group=td-agent#Group=root# /usr/lib/systemd/system/td-agent.service

systemctl daemon-reload

3、安装fluent一些插件

安装mysql慢查询插件

td-agent-gem install fluent-plugin-mysqlslowquery

Fetching: myslog-0.1.1.gem (100%)

Successfully installed myslog-0.1.1

Fetching: fluent-plugin-mysqlslowquery-0.0.9.gem (100%)

Successfully installed fluent-plugin-mysqlslowquery-0.0.9

Parsing documentation for myslog-0.1.1

Installing ri documentation for myslog-0.1.1

Parsing documentation for fluent-plugin-mysqlslowquery-0.0.9

Installing ri documentation for fluent-plugin-mysqlslowquery-0.0.9

Done installing documentation for myslog, fluent-plugin-mysqlslowquery after 0 seconds

2 gems installed

安装elasticsearch插件

td-agent-gem install fluent-plugin-elasticsearch

Fetching: faraday-em_http-1.0.0.gem (100%)

Successfully installed faraday-em_http-1.0.0

Fetching: faraday-em_synchrony-1.0.0.gem (100%)

Successfully installed faraday-em_synchrony-1.0.0

Fetching: faraday-excon-1.1.0.gem (100%)

Successfully installed faraday-excon-1.1.0

Fetching: faraday-httpclient-1.0.1.gem (100%)

Successfully installed faraday-httpclient-1.0.1

Fetching: faraday-multipart-1.0.4.gem (100%)

Successfully installed faraday-multipart-1.0.4

Fetching: faraday-net_http-1.0.1.gem (100%)

Successfully installed faraday-net_http-1.0.1

Fetching: faraday-net_http_persistent-1.2.0.gem (100%)

Successfully installed faraday-net_http_persistent-1.2.0

Fetching: faraday-patron-1.0.0.gem (100%)

Successfully installed faraday-patron-1.0.0

Fetching: faraday-rack-1.0.0.gem (100%)

Successfully installed faraday-rack-1.0.0

Fetching: faraday-retry-1.0.3.gem (100%)

Successfully installed faraday-retry-1.0.3

Fetching: ruby2_keywords-0.0.5.gem (100%)

Successfully installed ruby2_keywords-0.0.5

Fetching: faraday-1.10.2.gem (100%)

Successfully installed faraday-1.10.2

Fetching: fluent-plugin-elasticsearch-5.2.4.gem (100%)

Successfully installed fluent-plugin-elasticsearch-5.2.4

Parsing documentation for faraday-em_http-1.0.0

Installing ri documentation for faraday-em_http-1.0.0

Parsing documentation for faraday-em_synchrony-1.0.0

Installing ri documentation for faraday-em_synchrony-1.0.0

Parsing documentation for faraday-excon-1.1.0

Installing ri documentation for faraday-excon-1.1.0

Parsing documentation for faraday-httpclient-1.0.1

Installing ri documentation for faraday-httpclient-1.0.1

Parsing documentation for faraday-multipart-1.0.4

Installing ri documentation for faraday-multipart-1.0.4

Parsing documentation for faraday-net_http-1.0.1

Installing ri documentation for faraday-net_http-1.0.1

Parsing documentation for faraday-net_http_persistent-1.2.0

Installing ri documentation for faraday-net_http_persistent-1.2.0

Parsing documentation for faraday-patron-1.0.0

Installing ri documentation for faraday-patron-1.0.0

Parsing documentation for faraday-rack-1.0.0

Installing ri documentation for faraday-rack-1.0.0

Parsing documentation for faraday-retry-1.0.3

Installing ri documentation for faraday-retry-1.0.3

Parsing documentation for ruby2_keywords-0.0.5

Installing ri documentation for ruby2_keywords-0.0.5

Parsing documentation for faraday-1.10.2

Installing ri documentation for faraday-1.10.2

Parsing documentation for fluent-plugin-elasticsearch-5.2.4

Installing ri documentation for fluent-plugin-elasticsearch-5.2.4

Done installing documentation for faraday-em_http, faraday-em_synchrony, faraday-excon, faraday-httpclient, faraday-multipart, faraday-net_http, faraday-net_http_persistent, faraday-patron, faraday-rack, faraday-retry, ruby2_keywords, faraday, fluent-plugin-elasticsearch after 1 seconds

13 gems installed

4、配置fluentd

如果你是按照本文方式安装的fluentd,那么默认配置文件在/etc/td-agent/td-agent.conf

cp /etc/td-agent/td-agent.conf /etc/td-agent/td-agent.conf.bak

vi /etc/td-agent/td-agent.conf

将配置文件中原有内容替换成以下配置,/data/mysql/mysql_slow_query.log为mysql慢日志文件路径,es的IP地址按照实际情况进行配置。如果你的es有配置认证,可以增加user fluent和password mysecret两个参数。

<source>

 @type mysql_slow_query

 path /data/mysql/mysql_slow_query.log

 path_key file_path

 tag mysqld.slowlog

 pos_file /var/log/td-agent/mysql-slow.log.pos

 <parse>

    @type none

 </parse>

</source>


<match mysqld.slowlog>

 @type elasticsearch

 host IP

 port 9200

 logstash_format true

 logstash_prefix mysql_slow.${tag}

</match>

5、安装jdk

rpm -ivh https://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm

yum install jdk1.8

6、安装Elasticsearch

cd /usr/local/src

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.3.rpm

yum install elasticsearch-6.2.3.rpm

vi /etc/elasticsearch/elasticsearch.yml

#设置监听端口为9200,network.hos按需配置

http.port: 9200

network.host: 0.0.0.0

启动服务

/etc/init.d/elasticsearch start

7、安装Kibana

cd /usr/local/src

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.3-x86_64.rpm

yum install kibana-6.2.3-x86_64.rpm

vi /etc/kibana/kibana.yml

#默认监听端口5601

server.port: 5601

#监听IP地址,这里改成0.0.0.0,即监听所有IP

server.host: "0.0.0.0"

#elasticsearch的地址,如elasticsearch与kibana安装在不同服务器上,需要手动指定地址,按需配置

elasticsearch.url: "http://IP:9200"

启动服务

/etc/init.d/kibana start

8、安装MySQL

我这里MySQL通过wlnmp一键包进行安装的,如果你在前面添加的wlnmp源,那么此处可以不执行

rpm -ivh https://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm

yum install wmysql57

配置/etc/my.conf启动慢日志slow_query_log=on,并重启MySQL服务/etc/init.d/mysql restart

9、启动Fluentd

systemctl daemon-reload

/etc/init.d/td-agent start

注:如果第一次启动报错,可以再试一次

10、造一条慢日志数据

注:MySQL默认密码为空,见官方文档https://www.wlnmp.com/install

mysql -uroot -p

mysql> select sleep(5);

11、访问kibana

你可能不会马上看到一下页面,大概有1~5分钟的延迟

此时MySQL慢日志的数据已经对接进来了。

注:最可能遇到的情况就是在kibana中刷不出来信息,检查配置文件是否配置正常,版本是否与本文一致,如果全部配置正常的情况下,1~5分钟内就会刷新出数据。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
6天前
|
关系型数据库 MySQL Docker
docker环境下mysql镜像启动后权限更改问题的解决
在Docker环境下运行MySQL容器时,权限问题是一个常见的困扰。通过正确设置目录和文件的权限,可以确保MySQL容器顺利启动并正常运行。本文提供了多种解决方案,包括在主机上设置正确的权限、使用Dockerfile和Docker Compose进行配置、在容器启动后手动更改权限以及使用 `init`脚本自动更改权限。根据实际情况选择合适的方法,可以有效解决MySQL容器启动后的权限问题。希望本文对您在Docker环境下运行MySQL容器有所帮助。
14 1
|
29天前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1607 14
|
24天前
|
Arthas 监控 Java
JVM知识体系学习七:了解JVM常用命令行参数、GC日志详解、调优三大方面(JVM规划和预调优、优化JVM环境、JVM运行出现的各种问题)、Arthas
这篇文章全面介绍了JVM的命令行参数、GC日志分析以及性能调优的各个方面,包括监控工具使用和实际案例分析。
38 3
|
30天前
|
Oracle 关系型数据库 MySQL
Mysql(1)—简介及Windows环境下载安装
MySQL 是一个流行的关系型数据库管理系统(RDBMS),基于 SQL 进行操作。它由瑞典 MySQL AB 公司开发,后被 Sun Microsystems 收购,现为 Oracle 产品。MySQL 是最广泛使用的开源数据库之一,适用于 Web 应用程序、数据仓库和企业应用。
52 2
|
1月前
|
SQL 存储 关系型数据库
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
24 1
|
1月前
|
关系型数据库 MySQL 数据库
DZ社区 mysql日志清理 Discuz! X3.5数据库可以做定期常规清理的表
很多站长在网站日常维护中忽略了比较重要的一个环节,就是对于数据库的清理工作,造成数据库使用量增加必须多的原因一般有2个:后台站点功能开启了家园,此功能现在很少有论坛会用到,但是灌水机会灌入大量垃圾信息致使站长长时间未能发觉;再有就是程序默认的一些通知类表单会存放大量的、对于网站日常运行并无意义的通知信息。
53 2
|
16天前
|
存储 关系型数据库 MySQL
MySQL中的Redo Log、Undo Log和Binlog:深入解析
【10月更文挑战第21天】在数据库管理系统中,日志是保障数据一致性和完整性的关键机制。MySQL作为一种广泛使用的关系型数据库管理系统,提供了多种日志类型来满足不同的需求。本文将详细介绍MySQL中的Redo Log、Undo Log和Binlog,从背景、业务场景、功能、底层实现原理、使用措施等方面进行详细分析,并通过Java代码示例展示如何与这些日志进行交互。
23 0
|
2月前
|
NoSQL 关系型数据库 Redis
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
mall在linux环境下的部署(基于Docker容器),docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongodb、minio详细教程,拉取镜像、运行容器
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
|
1月前
|
数据可视化 关系型数据库 MySQL
【IDEA】配置mysql环境并创建mysql数据库
【IDEA】配置mysql环境并创建mysql数据库
72 0
|
2天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
64 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板