配置logstash从redis读取filebeat收集的日志（上）

2022-04-15 851

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

Redis 开源版，标准版 2GB

检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月

云数据库 Tair（兼容Redis），内存型 2GB

简介： logstash读取redis缓存日志1.logstash从redis读取收集日志原理常规的日志收集方式都是由filebeat收集完直接输出给es集群，如果当后端应用访问量大，产生的日志也特别巨大，这时再由filebeat收集日志直接传输给es，会给es带来特别大的压力，如果es这时挂掉，filebeat依然在收集日志，这时filebeat找不到es集群，则会把收集来的日志丢弃

logstash读取redis缓存日志

1.logstash从redis读取收集日志原理

常规的日志收集方式都是由filebeat收集完直接输出给es集群，如果当后端应用访问量大，产生的日志也特别巨大，这时再由filebeat收集日志直接传输给es，会给es带来特别大的压力，如果es这时挂掉，filebeat依然在收集日志，这时filebeat找不到es集群，则会把收集来的日志丢弃

针对日志量大的问题可以在es集群前面增加redis和logstash，filebeat收集完日志交给redis，由logstash从redis中读取收集来的日志数据传输给es集群，最终在kibana上进行展示

logstash只需要部署一台即可，只是用于将redis收集来的日志传输给es集群

由于redis属于缓存数据库，当logstash把数据从redis上取完后，会自动把key删掉

logstash并不是读完redis中所有的数据后直接传输给es，而是读完一条redis的数据后，就往es上存储一条，这样就不会减轻es集群的压力

环境准备

2.配置filebeat收集日志存储到redis

2.1.部署redis

1.安装redis（epel源中有redis的rpm包）
[root@node-2 ~]# yum -y install redis
2.启动redis
[root@node-2 ~]# systemctl start redis
[root@node-2 ~]# systemctl enable redis
3.查看端口号
[root@node-2 ~]# netstat -lnpt | grep redis
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      94345/redis-server
4.登陆redis
[root@node-2 ~]# redis-cli
127.0.0.1:6379> 
5.配置redis允许任何主机访问
[root@node-2 /etc/filebeat]# vim /etc/redis.conf 
bind 0.0.0.0
[root@node-2 /etc/filebeat]# systemctl restart redis

2.2.redis基本操作

1.设置一个key
127.0.0.1:6379>set key 
OK
2.查看一个key
127.0.0.1:6379> keys *
1) "key"
3.查看key类型
127.0.0.1:6379> type test
none
4.查看数据
127.0.0.1:6379> LRANGE test 0 -1
(empty list or set)

2.3.配置filebeat将收集的日志存储到redis

inputs还是一致的，只是outpot换成了redis

配置语法：

output.redis:

hosts: [“192.168.81.220:6379”] #redis地址

key: “nginx-www” #存储的库名

db: 0

timeout: 5

收集前要确保nginx应用的日志输出为json格式，在使用ab命令生成日志

1.配置filebeat
[root@nginx ~]# !vim /etc/filebeat/filebeat.yml 
#定义收集什么日志
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/www_access.log
  json.keys_under_root: true
  json.overwrite_keys: true
#定义modules模块路径
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
#指定kibana地址
setup.kibana:
  host: "192.168.81.210:5601"
#定义redis集群地址以及定义索引名
output.redis:
  hosts: ["192.168.81.220:6379"]          #redis地址
  key: "nginx-www"                #存储的库名
  db: 0
  timeout: 5
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
2.重启filebeat
[root@nginx ~]# systemctl restart filebeat

2.4.查看redis是否创建了nginx-www

由于我们nginx的日志是中文的，因此在使用redis-cli时要增加raw参数，否则看到的都是乱码

[root@node-2 ~]# redis-cli --raw
127.0.0.1:6379> KEYS *
1) "key"
2) "nginx-www"
127.0.0.1:6379> TYPE nginx-www
list
127.0.0.1:6379> LRANGE nginx-www 0 -1

已经有nginx-www key了，并且数据也都是刚刚filebeat传输过来的nginx 日志

解析正常

3.配置logstash读取redis日志并存储到es集群

3.1.安装logstash

1.下载logstash
https://repo.huaweicloud.com/logstash/6.6.0/logstash-6.6.0.rpm
2.安装logstash
[root@elasticsearch ~/soft]# rpm -ivh logstash-6.6.0.rpm 
警告：logstash-6.6.0.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID d88e42b4: NOKEY
准备中...                          ################################# [100%]
正在升级/安装...
   1:logstash-1:6.6.0-1               ################################# [100%]
Using provided startup.options file: /etc/logstash/startup.options
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Successfully created system startup script for Logstash

3.2.配置logstash读取redis缓存的日志

配置文件含义

input { //从哪里读取数据

redis { //数据源是从redis读取

host => “192.168.81.220” //redis地址

port => “6379” //redis端口

db => “0”

key => “nginx-www” //从哪个key读取数据

data_type => “list” //key的类型

}

output { //存储到哪

stdout{}

elasticsearch { //存储到es

hosts => “http://192.168.81.210:9200” //es地址

manage_template => false

index => “nginx-www-access-%{+yyyy.MM.dd}” //索引名

}

1.配置logstash
[root@elasticsearch ~]# vim /etc/logstash/conf.d/redis.conf 
input {                 
  redis {
    host => "192.168.81.220"
    port => "6379"
    db => "0"
    key => "nginx-www"
    data_type => "list"
  }
}
output {
    stdout{}
    elasticsearch {
      hosts => "http://192.168.81.210:9200"
      manage_template => false
      index => "nginx-www-access-%{+yyyy.MM.dd}"
    }
}
2.启动logstash
[root@elasticsearch ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf

启动成功会输出很多读取来的日志内容，最好用nohup来启动，启动过程特别耗时间

nohup /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf &

每次收集过来的日志都会输出在大屏上个，用了nohup后会输出到nohup.out文件，还是比较方便的

3.3.查看es索引库数据

收集过来23条

3.4.kibana关联es索引库并查看收集的日志

3.4.1.关联es索引库

3.4.2.查看收集来的日志数据

点击Discovery—选择索引

字段也都是可以过滤匹配的

4.filebeat收集多个日志存储到redis并自定义key

4之前都是一台机器上的所有日志都存储到redis的一个key中，显然有点不合理，因此需要针对每一个收集的日志文件让其存储到不同的key中。

配置和存储到es集群差不多，不同日志存储到redis不同key，其实思路和存储到es是一样的，做一个tag标签，当tag值为xxx就创建xxx的key

  keys:
    - key: "www"                  //当tags为www就创建www的key
      when.contains:
        tags: "www"
    - key: "bbs"
      when.contains:
        tags: "bbs"

4.1.配置filebeat收集日志并自定义redis key

[root@nginx ~]# vim /etc/filebeat/filebeat.yml 
#定义收集什么日志
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/www_access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["nginx-www"]
- type: log
  enabled: true
  paths:
    - /var/log/nginx/bbs_access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["nginx-bbs"]
#定义modules模块路径
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
#指定kibana地址
setup.kibana:
  host: "192.168.81.210:5601"
#定义redis集群地址以及定义索引名
output.redis:
  hosts: ["192.168.81.220:6379"]
  #key: "nginx-www"
  keys:
    - key: "nginx-www"
      when.contains:
        tags: "nginx-www"
    - key: "nginx-bbs"
      when.contains:
        tags: "nginx-bbs"
  db: 0
  timeout: 5
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
[root@nginx ~]# systemctl restart filebeat

4.2.产生日志并查看redis上的key

1.产生日志
[root@elasticsearch ~]# ab -c 100 -n 2000 http://www.jiangxl.com/
[root@elasticsearch ~]# ab -c 100 -n 2000 http://bbs.jiangxl.com/
2.查看redis上生成的key
127.0.0.1:6379> keys *
1) "nginx-bbs"
2) "filebeat"
3) "nginx-www"
127.0.0.1:6379> LLEN nginx-bbs            #查key里面有多少条数据
2000
127.0.0.1:6379> LLEN nginx-www
2000

5.配置logstash自定义es索引

5.1.配置logstash指定不同的索引存储库

语法格式：

if “nginx-www” in [tags] { //当标签为nginx-www时，就创建nginx-www-access索引库，如果要写多组自定义索引就填写几个if即可

stdout{}

elasticsearch {undefined

hosts => “http://192.168.81.210:9200”

manage_template => false

index => “nginx-www-access-%{+yyyy.MM.dd}”

}

input {
  redis {
    host => "192.168.81.220"
    port => "6379"
    db => "0" 
    key => "nginx-www"
    data_type => "list"
  }
  redis {
    host => "192.168.81.220"
    port => "6379"
    db => "0" 
    key => "nginx-bbs"
    data_type => "list"
  }
}
output {
  if "nginx-www" in [tags] {
    stdout{}
    elasticsearch {
      hosts => "http://192.168.81.210:9200"
      manage_template => false
      index => "nginx-www-access-%{+yyyy.MM.dd}"
    }   
  }
  if "nginx-bbs" in [tags] {
    stdout{}
    elasticsearch {
      hosts => "http://192.168.81.210:9200"
      manage_template => false
      index => "nginx-bbs-access-%{+yyyy.MM.dd}"
    }   
  }
}

5.2.重载logstash并查看收集输出

[root@elasticsearch ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf

logstash并不是全部收集完在传输给es集群，而是收集过来一条就传输给es一条，这样一样就减轻了es的压力

5.3.观察redis key变化

127.0.0.1:6379> LLEN nginx-www
0
127.0.0.1:6379> LLEN nginx-bbs
0

5.4.查看es上的是否创建索引

5.5.在kibana上关联es索引

nginx-www-access索引

nginx-bbs-access索引

5.5.查看日志数据

nginx-www-access索引

nginx-bbs-access索引

6.故障排查

6.1.logstash启动不成功

启动提示如下，一直不动

OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N

[root@elasticsearch ~]# vim /etc/logstash/jvm.options 
-Xms256m
-Xmx256m
-XX:-AssumeMP
配置完重启即可

配置logstash从redis读取filebeat收集的日志（上）

logstash读取redis缓存日志

1.logstash从redis读取收集日志原理

2.配置filebeat收集日志存储到redis

2.1.部署redis

2.2.redis基本操作

2.3.配置filebeat将收集的日志存储到redis

2.4.查看redis是否创建了nginx-www

3.配置logstash读取redis日志并存储到es集群

3.1.安装logstash

3.2.配置logstash读取redis缓存的日志

3.3.查看es索引库数据

3.4.kibana关联es索引库并查看收集的日志

3.4.1.关联es索引库

3.4.2.查看收集来的日志数据

4.filebeat收集多个日志存储到redis并自定义key

4.1.配置filebeat收集日志并自定义redis key

4.2.产生日志并查看redis上的key

5.配置logstash自定义es索引

5.1.配置logstash指定不同的索引存储库

5.2.重载logstash并查看收集输出

5.3.观察redis key变化

5.4.查看es上的是否创建索引

5.5.在kibana上关联es索引

5.5.查看日志数据

6.故障排查

6.1.logstash启动不成功

热门文章

最新文章

相关课程

相关电子书

相关实验场景

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

配置logstash从redis读取filebeat收集的日志（上）

logstash读取redis缓存日志

1.logstash从redis读取收集日志原理

2.配置filebeat收集日志存储到redis

2.1.部署redis

2.2.redis基本操作

2.3.配置filebeat将收集的日志存储到redis

2.4.查看redis是否创建了nginx-www

3.配置logstash读取redis日志并存储到es集群

3.1.安装logstash

3.2.配置logstash读取redis缓存的日志

3.3.查看es索引库数据

3.4.kibana关联es索引库并查看收集的日志

3.4.1.关联es索引库

3.4.2.查看收集来的日志数据

4.filebeat收集多个日志存储到redis并自定义key

4.1.配置filebeat收集日志并自定义redis key

4.2.产生日志并查看redis上的key

5.配置logstash自定义es索引

5.1.配置logstash指定不同的索引存储库

5.2.重载logstash并查看收集输出

5.3.观察redis key变化

5.4.查看es上的是否创建索引

5.5.在kibana上关联es索引

5.5.查看日志数据

6.故障排查

6.1.logstash启动不成功

热门文章

最新文章

相关课程

相关电子书

相关实验场景