Filebeat限制采集的日志大小实际应用验证

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: Filebeat限制采集的日志大小实际应用验证

本文是根据上一篇文章拓展的,观看时请结合上一篇文章:容器部署企业级日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)


- 验证1:


  当我们的Nginx日志文件大小超过在filebeat.yml文件中限制的日志大小时,Filebeat在采集时是不会采集超过限制大小的日志的。


准备Nginx日志

[root@es-master21 ~]# ll -h /var/log/nginx/
总用量 69M
-rwxr-xr-x. 1 root root  68M 12月 13 15:15 access.log
-rwxr-xr-x. 1 root root 1.8M 12月  7 23:09 error.log

可以看到目前 /var/log/nginx/ 目录下的 access.log 日志文件大小是68M,而 error.log 日志文件大小是1.8M。


搭建Filebeat


注意:


  Filebeat要采集的日志目录必须挂载至Filebeat容器中,不然可能无法正常采集。

[root@es-master21 ~]# mkdir -p /mnt/filebeat/
[root@es-master21 ~]# cd /mnt/
[root@es-master21 mnt]# vim docker-compose.yml
  ......
  ......
    filebeat:
    image: store/elastic/filebeat:7.10.1   #镜像依然选择与elk的版本一致
    container_name: filebeat
    restart: always
    volumes:
      - /var/log/nginx/:/var/log/nginx      #filebeat需要采集的nginx日志目录(必须要挂载至容器中)
      - /mnt/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro    #filebeat的配置文件
      - /etc/localtime:/etc/localtime

编写filebeat.yml文件

[root@es-master21 mnt]# cd filebeat/
[root@es-master21 filebeat]# vim filebeat.yml   (使用时删除文件中带#的配置项,不然yml文件格式不对) 
filebeat.inputs:         #inputs为复数,表名type可以有多个
- type: log         #输入类型
  access:
  enabled: true         #启用这个type配置
  max_bytes: 20480     #单条日志的大小限制,建议限制(默认为10M,上面的设置表示超过20M就不会采集了)
  paths:
    - /var/log/nginx/access.log     #监控nginx的access日志,建议采集日志时先采集单一nginx的access日志。
  fields:       #额外的字段(表示在filebeat收集Nginx的日志中多增加一个字段source,其值是nginx-access-21,用来在logstash的output输出到elasticsearch中判断日志的来源,从而建立相应的索引,也方便后期再Kibana中查看筛选数据,结尾有图)
    source: nginx-access-21    
- type: log
  access:
  enabled: true
  paths:
    - /var/log/nginx/error.log
  fields:
    source: nginx-error-21     #额外的字段(表示在filebeat收集Nginx的日志中多增加一个字段source,其值是nginx-error-21,用来在logstash的output输出到elasticsearch中判断日志的来源,从而建立相应的索引,也方便后期再Kibana中查看筛选数据,结尾有图)
setup.ilm.enabled: false
output.redis:       #输出到redis
  hosts: ["192.168.1.21:6379"]    #redis地址及端口
  password: "123456"           #redis密码
  db: 0               #redis的库
  key: "nginx_log"    #定义输入到redis的key名
[root@es-node22 mnt]# docker-compose -f docker-compose.yml up -d
[root@es-master21 mnt]# docker-compose ps
       Name                     Command               State                      Ports
---------------------------------------------------------------------------------------------------------
elasticsearch        /tini -- /usr/local/bin/do ...   Up      0.0.0.0:9200->9200/tcp,:::9200->9200/tcp,
                                                              0.0.0.0:9300->9300/tcp,:::9300->9300/tcp
elasticsearch-head   /bin/sh -c grunt server          Up      0.0.0.0:9100->9100/tcp,:::9100->9100/tcp
filebeat             /usr/local/bin/docker-entr ...   Up
kibana               /usr/local/bin/dumb-init - ...   Up      0.0.0.0:5601->5601/tcp,:::5601->5601/tcp
logstash             /usr/local/bin/docker-entr ...   Up      0.0.0.0:5044->5044/tcp,:::5044->5044/tcp,
                                                              9600/tcp
redis                docker-entrypoint.sh redis ...   Up      0.0.0.0:6379->6379/tcp,:::6379->6379/tcp

注意:


  由于我们在filebeat.yml文件中限制了Filebeat要采集的日志大小最大不超过20M,所以在Filebeat采集日志时是不会采集access.log日志的。


验证1:


1.查看error.log日志文件行数

[root@es-master21 mnt]# cat /var/log/nginx/error.log | wc -l
7166

2.查看Redis中由Filebeat采集后写进来的nginx日志数据

[root@es-master21 mnt]# docker exec -it redis bash
root@d5a4be90c7f6:/# redis-cli -h 192.168.1.21
192.168.1.21:6379> AUTH 123456
OK
192.168.1.21:6379> SELECT 0
OK
192.168.1.21:6379> KEYS *     #创建的key为nginx_log
1) "nginx_log"
192.168.1.21:6379> LLEN nginx_log
(integer) 7166             #可以看到redis的nginx_log中有7166条数据未被消费

  可以看到在Redis中只有7167条数据被写入,说明Filebeat只采集了error.log的日志数据。


3.查看Logstash日志,输出从Redis消费并处理的日志数据

[root@es-master21 mnt]# docker-compose logs -f logstash
...
...
logstash              |        "message" => 2021/10/21 15:27:19 [error] 27216#0: *357254 open() "/usr/local/nginx/html/dist/.well-known/security.txt" failed (2: No such file or directory), client: 11.64.24.136, server: localhost, request: "GET /.well-known/security.txt HTTP/1.1", host: "32.91.142.93", referrer: "http://32.91.142.93/.well-known/security.txt"
logstash              | }
logstash              | {
logstash              |            "log" => {
logstash              |           "file" => {
logstash              |             "path" => "/var/log/nginx/error.log"      #可以看到采集的日志为error.log
logstash              |         },
logstash              |         "offset" => 1863165
logstash              |     },
logstash              |     "@timestamp" => 2021-12-27T09:22:37.192Z,
logstash              |           "host" => {
logstash              |         "name" => "7fddb131a96b"
logstash              |     },
logstash              |         "fields" => {
logstash              |         "source" => "nginx-error-21"
logstash              |     },
logstash              |       "@version" => "1",
logstash              |          "input" => {
logstash              |         "type" => "log"
logstash              |     },
logstash              |            "ecs" => {
logstash              |         "version" => "1.6.0"
logstash              |     },
logstash              |          "agent" => {
logstash              |             "hostname" => "7fddb131a96b",
logstash              |              "version" => "7.10.1",
logstash              |                 "name" => "7fddb131a96b",
logstash              |                   "id" => "95b7e319-228c-4eed-b9c8-26fad0c59d3b",
logstash              |                 "type" => "filebeat",
logstash              |         "ephemeral_id" => "76ec6bc4-39e9-4364-94fb-20f0a7f49122"
logstash              |     },
......
......

4.查看Elasticsearch集群中由Logstash写入了多少条日志数据

1.png2.png

5.访问Kibana并创建索引模式,展示ES中的Nginx日志数据

3.png4.png

结论:


  当我们的Nginx日志文件大小超过在filebeat.yml文件中限制的日志最大值时,Filebeat在采集日志时是不会采集超过限制大小的日志文件的。


- 验证2:


  将Nginx的access.log日志切割一部分,让其小于filebeat.yml文件中限制的20M,再验证采集结果。


1.切割access.log日志文件


  由于是测试,我就直接将access.log日志备份后删除部分内容,让其小于20M。(推荐用脚本和信号对Nginx日志进行自动切割)

[root@es-master21 mnt]# ll -h /var/log/nginx/
总用量 19M
-rwxr-xr-x. 1 root root  17M 12月 30 09:09 access.log
-rwxr-xr-x. 1 root root 1.8M 12月 30 08:58 error.log

2.查看Logstash日志,输出从Redis消费并处理的日志数据

[root@es-master21 mnt]# docker-compose logs -f logstash
...
...
logstash              |        "message" => "42.75.14.10 - - [06/Aug/2021:07:16:41 +0800] \"HEAD /\\xD7\\xEE\\xD0\\xC2.txt HTTP/1.1\" 301 0 \"-\" \"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)\""
logstash              | }
logstash              | {
logstash              |            "log" => {
logstash              |           "file" => {
logstash              |             "path" => "/var/log/nginx/access.log"
logstash              |         },
logstash              |         "offset" => 61173368
logstash              |     },
logstash              |     "@timestamp" => 2021-12-30T01:08:23.839Z,
logstash              |           "host" => {
logstash              |         "name" => "7fddb131a96b"
logstash              |     },
logstash              |         "fields" => {
logstash              |         "source" => "nginx-access-21"
logstash              |     },
logstash              |       "@version" => "1",
logstash              |          "input" => {
logstash              |         "type" => "log"
logstash              |     },
logstash              |          "agent" => {
logstash              |             "hostname" => "7fddb131a96b",
logstash              |              "version" => "7.10.1",
logstash              |                 "name" => "7fddb131a96b",
logstash              |                   "id" => "95b7e319-228c-4eed-b9c8-26fad0c59d3b",
logstash              |                 "type" => "filebeat",
logstash              |         "ephemeral_id" => "2d9ae3f6-e506-4332-a986-dff8b4aa5e47"
logstash              |     },
logstash              |            "ecs" => {
logstash              |         "version" => "1.6.0"
logstash              |     },

3.查看Elasticsearch集群中由Logstash写入了多少条日志数据

5.png

4.访问Kibana并创建索引模式,展示ES中的Nginx日志数据

6.png7.png结论:


  在我们将Nginx的access.log日志切割一部分,让其小于filebeat.yml文件中限制的20M后,Filebeat马上就开始采集并写入Redis中供Logstash消费,然后再写入ES集群中,最后由Kibana展示出来。


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
6天前
|
存储 运维 监控
【Flume】flume 日志管理中的应用
【4月更文挑战第4天】【Flume】flume 日志管理中的应用
|
6天前
|
监控 Serverless 数据库
Serverless 应用引擎常见问题之biphon-education-配置了SLS后一直重启如何解决
Serverless 应用引擎(Serverless Application Engine, SAE)是一种完全托管的应用平台,它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总:
31 5
|
6天前
|
运维 监控 数据挖掘
应用研发平台EMAS产品常见问题之将阿里后台的日志落到我们后台失败如何解决
应用研发平台EMAS(Enterprise Mobile Application Service)是阿里云提供的一个全栈移动应用开发平台,集成了应用开发、测试、部署、监控和运营服务;本合集旨在总结EMAS产品在应用开发和运维过程中的常见问题及解决方案,助力开发者和企业高效解决技术难题,加速移动应用的上线和稳定运行。
|
6天前
|
存储 JSON 监控
可以通过配置Filebeat来将Higress日志持久化到磁盘
【2月更文挑战第10天】可以通过配置Filebeat来将Higress日志持久化到磁盘
35 4
|
6天前
|
Web App开发 前端开发 JavaScript
乱花渐欲迷人眼 - 让 SAP UI5 应用的日志输出不再素面朝天
乱花渐欲迷人眼 - 让 SAP UI5 应用的日志输出不再素面朝天
54 0
|
6天前
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
237 1
|
6天前
让 SAP UI5 应用的日志打印变得五彩缤纷试读版
让 SAP UI5 应用的日志打印变得五彩缤纷试读版
99 2
|
6天前
|
监控 安全 数据可视化
中间件应用日志记录和监控
【5月更文挑战第1天】中间件应用日志记录和监控
24 3
中间件应用日志记录和监控
|
6天前
|
Dubbo Java Serverless
Serverless 应用引擎操作报错合集之Nacos中nacos启动正常,访问白页,启动日志显示正常如何解决
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
26 0
Serverless 应用引擎操作报错合集之Nacos中nacos启动正常,访问白页,启动日志显示正常如何解决
|
6天前
|
监控 JavaScript Java

热门文章

最新文章