Filebeat配置顶级字段Logstash在output输出到Elasticsearch中的使用

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Filebeat配置顶级字段Logstash在output输出到Elasticsearch中的使用

本文是根据上一篇文章拓展的,观看时请结合上一篇文章:容器部署企业级日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)https://blog.csdn.net/qq_44895681/article/details/122115093?spm=1001.2014.3001.5501


编写filebeat.yml文件

[root@es-master21 mnt]# cd filebeat/
[root@es-master21 filebeat]# vim filebeat.yml   (使用时删除文件中带#的配置项,不然yml文件格式不对) 
filebeat.inputs:       #inputs为复数,表名type可以有多个
- type: log            #输入类型
  access:
  enabled: true        #启用这个type配置
  #max_bytes: 20480     #单条日志的大小限制,建议限制(默认为10M,上面的设置表示超过20M就不会采集了)
  paths:
    - /var/log/nginx/access.log  
  tags: ["nginx-access-log"]   
  fields:       #额外的字段(表示在filebeat收集Nginx的日志中多增加一个字段log_source,其值是nginx-access-21,用来在logstash的output输出到elasticsearch中判断日志的来源,从而建立相应的索引,也方便后期再Kibana中查看筛选数据)
    log_source: nginx-access-21    
  fields_under_root: true     #设置为true,表示上面新增的字段是顶级参数。
- type: log
  access:
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["nginx-error-log"]
  fields:
    log_source: nginx-error-21    #额外的字段(表示在filebeat收集Nginx的日志中多增加一个字段log_source,其值是nginx-error-21,用来在logstash的output输出到elasticsearch中判断日志的来源,从而建立相应的索引,也方便后期再Kibana中查看筛选数据,结尾有图)
  fields_under_root: true     #设置为true,表示上面新增的字段是顶级参数。
setup.ilm.enabled: false
output.redis:       #输出到redis
  hosts: ["192.168.1.21:6379"]    #redis地址及端口
  password: "123456"           #redis密码
  db: 0               #redis的库
  key: "nginx_log"    #定义输入到redis的key名
[root@es-node22 mnt]# docker-compose -f docker-compose.yml up -d

编写logstash.conf文件

[root@es-master21 mnt]# cd logstash/
[root@es-master21 logstash]# vim config/logstash.conf  (使用时删除文件中带#的配置项,不然yml文件格式不对)
input {
  redis {
    port => "6379"
    host => "192.168.1.21"
    password => "123456"
    data_type => "list"
    db => "0"
    key => "nginx_log"
  }
}
output {
  #根据redis键 messages_secure 对应的列表值中,每一行数据的其中一个参数来判断日志来源
  if [log_source] == 'access' {             #注意判断条件的写法
    elasticsearch {
      hosts => ["192.168.1.21:9200","192.168.1.22:9200","192.168.1.23:9200"]
      index => "nginx-access-%{+YYYY.MM.dd}"
      #user => "elastic"
      #password => "elastic123"
    }
  }
  if [log_source] == 'error' {             #注意判断条件的写法
    elasticsearch {
      hosts => ["192.168.1.21:9200","192.168.1.22:9200","192.168.1.23:9200"]
      index => "nginx-error-%{+YYYY.MM.dd}"
} 
[root@es-node22 mnt]# docker-compose -f docker-compose.yml up -d
[root@es-master21 mnt]# docker-compose ps
       Name                     Command               State                      Ports
---------------------------------------------------------------------------------------------------------
elasticsearch        /tini -- /usr/local/bin/do ...   Up      0.0.0.0:9200->9200/tcp,:::9200->9200/tcp,
                                                              0.0.0.0:9300->9300/tcp,:::9300->9300/tcp
elasticsearch-head   /bin/sh -c grunt server          Up      0.0.0.0:9100->9100/tcp,:::9100->9100/tcp
filebeat             /usr/local/bin/docker-entr ...   Up
kibana               /usr/local/bin/dumb-init - ...   Up      0.0.0.0:5601->5601/tcp,:::5601->5601/tcp
logstash             /usr/local/bin/docker-entr ...   Up      0.0.0.0:5044->5044/tcp,:::5044->5044/tcp,
                                                              9600/tcp
redis                docker-entrypoint.sh redis ...   Up      0.0.0.0:6379->6379/tcp,:::6379->6379/tcp

或者也可以根据filebeat.yml中配置的tags做判断

...
...
output {
 if "nginx-access-log" in [tags] {
    elasticsearch {
        hosts => [""192.168.1.21:9200","192.168.1.22:9200","192.168.1.23:9200"]
        index => "nginx-accesse-%{+YYYY.MM.dd}"
    }
  }
if "nginx-error-log" in [tags] {
    elasticsearch {
        hosts => [""192.168.1.21:9200","192.168.1.22:9200","192.168.1.23:9200"]
        index => "nginx-error-%{+YYYY.MM.dd}"
    }
  }
}

2.png3.png

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
21天前
|
存储 安全 数据管理
如何在 Rocky Linux 8 上安装和配置 Elasticsearch
本文详细介绍了在 Rocky Linux 8 上安装和配置 Elasticsearch 的步骤,包括添加仓库、安装 Elasticsearch、配置文件修改、设置内存和文件描述符、启动和验证 Elasticsearch,以及常见问题的解决方法。通过这些步骤,你可以快速搭建起这个强大的分布式搜索和分析引擎。
34 5
|
28天前
|
存储 监控 安全
|
2月前
|
运维 监控 数据可视化
大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试
大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试
67 1
|
3月前
|
NoSQL 关系型数据库 Redis
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
mall在linux环境下的部署(基于Docker容器),docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongodb、minio详细教程,拉取镜像、运行容器
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
|
4月前
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
222 3
|
4月前
|
存储 Ubuntu Oracle
在Ubuntu 14.04上安装和配置Elasticsearch的方法
在Ubuntu 14.04上安装和配置Elasticsearch的方法
47 0
|
4月前
|
存储 安全 Java
在CentOS 7上安装和配置Elasticsearch的方法
在CentOS 7上安装和配置Elasticsearch的方法
278 0
|
2月前
|
存储 JSON Java
elasticsearch学习一:了解 ES,版本之间的对应。安装elasticsearch,kibana,head插件、elasticsearch-ik分词器。
这篇文章是关于Elasticsearch的学习指南,包括了解Elasticsearch、版本对应、安装运行Elasticsearch和Kibana、安装head插件和elasticsearch-ik分词器的步骤。
160 0
elasticsearch学习一:了解 ES,版本之间的对应。安装elasticsearch,kibana,head插件、elasticsearch-ik分词器。
|
4月前
|
数据可视化 Docker 容器
一文教会你如何通过Docker安装elasticsearch和kibana 【详细过程+图解】
这篇文章提供了通过Docker安装Elasticsearch和Kibana的详细过程和图解,包括下载镜像、创建和启动容器、处理可能遇到的启动失败情况(如权限不足和配置文件错误)、测试Elasticsearch和Kibana的连接,以及解决空间不足的问题。文章还特别指出了配置文件中空格的重要性以及环境变量中字母大小写的问题。
一文教会你如何通过Docker安装elasticsearch和kibana 【详细过程+图解】
|
4月前
|
JSON 自然语言处理 数据库
Elasticsearch从入门到项目部署 安装 分词器 索引库操作
这篇文章详细介绍了Elasticsearch的基本概念、倒排索引原理、安装部署、IK分词器的使用,以及如何在Elasticsearch中进行索引库的CRUD操作,旨在帮助读者从入门到项目部署全面掌握Elasticsearch的使用。