四个组件配置说明

简介: 官方文档!!!!!!!!!1.在Filebeat中配置info.log日志文件的路径,以及要将日志发送到Logstash的地址和端口,可以在Filebeat的配置文件filebeat.yml中添加如下配置:Copyfilebeat.inputs:- type: log paths: - /usr/logs/info.log fields: log_type: infooutput.logstash: hosts: ["localhost:5044"]这里使用filebeat.inputs指定要监控的日志文件路径

官方文档!!!!!!!!!
1.在Filebeat中配置info.log日志文件的路径,以及要将日志发送到Logstash的地址和端口,可以在Filebeat的配置文件
filebeat.yml中添加如下配置:
Copy
filebeat.inputs:

  • type: log
    paths:
    • /usr/logs/info.log
      fields:
      log_type: info

output.logstash:
hosts: ["localhost:5044"]

这里使用filebeat.inputs指定要监控的日志文件路径,使用fields添加一个自定义字段log_type,方便在Logstash中对不同类型的日志进行处理;使用output.logstash指定将日志发送到Logstash的地址和端口。
2.在Logstash中配置input、filter和output,可以在Logstash的配置文件
logstash.yml中添加如下配置:
input {
beats {
port => 5044
}
}

filter {
if [fields][log_type] == "info" {
grok {
match => { "message" => "%{TIME:time} [%{WORD:thread}] %{LOGLEVEL:level} %{JAVACLASS:class} - %{GREEDYDATA:message}" }
}
date {
match => [ "time", "HH:mm:ss.SSS" ]
}
}
}

output {
elasticsearch {
hosts => ["localhost:9200"]
index => "logs-%{+YYYY.MM.dd}"
}
}

这里使用input指定从Filebeat接收日志;使用filter对日志进行处理,根据之前在Filebeat中添加的字段log_type判断日志类型,然后使用grok解析日志格式,提取时间、线程、日志级别、类名和消息等信息,使用date将时间字段转换为日期类型;最后使用output将处理后的日志发送到Elasticsearch,索引名为logs-YYYY.MM.dd,根据日期分别创建不同的索引。
3.在Kibana中配置Elasticsearch的地址,以及需要展示的日志类型和字段,可以在Kibana的管理界面中添加索引模式和可视化图表,具体操作可以参考Kibana的官方文档和教程。
这四个组件的配置文件默认位置如下:
1.Elasticsearch
:Elasticsearch的配置文件位于$ES_HOME/config/elasticsearch.yml,其中$ES_HOME是Elasticsearch的安装目录。
2.Logstash:Logstash的配置文件位于
$LS_HOME/config/logstash.yml,其中$LS_HOME是Logstash的安装目录。此外,Logstash还可能包含多个pipeline的配置文件,一般位于$LS_HOME/pipeline目录下。
3.Filebeat:Filebeat的配置文件位于
/etc/filebeat/filebeat.yml或/usr/share/filebeat/filebeat.yml,具体位置取决于操作系统和安装方式。
4.Kibana:Kibana的配置文件位于
$KIBANA_HOME/config/kibana.yml,其中$KIBANA_HOME是Kibana的安装目录。
启动顺序:应该是先启动Elasticsearch,然后启动Logstash,再启动Filebeat,最后启动Kibana。
数据源:filebeat->logstash->es->kibana 启动顺序:先启动Elasticsearch,然后启动Logstash,再启动Filebeat,最后启动Kibana。
5、kibana搜索:(就看分词器怎么分的一个单词)
"发生未知异常"、getQuadrantRank、com.performance.web.controller.index.dashboardperfsearch.DashboardPerfSearchController.getQuadrantRank(认为带点的整个的是一个词)、message : "发生未知异常"、approveTask

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
目录
相关文章
|
存储 JSON iOS开发
Apple 的 plist 编辑器入门指南:基础操作与高级功能详解
PlistEdit Pro 是一款专为 macOS 编写的最高级属性列表 Plist 编辑器。对于 Mac 和 IOS 开发人员来说,编写应用程序时必须编辑各种列表文件。
|
3月前
|
消息中间件 Java Kafka
搭建ELK日志收集,保姆级教程
本文介绍了分布式日志采集的背景及ELK与Kafka的整合应用。传统多服务器环境下,日志查询效率低下,因此需要集中化日志管理。ELK(Elasticsearch、Logstash、Kibana)应运而生,但单独使用ELK在性能上存在瓶颈,故结合Kafka实现高效的日志采集与处理。文章还详细讲解了基于Docker Compose构建ELK+Kafka环境的方法、验证步骤,以及如何在Spring Boot项目中整合ELK+Kafka,并通过Logback配置实现日志的采集与展示。
907 64
搭建ELK日志收集,保姆级教程
|
7月前
|
iOS开发
Cisco Catalyst 9800 Wireless Controller, IOS XE Release 17.17.1 ED - 思科无线控制器系统软件
Cisco Catalyst 9800 Wireless Controller, IOS XE Release 17.17.1 ED - 思科无线控制器系统软件
267 9
Cisco Catalyst 9800 Wireless Controller, IOS XE Release 17.17.1 ED - 思科无线控制器系统软件
|
5月前
|
Ubuntu 应用服务中间件 网络安全
ELK完整部署教程
本文介绍了在Ubuntu 22.04上部署ELK(Elasticsearch、Logstash、Kibana)及Filebeat的完整步骤。内容涵盖Elasticsearch安装与安全配置、Kibana启用SSL与注册、Logstash配置输入输出,以及Filebeat采集日志并发送至Logstash或Elasticsearch的方法。适用于本地非容器环境的日志收集与可视化搭建。
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
|
存储 安全 API
认证服务---OAuth2.0基本介绍,微博登录测试【上篇】
这篇文章是关于OAuth2.0的介绍和微博登录测试的教程,详细解释了OAuth2.0的基本概念和授权流程,并指导读者如何在新浪微博开放平台进行应用创建、设置回调地址,以及使用Postman工具进行授权测试,为实现第三方微博登录功能做准备。
认证服务---OAuth2.0基本介绍,微博登录测试【上篇】
|
Web App开发 人工智能 物联网
操作系统的演变:从单一到多元,再到云端
在数字时代的浪潮中,操作系统(OS)作为计算机系统的核心,经历了从简单到复杂,再到云化的演变。本文将探讨操作系统的发展历程,包括早期的批处理系统、多道程序设计、分时系统的出现,以及现代操作系统的多样化和云端化趋势。我们将看到,随着技术的不断进步,操作系统不仅在性能上得到了提升,其设计理念和应用场景也发生了根本性的变化。
|
存储 Linux 网络安全
|
Linux 编译器 开发者
C/C++动态库与静态库 的详细解析
C/C++动态库与静态库 的详细解析
1630 0
无法将参数1从“const char [6]”转换为“char *”的解决方法
无法将参数1从“const char [6]”转换为“char *”的解决方法