四个组件配置说明

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 官方文档!!!!!!!!!1.在Filebeat中配置info.log日志文件的路径,以及要将日志发送到Logstash的地址和端口,可以在Filebeat的配置文件filebeat.yml中添加如下配置:Copyfilebeat.inputs:- type: log paths: - /usr/logs/info.log fields: log_type: infooutput.logstash: hosts: ["localhost:5044"]这里使用filebeat.inputs指定要监控的日志文件路径

官方文档!!!!!!!!!
1.在Filebeat中配置info.log日志文件的路径,以及要将日志发送到Logstash的地址和端口,可以在Filebeat的配置文件
filebeat.yml中添加如下配置:
Copy
filebeat.inputs:

  • type: log
    paths:
    • /usr/logs/info.log
      fields:
      log_type: info

output.logstash:
hosts: ["localhost:5044"]

这里使用filebeat.inputs指定要监控的日志文件路径,使用fields添加一个自定义字段log_type,方便在Logstash中对不同类型的日志进行处理;使用output.logstash指定将日志发送到Logstash的地址和端口。
2.在Logstash中配置input、filter和output,可以在Logstash的配置文件
logstash.yml中添加如下配置:
input {
beats {
port => 5044
}
}

filter {
if [fields][log_type] == "info" {
grok {
match => { "message" => "%{TIME:time} [%{WORD:thread}] %{LOGLEVEL:level} %{JAVACLASS:class} - %{GREEDYDATA:message}" }
}
date {
match => [ "time", "HH:mm:ss.SSS" ]
}
}
}

output {
elasticsearch {
hosts => ["localhost:9200"]
index => "logs-%{+YYYY.MM.dd}"
}
}

这里使用input指定从Filebeat接收日志;使用filter对日志进行处理,根据之前在Filebeat中添加的字段log_type判断日志类型,然后使用grok解析日志格式,提取时间、线程、日志级别、类名和消息等信息,使用date将时间字段转换为日期类型;最后使用output将处理后的日志发送到Elasticsearch,索引名为logs-YYYY.MM.dd,根据日期分别创建不同的索引。
3.在Kibana中配置Elasticsearch的地址,以及需要展示的日志类型和字段,可以在Kibana的管理界面中添加索引模式和可视化图表,具体操作可以参考Kibana的官方文档和教程。
这四个组件的配置文件默认位置如下:
1.Elasticsearch
:Elasticsearch的配置文件位于$ES_HOME/config/elasticsearch.yml,其中$ES_HOME是Elasticsearch的安装目录。
2.Logstash:Logstash的配置文件位于
$LS_HOME/config/logstash.yml,其中$LS_HOME是Logstash的安装目录。此外,Logstash还可能包含多个pipeline的配置文件,一般位于$LS_HOME/pipeline目录下。
3.Filebeat:Filebeat的配置文件位于
/etc/filebeat/filebeat.yml或/usr/share/filebeat/filebeat.yml,具体位置取决于操作系统和安装方式。
4.Kibana:Kibana的配置文件位于
$KIBANA_HOME/config/kibana.yml,其中$KIBANA_HOME是Kibana的安装目录。
启动顺序:应该是先启动Elasticsearch,然后启动Logstash,再启动Filebeat,最后启动Kibana。
数据源:filebeat->logstash->es->kibana 启动顺序:先启动Elasticsearch,然后启动Logstash,再启动Filebeat,最后启动Kibana。
5、kibana搜索:(就看分词器怎么分的一个单词)
"发生未知异常"、getQuadrantRank、com.performance.web.controller.index.dashboardperfsearch.DashboardPerfSearchController.getQuadrantRank(认为带点的整个的是一个词)、message : "发生未知异常"、approveTask

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
6月前
在组件上使用
在组件上使用
|
6月前
|
JavaScript
组件上使用 v-for
组件上使用 v-for
|
6月前
|
资源调度 JavaScript 前端开发
2020你应该有一个自己的组件
2020你应该有一个自己的组件
67 0
|
设计模式 JavaScript 前端开发
可复用性的组件详解
可复用性的组件详解
224 0
可复用性的组件详解
|
JavaScript 开发者
组件-创建组件的方式1|学习笔记
快速学习组件-创建组件的方式1
组件-创建组件的方式1|学习笔记
|
JavaScript 开发者
组件-创建组件的方式3|学习笔记
快速学习组件-创建组件的方式3
组件-创建组件的方式3|学习笔记
|
负载均衡 网络协议 Java
SprongCloud组件
SprongCloud组件
|
JavaScript 开发者
组件-创建组件的方式2|学习笔记
快速学习组件-创建组件的方式2
|
架构师 定位技术 iOS开发
关于组件,你真的了解么?
最近经常听到“组件化开发”,那架构设计里,组件到底如何定义、设计和应用呢,今天我们一起来聊聊。
关于组件,你真的了解么?