分布式系列教程(41) -Logtash的简单使用

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 分布式系列教程(41) -Logtash的简单使用

引言

在上一篇博客《分布式系列教程(40) -Linux下安装Logstash》,我们知道了Logstash的安装步骤,本文就来详细讲解Logstash的使用。

下面来讲解一个简单的案例。

Logstash以JSON的格式输出ES的日志

在ElasticSearch日志目录文件夹下(/usr/local/elasticsearch-6.4.3/logs),可以看到各种es的日志文件:

其中上图的myes.log是我们之前在博客《分布式系列教程(30) -SpringBoot整合ElasticSearch》,定义集群名字的日志输出文件:

查看myes.log 文件,可以看到里面的内容如下:

现在有个需求,需要格式化使用json的格式在控制台输出myes.log,那么该如何实现呢?

答:使用logstash。

操作步骤:

1.进入logstash安装目录的配置文件夹,新建文件myes.conf

cd /usr/local/logstash-6.4.3/config/
vi myes.conf

2.在myes.conf文件里面配置es的日志输出文件myes.log路径,并设定输出方式,内容如下:

input {
    # 从文件读取日志信息 输送到控制台
    file {
        path => "/usr/local/elasticsearch-6.4.3/logs/myes.log"
        codec => "json" ## 以JSON格式读取日志
        type => "elasticsearch"
        start_position => "beginning"
    }
}
# filter {
#
# }
output {
    # 标准输出 
    # stdout {}
    # 输出进行格式化,采用Ruby库来解析日志   
     stdout { codec => rubydebug }
}

3.保存并启动logstash(指定myes.conf的方式启动),启动会比较慢:

cd /usr/local/logstash-6.4.3/bin/
./logstash -f ../config/myes.conf

可以看到Logstash把ES的日志文件内容通过json的方式打印出来了:



相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
1月前
|
SQL NoSQL MongoDB
一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程
一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程
44 0
|
自然语言处理 Linux
分布式系列教程(34) -Linux下安装ik分词器
分布式系列教程(34) -Linux下安装ik分词器
405 1
|
自然语言处理 关系型数据库 定位技术
分布式系列教程(35) -ElasticSearch文档映射
分布式系列教程(35) -ElasticSearch文档映射
73 0
|
JSON 自然语言处理 数据格式
分布式系列教程(33) -ElasticSearch DSL语言查询与过滤
分布式系列教程(33) -ElasticSearch DSL语言查询与过滤
198 0
分布式系列教程(32) -ElasticSearch条件查询
分布式系列教程(32) -ElasticSearch条件查询
192 0
|
自然语言处理 搜索推荐 索引
分布式系列教程(31) -ElasticSearch倒排索引
分布式系列教程(31) -ElasticSearch倒排索引
93 0
|
6月前
|
算法 数据处理 异构计算
CatBoost高级教程:分布式训练与大规模数据处理
CatBoost高级教程:分布式训练与大规模数据处理【2月更文挑战第15天】
680 14
|
6月前
|
机器学习/深度学习 分布式计算 Python
OpenAI Gym 高级教程——分布式训练与并行化
OpenAI Gym 高级教程——分布式训练与并行化
308 1
|
Linux
分布式系列教程(37) -Linux下搭建ElasticSearch集群
分布式系列教程(37) -Linux下搭建ElasticSearch集群
73 1
分布式系列教程(37) -Linux下搭建ElasticSearch集群
|
6月前
|
分布式计算 Hadoop Java
百度搜索:蓝易云【HBase分布式安装配置教程。】
以上是一个简要的HBase分布式安装和配置教程。需要注意的是,HBase的配置和部署涉及更多的细节和参数设置,取决于你的特定环境和需求。建议你参考HBase官方文档或其他可靠资源,以获得更详细和全面的指导。
75 6

热门文章

最新文章

下一篇
无影云桌面