分布式系列教程(42) -ELK配置与使用

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 分布式系列教程(42) -ELK配置与使用

引言

在前面的博客中,我们知道在Linux下如何搭建ELK(ElasticSearch+Logstash+Kibana)以及它们的使用,如有兴趣的同学,可以参考下。

安装教程:

使用教程:

前面讲的都是ELK每个模块单独使用的,本文主要讲解三者是如何联合使用。

ELK配置使用流程

首先确保ELK已经成功的安装在Linux服务器上了。

1.配置Logstash,把ElasticSearch的日志POST到ElasticSearch服务器存储。在Logstash配置目录下新建文件myeslog.conf

cd /usr/local/logstash-6.4.3/config/
vi myeslog.conf

2.配置内容如下:

input {
    # 从文件读取日志信息 输送到控制台
    file {
        path => "/usr/local/elasticsearch-6.4.3/logs/myes.log"
        codec => "json" ## 以JSON格式读取日志
        type => "elasticsearch"
        start_position => "beginning"
    }
}
# filter {
#
# }
output {
    # 标准输出 
    # stdout {}
    # 输出进行格式化,采用Ruby库来解析日志   
     stdout { codec => rubydebug }
  elasticsearch {
        hosts => ["192.168.162.131:9200"]
        index => "es-%{+YYYY.MM.dd}"
    }  
}

3.先切换至用户账号,启动ES:

su ylw
/usr/local/elasticsearch-6.4.3/bin/elasticsearch

4.启动Logstash,这里前台启动,方便看控制台输出日志(-f表示前台启动,启动有点慢):

cd /usr/local/logstash-6.4.3/bin/
./logstash -f ../config/myeslog.conf

5.启动Kibana

cd /usr/local/kibana-6.4.3-linux-x86_64/bin/
./kibana

6.浏览器输入:http://192.168.162.131:5601/,在控制台输入es,会弹出提示,显示获取今天打印的日志:

7.查询所有日志,可以看出把日志都查询出来了,总共55条:

GET /es-2019.12.19/_search

8.也可以模糊查询,查询message里面含有Ov3Qy5c字符串的日志:

GET /es-2019.12.19/_search
{
  "from": 0,
  "size": 3, 
  "query": {
    "match": {
        "message": "Ov3Qy5c"
      }
  }
}

返回:

{
  "took": 17,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 50,
    "max_score": 0.34676385,
    "hits": [
      {
        "_index": "es-2019.12.19",
        "_type": "doc",
        "_id": "fYDDHW8BMgxCikmkzC2N",
        "_score": 0.34676385,
        "_source": {
          "@timestamp": "2019-12-19T10:46:04.605Z",
          "path": "/usr/local/elasticsearch-6.4.3/logs/myes.log",
          "type": "elasticsearch",
          "host": "localhost.localdomain",
          "message": "[2019-12-19T18:42:21,780][INFO ][o.e.p.PluginsService     ] [Ov3Qy5c] loaded module [mapper-extras]",
          "@version": "1",
          "tags": [
            "_jsonparsefailure"
          ]
        }
      },
      {
        "_index": "es-2019.12.19",
        "_type": "doc",
        "_id": "foDDHW8BMgxCikmkzC2N",
        "_score": 0.34676385,
        "_source": {
          "@timestamp": "2019-12-19T10:46:04.607Z",
          "path": "/usr/local/elasticsearch-6.4.3/logs/myes.log",
          "type": "elasticsearch",
          "host": "localhost.localdomain",
          "message": "[2019-12-19T18:42:21,794][INFO ][o.e.p.PluginsService     ] [Ov3Qy5c] loaded module [parent-join]",
          "@version": "1",
          "tags": [
            "_jsonparsefailure"
          ]
        }
      },
      {
        "_index": "es-2019.12.19",
        "_type": "doc",
        "_id": "kIDDHW8BMgxCikmkzC2N",
        "_score": 0.34676385,
        "_source": {
          "@timestamp": "2019-12-19T10:46:04.812Z",
          "path": "/usr/local/elasticsearch-6.4.3/logs/myes.log",
          "type": "elasticsearch",
          "host": "localhost.localdomain",
          "message": "[2019-12-19T18:42:21,796][INFO ][o.e.p.PluginsService     ] [Ov3Qy5c] loaded plugin [analysis-ik]",
          "@version": "1",
          "tags": [
            "_jsonparsefailure"
          ]
        }
      }
    ]
  }
}

可以看出返回了两条数据!

9.也可以查询时间戳为2019-12-19T10:46:04.812Z的日志

GET /es-2019.12.19/_search
{
  "from": 0,
  "size": 3, 
  "query": {
    "match": {
        "@timestamp": "2019-12-19T10:46:04.812Z"
      }
  }
}

返回一条日志:

10.同时,也可以可视化查询

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
目录
相关文章
|
3月前
|
机器学习/深度学习 监控 算法
分布式光伏储能系统的优化配置方法(Matlab代码实现)
分布式光伏储能系统的优化配置方法(Matlab代码实现)
138 1
|
3月前
|
消息中间件 Java Kafka
搭建ELK日志收集,保姆级教程
本文介绍了分布式日志采集的背景及ELK与Kafka的整合应用。传统多服务器环境下,日志查询效率低下,因此需要集中化日志管理。ELK(Elasticsearch、Logstash、Kibana)应运而生,但单独使用ELK在性能上存在瓶颈,故结合Kafka实现高效的日志采集与处理。文章还详细讲解了基于Docker Compose构建ELK+Kafka环境的方法、验证步骤,以及如何在Spring Boot项目中整合ELK+Kafka,并通过Logback配置实现日志的采集与展示。
770 64
搭建ELK日志收集,保姆级教程
|
2月前
|
编解码 运维 算法
【分布式能源选址与定容】光伏、储能双层优化配置接入配电网研究(Matlab代码实现)
【分布式能源选址与定容】光伏、储能双层优化配置接入配电网研究(Matlab代码实现)
152 12
|
8月前
|
安全 网络安全 数据库
YashanDB分布式节点间SSL连接配置
本文介绍YashanDB分布式节点间SSL连接配置方法,确保通信安全。需统一为整个集群配置SSL,使用相同根证书签名的服务器证书,否则可能导致连接失败或数据库无法启动。文章详细说明了使用OpenSSL生成根证书、服务器私钥、证书及DH文件的步骤,并指导如何将证书分发至各节点。最后,通过配置数据库参数(如`din_ssl_enable`)并重启集群完成设置。注意,证书过期需重新生成以保障安全性。
|
5月前
|
Ubuntu 应用服务中间件 网络安全
ELK完整部署教程
本文介绍了在Ubuntu 22.04上部署ELK(Elasticsearch、Logstash、Kibana)及Filebeat的完整步骤。内容涵盖Elasticsearch安装与安全配置、Kibana启用SSL与注册、Logstash配置输入输出,以及Filebeat采集日志并发送至Logstash或Elasticsearch的方法。适用于本地非容器环境的日志收集与可视化搭建。
|
数据库
如何在Seata框架中配置分布式事务的隔离级别?
总的来说,配置分布式事务的隔离级别是实现分布式事务管理的重要环节之一,需要认真对待和仔细调整,以满足业务的需求和性能要求。你还可以进一步深入研究和实践 Seata 框架的配置和使用,以更好地应对各种分布式事务场景的挑战。
402 63
|
10月前
|
SQL 数据建模 BI
【YashanDB 知识库】用 yasldr 配置 Bulkload 模式作单线程迁移 300G 的业务数据到分布式数据库,迁移任务频繁出错
问题描述 详细版本:YashanDB Server Enterprise Edition Release 23.2.4.100 x86_64 6db1237 影响范围: 离线数据迁移场景,影响业务数据入库。 外场将部分 NewCIS 的报表业务放到分布式数据库,验证 SQL 性能水平。 操作系统环境配置: 125G 内存 32C CPU 2T 的 HDD 磁盘 问题出现的步骤/操作: 1、部署崖山分布式数据库 1mm 1cn 3dn 单线启动 yasldr 数据迁移任务,设置 32 线程的 bulk load 模式 2、观察 yasldr.log 是否出现如下错
|
11月前
|
消息中间件 负载均衡 Java
如何设计一个分布式配置中心?
这篇文章介绍了分布式配置中心的概念、实现原理及其在实际应用中的重要性。首先通过一个面试场景引出配置中心的设计问题,接着详细解释了为什么需要分布式配置中心,尤其是在分布式系统中统一管理配置文件的必要性。文章重点分析了Apollo这一开源配置管理中心的工作原理,包括其基础模型、架构模块以及配置发布后实时生效的设计。此外,还介绍了客户端与服务端之间的交互机制,如长轮询(Http Long Polling)和定时拉取配置的fallback机制。最后,结合实际工作经验,分享了配置中心在解决多台服务器配置同步问题上的优势,帮助读者更好地理解其应用场景和价值。
561 18
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
259 1