ELK Stack & Elastic Stack

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: ELK 是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。Elasticsearch 是搜索和分析引擎,Logstash 数据采集和处理的工具,Kibana 是与 Elasticsearch交互使数据可视化的工具。

ELK 是什么呢?

ELK 是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。
Elasticsearch 是搜索和分析引擎,Logstash 数据采集和处理的工具,Kibana 是与 Elasticsearch交互使数据可视化的工具。在2015年,Elastic公司在 ELK Stack 中加入轻量级的采集工具 Beats,那就是现在的 Elastic Stack了。
image.png

Elasticsearch

Elasticsearch 在2010年首次发布,基于 Lucene 开发,是一个高度可扩展的分布式开源搜索和分析引擎,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据。支持多种开发语言的客户端调用以及 REST API来对集群进行数据操作,并且支持多种文本语言的存储。

Kibana

Kibana 在2013年首次发布,是一个管理 Elasticsearch 集群的开源工具,通过 Kibana 可以对 Elasticsearch 数据进行操作,也可以将数据可视化分析并进行展示等操作,通常会使用 Kibana 进行应用程序性能监测、安全分析、业务分析、运行状态监测、地理空间分析等用途。

LogStach

Logstash 是一个开源的服务器端数据处理管道,可以从各种来源收集数据并进行动态转换,最后将数据发送到 Elasticsearch ,目前 Github 上已发布了200多个插件,通过插件可以更加轻松的完成数据的处理,也可以自行定义插件来满足实际的需求。

Beats

Beats 是一个轻量级的开源数据采集工具 Beats,针对单一种类的服务应用进行数据采集,目前最新版本7.9 一共提供8种不同类型的 Beats,可以根据使用场景进行选择,在采集完数据之后发送到 LogStach 进行加工处理,或者直接存储到 Elasticsearch。

Elastic Stack可以做什么呢

通过 Beats 采集 Nginx 性能指标输送到 Elasticsearch 中存储,并且通过 Kibana 进行绘图并展示。

通过 Metricbeat 采集到 Elasticsearch 中的数据

2.png

通过 Kibana 将 Elasticsearch 中的数据进行可视化展示

3.png

专辑文章目录 (实际会更多,后续还会添加)

  1. ELK Stack (Elastic Stack)
  2. Elasticsearch & Kibana - Docker 部署配置
  3. Elasticsearch & Kibana - Kubernetes 部署配置
  4. Elasticsearch Mapping & Setting
  5. Elasticsearch Index & Document Type & Document
  6. Elasticsearch DSL - CRUD
  7. Elasticsearch 中文分词和英文分词
  8. Elasticsearch 工作原理 - 倒排索引
  9. Elasticsearch DSL 扩展 - 聚合、多字段、跨集群查询
  10. Elasticsearch 架构设计 - 数据管理建模
  11. Elasticsearch 架构设计 - 冷热数据分离
  12. Elasticsearch 架构设计 - 集群资源规划
  13. Kibana - Discover
  14. Kibana - Visualize
  15. Kibana - Canvas
  16. Kibana - Dashboard
  17. Logstash - 日志采集及数据处理
  18. Logbeat - 采集 Nginx 日志并展示访问量
  19. Metricbeat - 采集 Nginx 指标并展示性能
  20. Heartbeat - 采集 Nginx 心跳并展示SLA
  21. Winlogbeat - 采集 Windows 日志并设置告警
  22. APM 采集 Java 应用程序性能指标
  23. APM 采集 Golang 应用程序性能指标
相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
目录
相关文章
|
存储 Prometheus 监控
Prometheus vs. ELK Stack:容器监控与日志管理工具的较量
随着容器化技术的广泛应用,容器监控与日志管理成为了关键任务。本文将对两种常用工具进行比较与选择,分别是Prometheus和ELK Stack。Prometheus是一款开源的监控系统,专注于时序数据的收集和告警。而ELK Stack则是一套完整的日志管理解决方案,由Elasticsearch、Logstash和Kibana三个组件组成。通过比较它们的特点、优势和适用场景,读者可以更好地了解如何选择适合自己需求的工具。
|
Go 数据处理 Docker
elk stack部署自动化日志收集分析平台
elk stack部署自动化日志收集分析平台
342 0
|
存储 消息中间件 运维
Kubernetes中部署ELK Stack日志收集平台(上)
Kubernetes中部署ELK Stack日志收集平台
Kubernetes中部署ELK Stack日志收集平台(上)
|
Prometheus 监控 Cloud Native
Prometheus VS ELK Stack:容器监控与日志管理工具的比较与选择
在容器化时代,有效的容器监控与日志管理工具对于确保应用程序的可靠性和可维护性至关重要。本文将比较两个主流工具,Prometheus和ELK Stack,探讨它们在容器监控和日志管理方面的特点、优势和适用场景,帮助读者做出明智的选择。
|
存储 监控 安全
【Elastic Stack-初识篇】 ELK介绍、搭建最新 ELK 日志分析系统
【Elastic Stack-初识篇】 ELK介绍、搭建最新 ELK 日志分析系统
1384 0
|
消息中间件 缓存 负载均衡
【日志架构】ELK Stack + Kafka 端到端练习
【日志架构】ELK Stack + Kafka 端到端练习
|
消息中间件 监控 固态存储
带你读《Elastic Stack 实战手册》之71:——4.1.3.企业ELK日志搜索引擎
带你读《Elastic Stack 实战手册》之71:——4.1.3.企业ELK日志搜索引擎
186 0
BXA
|
Prometheus Kubernetes 监控
搭建高效微服务架构:Kubernetes、Prometheus和ELK Stack的完美组合
微服务架构是一种软件设计模式,它将单个应用程序拆分成一组更小、更独立的服务。每个服务在自己的进程中运行,并使用轻量级通信机制进行通信。由于每个服务都是独立的,因此可以独立部署、扩展和更新,从而使开发和运维更加容易。
BXA
925 0
|
消息中间件 数据采集 存储
客户端同学应该理解的 ELK Stack 组件知识
客户端同学应该理解的 ELK Stack 组件知识
323 0
客户端同学应该理解的 ELK Stack 组件知识