ELK Stack & Elastic Stack

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: ELK 是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。Elasticsearch 是搜索和分析引擎,Logstash 数据采集和处理的工具,Kibana 是与 Elasticsearch交互使数据可视化的工具。

ELK 是什么呢?

ELK 是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。
Elasticsearch 是搜索和分析引擎,Logstash 数据采集和处理的工具,Kibana 是与 Elasticsearch交互使数据可视化的工具。在2015年,Elastic公司在 ELK Stack 中加入轻量级的采集工具 Beats,那就是现在的 Elastic Stack了。
image.png

Elasticsearch

Elasticsearch 在2010年首次发布,基于 Lucene 开发,是一个高度可扩展的分布式开源搜索和分析引擎,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据。支持多种开发语言的客户端调用以及 REST API来对集群进行数据操作,并且支持多种文本语言的存储。

Kibana

Kibana 在2013年首次发布,是一个管理 Elasticsearch 集群的开源工具,通过 Kibana 可以对 Elasticsearch 数据进行操作,也可以将数据可视化分析并进行展示等操作,通常会使用 Kibana 进行应用程序性能监测、安全分析、业务分析、运行状态监测、地理空间分析等用途。

LogStach

Logstash 是一个开源的服务器端数据处理管道,可以从各种来源收集数据并进行动态转换,最后将数据发送到 Elasticsearch ,目前 Github 上已发布了200多个插件,通过插件可以更加轻松的完成数据的处理,也可以自行定义插件来满足实际的需求。

Beats

Beats 是一个轻量级的开源数据采集工具 Beats,针对单一种类的服务应用进行数据采集,目前最新版本7.9 一共提供8种不同类型的 Beats,可以根据使用场景进行选择,在采集完数据之后发送到 LogStach 进行加工处理,或者直接存储到 Elasticsearch。

Elastic Stack可以做什么呢

通过 Beats 采集 Nginx 性能指标输送到 Elasticsearch 中存储,并且通过 Kibana 进行绘图并展示。

通过 Metricbeat 采集到 Elasticsearch 中的数据

2.png

通过 Kibana 将 Elasticsearch 中的数据进行可视化展示

3.png

专辑文章目录 (实际会更多,后续还会添加)

  1. ELK Stack (Elastic Stack)
  2. Elasticsearch & Kibana - Docker 部署配置
  3. Elasticsearch & Kibana - Kubernetes 部署配置
  4. Elasticsearch Mapping & Setting
  5. Elasticsearch Index & Document Type & Document
  6. Elasticsearch DSL - CRUD
  7. Elasticsearch 中文分词和英文分词
  8. Elasticsearch 工作原理 - 倒排索引
  9. Elasticsearch DSL 扩展 - 聚合、多字段、跨集群查询
  10. Elasticsearch 架构设计 - 数据管理建模
  11. Elasticsearch 架构设计 - 冷热数据分离
  12. Elasticsearch 架构设计 - 集群资源规划
  13. Kibana - Discover
  14. Kibana - Visualize
  15. Kibana - Canvas
  16. Kibana - Dashboard
  17. Logstash - 日志采集及数据处理
  18. Logbeat - 采集 Nginx 日志并展示访问量
  19. Metricbeat - 采集 Nginx 指标并展示性能
  20. Heartbeat - 采集 Nginx 心跳并展示SLA
  21. Winlogbeat - 采集 Windows 日志并设置告警
  22. APM 采集 Java 应用程序性能指标
  23. APM 采集 Golang 应用程序性能指标
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
6月前
|
存储 Prometheus 监控
Prometheus vs. ELK Stack:容器监控与日志管理工具的较量
随着容器化技术的广泛应用,容器监控与日志管理成为了关键任务。本文将对两种常用工具进行比较与选择,分别是Prometheus和ELK Stack。Prometheus是一款开源的监控系统,专注于时序数据的收集和告警。而ELK Stack则是一套完整的日志管理解决方案,由Elasticsearch、Logstash和Kibana三个组件组成。通过比较它们的特点、优势和适用场景,读者可以更好地了解如何选择适合自己需求的工具。
|
6月前
|
Go 数据处理 Docker
elk stack部署自动化日志收集分析平台
elk stack部署自动化日志收集分析平台
175 0
|
存储 消息中间件 运维
Kubernetes中部署ELK Stack日志收集平台(上)
Kubernetes中部署ELK Stack日志收集平台
Kubernetes中部署ELK Stack日志收集平台(上)
|
6月前
|
Prometheus 监控 Cloud Native
Prometheus VS ELK Stack:容器监控与日志管理工具的比较与选择
在容器化时代,有效的容器监控与日志管理工具对于确保应用程序的可靠性和可维护性至关重要。本文将比较两个主流工具,Prometheus和ELK Stack,探讨它们在容器监控和日志管理方面的特点、优势和适用场景,帮助读者做出明智的选择。
|
存储 监控 安全
【Elastic Stack-初识篇】 ELK介绍、搭建最新 ELK 日志分析系统
【Elastic Stack-初识篇】 ELK介绍、搭建最新 ELK 日志分析系统
1040 0
|
消息中间件 缓存 负载均衡
【日志架构】ELK Stack + Kafka 端到端练习
【日志架构】ELK Stack + Kafka 端到端练习
|
消息中间件 监控 固态存储
带你读《Elastic Stack 实战手册》之71:——4.1.3.企业ELK日志搜索引擎
带你读《Elastic Stack 实战手册》之71:——4.1.3.企业ELK日志搜索引擎
122 0
BXA
|
Prometheus Kubernetes 监控
搭建高效微服务架构:Kubernetes、Prometheus和ELK Stack的完美组合
微服务架构是一种软件设计模式,它将单个应用程序拆分成一组更小、更独立的服务。每个服务在自己的进程中运行,并使用轻量级通信机制进行通信。由于每个服务都是独立的,因此可以独立部署、扩展和更新,从而使开发和运维更加容易。
BXA
429 0
|
消息中间件 数据采集 存储
客户端同学应该理解的 ELK Stack 组件知识
客户端同学应该理解的 ELK Stack 组件知识
195 0
客户端同学应该理解的 ELK Stack 组件知识