ELK Stack & Elastic Stack-阿里云开发者社区

开发者社区> 大数据> 正文

ELK Stack & Elastic Stack

简介: ELK 是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。 Elasticsearch 是搜索和分析引擎,Logstash 数据采集和处理的工具,Kibana 是与 Elasticsearch交互使数据可视化的工具。

ELK 是什么呢?

ELK 是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。
Elasticsearch 是搜索和分析引擎,Logstash 数据采集和处理的工具,Kibana 是与 Elasticsearch交互使数据可视化的工具。在2015年,Elastic公司在 ELK Stack 中加入轻量级的采集工具 Beats,那就是现在的 Elastic Stack了。
image.png

Elasticsearch

Elasticsearch 在2010年首次发布,基于 Lucene 开发,是一个高度可扩展的分布式开源搜索和分析引擎,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据。支持多种开发语言的客户端调用以及 REST API来对集群进行数据操作,并且支持多种文本语言的存储。

Kibana

Kibana 在2013年首次发布,是一个管理 Elasticsearch 集群的开源工具,通过 Kibana 可以对 Elasticsearch 数据进行操作,也可以将数据可视化分析并进行展示等操作,通常会使用 Kibana 进行应用程序性能监测、安全分析、业务分析、运行状态监测、地理空间分析等用途。

LogStach

Logstash 是一个开源的服务器端数据处理管道,可以从各种来源收集数据并进行动态转换,最后将数据发送到 Elasticsearch ,目前 Github 上已发布了200多个插件,通过插件可以更加轻松的完成数据的处理,也可以自行定义插件来满足实际的需求。

Beats

Beats 是一个轻量级的开源数据采集工具 Beats,针对单一种类的服务应用进行数据采集,目前最新版本7.9 一共提供8种不同类型的 Beats,可以根据使用场景进行选择,在采集完数据之后发送到 LogStach 进行加工处理,或者直接存储到 Elasticsearch。

Elastic Stack可以做什么呢

通过 Beats 采集 Nginx 性能指标输送到 Elasticsearch 中存储,并且通过 Kibana 进行绘图并展示。

通过 Metricbeat 采集到 Elasticsearch 中的数据

2.png

通过 Kibana 将 Elasticsearch 中的数据进行可视化展示

3.png

专辑文章目录 (实际会更多,后续还会添加)

  1. ELK Stack (Elastic Stack)
  2. Elasticsearch & Kibana - Docker 部署配置
  3. Elasticsearch & Kibana - Kubernetes 部署配置
  4. Elasticsearch Mapping & Setting
  5. Elasticsearch Index & Document Type & Document
  6. Elasticsearch DSL - CRUD
  7. Elasticsearch 中文分词和英文分词
  8. Elasticsearch 工作原理 - 倒排索引
  9. Elasticsearch DSL 扩展 - 聚合、多字段、跨集群查询
  10. Elasticsearch 架构设计 - 数据管理建模
  11. Elasticsearch 架构设计 - 冷热数据分离
  12. Elasticsearch 架构设计 - 集群资源规划
  13. Kibana - Discover
  14. Kibana - Visualize
  15. Kibana - Canvas
  16. Kibana - Dashboard
  17. Logstash - 日志采集及数据处理
  18. Logbeat - 采集 Nginx 日志并展示访问量
  19. Metricbeat - 采集 Nginx 指标并展示性能
  20. Heartbeat - 采集 Nginx 心跳并展示SLA
  21. Winlogbeat - 采集 Windows 日志并设置告警
  22. APM 采集 Java 应用程序性能指标
  23. APM 采集 Golang 应用程序性能指标

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章