《ELK Stack权威指南(第2版)》一第一部分 Part 1

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介:

本节书摘来自华章出版社《ELK Stack权威指南(第2版)》一书中的第1章,第X节,作者 饶琛琳  更多章节内容可以访问云栖社区“华章计算机”公众号查看。 


第一部分 Part 1

Logstash

第1章 入门示例

第2章 插件配置

第3章 场景示例

第4章 性能与监控

第5章 扩展方案

第6章 Logstash源码解析

第7章 插件开发

第8章 Beats

 

 

Logstash is a tool for managing events and logs. You can use it to collect logs, parse them, and store them for later use (like, for searching). —http://logstash.net

Logstash项目诞生于2009年8月2日。其作者是世界著名的运维工程师乔丹·西塞(Jordan Sissel),乔丹·西塞当时是著名虚拟主机托管商DreamHost的员工,还发布过非常棒的软件打包工具fpm,并主办着一年一度的Sysadmin Advent Calendar(advent calendar文化源自基督教氛围浓厚的Perl社区,在每年圣诞来临的12月举办,从12月1日起至12月24日止,每天发布一篇小短文介绍主题相关技术)。

Logstash动手很早,对比一下,Scribed诞生于2008年,Flume诞生于2010年,Graylog2诞生于2010年,Fluentd诞生于2011年。Scribed在2011年进入半死不活的状态,大大激发了其他各种开源日志收集处理框架的蓬勃发展,Logstash也从2011年开始进入commit密集期并延续至今。

作为一个系出名门的产品,Logstash的身影多次出现在Sysadmin Weekly上,它和小伙伴们Elasticsearch、Kibana直接成为了和商业产品Splunk做比较的开源项目(乔丹·西塞曾经在博客上承认设计想法来自AWS平台上最大的第三方日志服务商Loggly,而Loggly两位创始人都曾是Splunk员工)。

2013年,Logstash被Elasticsearch公司收购,ELK Stack正式成为官方用语。Elasticsearch本身也是近两年最受关注的大数据项目之一,三次融资已经超过一亿美元。在Elasticsearch开发人员的共同努力下,Logstash的发布机制、插件架构也愈发科学和合理。

社区文化

日志收集处理框架很多,如Scribe是Facebook出品,Flume是Apache基金会项目,都算声名赫赫。但Logstash因乔丹·西塞的个人性格,形成了一套独特的社区文化。每一个在Google Groups的Logstash-users组里问答的人都会看到这么一句话:

Remember: if a new user has a bad time, it抯 a bug in Logstash.

所以,Logstash是一个开放的、极其互助和友好的大家庭。如有问题,仅管在Github Issue、Google Groups、Freenode#logstash Channel上发问就好!

 

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
4月前
|
存储 Prometheus 监控
Prometheus vs. ELK Stack:容器监控与日志管理工具的较量
随着容器化技术的广泛应用,容器监控与日志管理成为了关键任务。本文将对两种常用工具进行比较与选择,分别是Prometheus和ELK Stack。Prometheus是一款开源的监控系统,专注于时序数据的收集和告警。而ELK Stack则是一套完整的日志管理解决方案,由Elasticsearch、Logstash和Kibana三个组件组成。通过比较它们的特点、优势和适用场景,读者可以更好地了解如何选择适合自己需求的工具。
|
4月前
|
Go 数据处理 Docker
elk stack部署自动化日志收集分析平台
elk stack部署自动化日志收集分析平台
83 0
|
4月前
|
Prometheus 监控 Cloud Native
Prometheus VS ELK Stack:容器监控与日志管理工具的比较与选择
在容器化时代,有效的容器监控与日志管理工具对于确保应用程序的可靠性和可维护性至关重要。本文将比较两个主流工具,Prometheus和ELK Stack,探讨它们在容器监控和日志管理方面的特点、优势和适用场景,帮助读者做出明智的选择。
|
11月前
|
存储 监控 安全
【Elastic Stack-初识篇】 ELK介绍、搭建最新 ELK 日志分析系统
【Elastic Stack-初识篇】 ELK介绍、搭建最新 ELK 日志分析系统
701 0
|
12月前
|
消息中间件 缓存 负载均衡
【日志架构】ELK Stack + Kafka 端到端练习
【日志架构】ELK Stack + Kafka 端到端练习
|
12月前
|
消息中间件 监控 固态存储
带你读《Elastic Stack 实战手册》之71:——4.1.3.企业ELK日志搜索引擎
带你读《Elastic Stack 实战手册》之71:——4.1.3.企业ELK日志搜索引擎
BXA
|
12月前
|
Prometheus Kubernetes 监控
搭建高效微服务架构:Kubernetes、Prometheus和ELK Stack的完美组合
微服务架构是一种软件设计模式,它将单个应用程序拆分成一组更小、更独立的服务。每个服务在自己的进程中运行,并使用轻量级通信机制进行通信。由于每个服务都是独立的,因此可以独立部署、扩展和更新,从而使开发和运维更加容易。
BXA
325 0
|
消息中间件 数据采集 存储
客户端同学应该理解的 ELK Stack 组件知识
客户端同学应该理解的 ELK Stack 组件知识
129 0
客户端同学应该理解的 ELK Stack 组件知识
|
存储 监控 安全
【Elastic Stack】 搭建最新 ELK 日志分析系统 8.2.2版
大家好,我是无名小歌。 今天给大家分享一个centos7系统搭建2022年最新ELK日志分析系统,目前版本是8.2.2。值得注意的是安装 ELK 时,您必须在整个ELK中使用相同的版本,如:Elasticsearch 8.2.2,则安装Kibana 8.2.2 和 Logstash 8.2.2,如果出现不对应的情况,如:Elasticsearch 是8.2.2版本、Kibana-6.8等或是其他版本,则需要进行对应版本的升级到8.2.2版本。
1260 0
【Elastic Stack】 搭建最新 ELK 日志分析系统 8.2.2版