logstash日志系统搭建

简介:

本文将介绍如果使用logstashelasticsearchkibana搭建一个日志分析系统。Logstash支持的日志类型非常的广泛,支持nginx,postfix.windows系统日志,java日志以及mysql慢查询日志,Docker日志等,并带有强大的过滤器功能,还可以输出到elasticsearchnagios,mail等,功能相当的强大,在我们要部署的日志分析系统中logstash用来收集各种日志,然后推送给elasticsearchkibana负责通过web接口最终展示出来。

环境介绍:

操作系统版本:centos6.6 64bit

Logstash版本: logstash-2.0.0.tar.gz

Elasticsearch版本:elasticsearch-2.1.0.tar.gz

Kibana版本:Kibana 4.2.1

Java版本:1.8.0_45

 

一:软件下载

1
2
3
# wget https://download.elastic.co/logstash/logstash/logstash-2.0.0.tar.gz
# wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.1.0/elasticsearch-2.1.0.tar.gz
# wget https://download.elastic.co/kibana/kibana/kibana-4.2.1-linux-x64.tar.gz

二:软件安装

1:安装java环境

1
2
3
4
# java -version 
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)

2:解压软件包

1
2
3
4
5
6
# tar -zxvpf logstash-2.0.0.tar.gz 
# mv logstash-2.0.0 /usr/local/logstash
# tar -zxvpf  elasticsearch-2.1.0.tar.gz
# mv elasticsearch /usr/local/elasticsearch
# tar -zxvpf kibana-4.2.1-linux-x64.tar.gz
# mv kibana-4.2.1 /usr/local/kibana

3:启动elasticsearchkibana

这里可以根据自己的实际需求来修改yml配置文件

1
2
3
4
# useradd  yang
# chown  -R  yang.yang /usr/local/elasticsearch/
# nohup su - yang -c /usr/local/elasticsearch/bin/elasticsearch &
# /usr/local/kibana/bin/kibana

4:配置logstash,运行测试

1
# logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

wKioL1ZewQujURhJAABW-A5JlTY920.png

配置文件方式运行logstash测试将数据推送到elasticsearch

1
2
3
4
5
6
7
8
9
10
11
12
13
# cat /usr/local/logstash/etc/logstash.conf 
input {
  stdin { }
}
 
output {
  stdout {
  codec => rubydebug {}
}
  elasticsearch { 
  hosts => "192.168.115.5" } 
# /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstach.conf

wKiom1ZewNTBGy1LAACzo8qWIr0866.png

http://192.168.115.5:9200/_search?q=hello

wKiom1ZewO_h0ZgeAABrfyRsKko499.png

Kibana上配置相应的索引前缀

wKioL1ZewXmC43YaAAFisphsO_w189.pngwKiom1ZewSSRFV-4AAEUkydcaik776.png

本文转自斩月博客51CTO博客,原文链接http://blog.51cto.com/ylw6006/1718983如需转载请自行联系原作者


ylw6006

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
WGLOG日志管理系统是怎么收集日志的
WGLOG通过部署Agent客户端采集日志,Agent持续收集指定日志文件并上报Server,Server负责展示与分析。Agent与Server需保持相同版本。官网下载地址:www.wgstart.com
|
11月前
|
Prometheus 监控 Cloud Native
基于docker搭建监控系统&日志收集
Prometheus 是一款由 SoundCloud 开发的开源监控报警系统及时序数据库(TSDB),支持多维数据模型和灵活查询语言,适用于大规模集群监控。它通过 HTTP 拉取数据,支持服务发现、多种图表展示(如 Grafana),并可结合 Loki 实现日志聚合。本文介绍其架构、部署及与 Docker 集成的监控方案。
953 122
基于docker搭建监控系统&日志收集
|
监控 API 开发工具
HarmonyOS Next的HiLog日志系统完全指南:从入门到精通
本文深入解析HarmonyOS Next的HiLog日志系统,涵盖日志级别、核心API、隐私保护与高级回调功能,助你从入门到精通掌握这一重要开发工具。
|
11月前
|
Ubuntu
在Ubuntu系统上设置syslog日志轮替与大小限制
请注意,在修改任何系统级别配置之前,请务必备份相应得原始档案并理解每项变更可能带来得影响。
1251 2
|
存储 前端开发 数据可视化
Grafana Loki,轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统,具备高可用性和多租户支持,专注于日志而非指标,通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程,并提供了快速搭建指南,包括准备步骤、部署命令及验证方法。此外,还展示了如何使用Grafana查看日志,以及一些基本的LogQL查询示例。最后,作者探讨了Loki架构的独特之处,提出了“巨型单体模块化”的概念,即一个应用既可单体部署也可分布式部署,整体协同实现全部功能。
6379 189
Grafana Loki,轻量级日志系统
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
771 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
|
存储 JSON Go
PHP 日志系统的最佳搭档:一个 Go 写的远程日志收集服务
为了不再 SSH 上去翻日志,我写了个 Go 小脚本,用来接收远程日志。PHP 负责记录日志,Go 负责存储和展示,按天存储、支持 API 访问、可远程管理,终于能第一时间知道项目炸了。
425 10
|
存储 安全 Java
Spring Boot 3 集成Spring AOP实现系统日志记录
本文介绍了如何在Spring Boot 3中集成Spring AOP实现系统日志记录功能。通过定义`SysLog`注解和配置相应的AOP切面,可以在方法执行前后自动记录日志信息,包括操作的开始时间、结束时间、请求参数、返回结果、异常信息等,并将这些信息保存到数据库中。此外,还使用了`ThreadLocal`变量来存储每个线程独立的日志数据,确保线程安全。文中还展示了项目实战中的部分代码片段,以及基于Spring Boot 3 + Vue 3构建的快速开发框架的简介与内置功能列表。此框架结合了当前主流技术栈,提供了用户管理、权限控制、接口文档自动生成等多项实用特性。
1320 8
|
存储 监控 安全
5款 Syslog集中系统日志常用工具对比推荐
集中管理Syslog有助于持续监控网络中的恶意活动,确保日志的搜索和分析更为便捷。常用工具包括Rsyslog、Syslog-ng、Logstash和Fluentd,它们各有优劣。Rsyslog通过多种协议确保日志传输的安全性;Syslog-ng支持高效收集和转发日志;Logstash能解析多源日志并索引;Fluentd将日志转换为JSON格式。卓豪EventLog Analyzer则提供一体化的日志管理,支持日志分析、报表生成、用户行为分析及实时告警,是全面的日志管理解决方案。
632 0