手把手教你搭建ELK-新手必看-第六章:搭建filebeat

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 手把手教你搭建ELK-新手必看-第六章:搭建filebeat

前言

我们将在生产环境服务器上面搭建filebeat,来进行日志的收集,收集好了传输到redis。

一、安装filebeat

下载及安装:
1、下载filebeat:

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-linux-x86_64.tar.gz

2、解压filebeat:

tar xzvf filebeat-7.6.2-linux-x86_64.tar.gz

3、将解压包移至/user/local

mv filebeat-7.6.2-linux-x86_64 /usr/local/

二、配置filebeat

1 进入filebeat目录

cd /usr/local/filebeat-7.6.2-linux-x86_64

2 修改yml配置

filebeat.prospectors: 
         - input_type: log
           paths:#从哪些目录收集
            - /tmp/*.log

output.redis: #输出到redis
   hosts: ["IP:6379"] redis地址
   password: ""
   timeout: 60
   key: systemlog #传输的key值 需要与logstash设置的接收值一致
   db: 0

==================== 上面是主要的配置

filebeat.config.modules: #这里是filebeat模块配置 可以支持nginx等一些软件的日志收集
  # Glob pattern for configuration loading
  path: ${path.config}/modules.d/*.yml

  # Set to true to enable config reloading
  reload.enabled: false

3 运行filebeat

nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &

总结

到一章就完成了ELK所有的相关模块的搭建。现在有日志之后你就能在kibana里面去查看了。kibana支持KQL语法查询 这里附上KQL语法链接
https://docs.microsoft.com/zh-cn/sharepoint/dev/general-development/keyword-query-language-kql-syntax-reference?redirectedfrom=MSDN

下面是整个架构图。
在这里插入图片描述

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
6月前
|
存储 NoSQL Redis
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
130 0
|
监控 Cloud Native 搜索推荐
Springboot/Springcloud整合ELK平台,(Filebeat方式)日志采集及管理(Elasticsearch+Logstash+Filebeat+Kibana)
Springboot/Springcloud整合ELK平台,(Filebeat方式)日志采集及管理(Elasticsearch+Logstash+Filebeat+Kibana)
1662 0
Springboot/Springcloud整合ELK平台,(Filebeat方式)日志采集及管理(Elasticsearch+Logstash+Filebeat+Kibana)
|
3月前
|
监控 NoSQL Redis
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
103 0
|
9月前
|
监控 NoSQL Redis
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
116 0
|
12月前
|
消息中间件 数据可视化 JavaScript
日志可视化方案:ELK+filebeat
日志可视化方案:ELK+filebeat
|
监控 Linux 开发工具
日志收集分析利器-ELK加FileBeat
日志收集分析利器-ELK加FileBeat
164 0
日志收集分析利器-ELK加FileBeat
|
消息中间件 Kafka
ELK学习二:filebeat收集
ELK学习二:filebeat收集
67 0
|
监控 数据可视化 Go
不得不学!从零到一搭建ELK日志,在Docker环境下部署 Filebeat 日志收集工具
最近在玩 ELK 日志平台,它是 Elastic 公司推出的一整套日志收集、分析和展示的解决方案。
|
监控 数据可视化 Java
ELK+FileBeat日志分析系统(正式环境nginx日志)
ELK+FileBeat日志分析系统(正式环境nginx日志)
ELK+FileBeat日志分析系统(正式环境nginx日志)
|
存储 监控 数据可视化
ELK日志监控分析系统的探索与实践(一):利用Filebeat监控boot日志
ELK是一套完整的日志收集、展示解决方案,由ElasticSearch、Logstash 和 Kibana三个单词首字母拼接而成。其中:Logstash负责将日志进行过滤、收集,再传输到Elasticsearch上;Elasticsearch负责把日志作为索引进行存储并且构造对应倒排索引;Kibana负责可视化呈现日志,需要查询时Kibana调用Elasticsearch进行日志数据的查询;
ELK日志监控分析系统的探索与实践(一):利用Filebeat监控boot日志