手把手教你搭建ELK-新手必看-第六章:搭建filebeat

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 手把手教你搭建ELK-新手必看-第六章:搭建filebeat

前言

我们将在生产环境服务器上面搭建filebeat,来进行日志的收集,收集好了传输到redis。

一、安装filebeat

下载及安装:
1、下载filebeat:

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-linux-x86_64.tar.gz

2、解压filebeat:

tar xzvf filebeat-7.6.2-linux-x86_64.tar.gz

3、将解压包移至/user/local

mv filebeat-7.6.2-linux-x86_64 /usr/local/

二、配置filebeat

1 进入filebeat目录

cd /usr/local/filebeat-7.6.2-linux-x86_64

2 修改yml配置

filebeat.prospectors: 
         - input_type: log
           paths:#从哪些目录收集
            - /tmp/*.log

output.redis: #输出到redis
   hosts: ["IP:6379"] redis地址
   password: ""
   timeout: 60
   key: systemlog #传输的key值 需要与logstash设置的接收值一致
   db: 0

==================== 上面是主要的配置

filebeat.config.modules: #这里是filebeat模块配置 可以支持nginx等一些软件的日志收集
  # Glob pattern for configuration loading
  path: ${path.config}/modules.d/*.yml

  # Set to true to enable config reloading
  reload.enabled: false

3 运行filebeat

nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &

总结

到一章就完成了ELK所有的相关模块的搭建。现在有日志之后你就能在kibana里面去查看了。kibana支持KQL语法查询 这里附上KQL语法链接
https://docs.microsoft.com/zh-cn/sharepoint/dev/general-development/keyword-query-language-kql-syntax-reference?redirectedfrom=MSDN

下面是整个架构图。
在这里插入图片描述

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
存储 NoSQL Redis
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
550 0
|
监控 Cloud Native 搜索推荐
Springboot/Springcloud整合ELK平台,(Filebeat方式)日志采集及管理(Elasticsearch+Logstash+Filebeat+Kibana)
Springboot/Springcloud整合ELK平台,(Filebeat方式)日志采集及管理(Elasticsearch+Logstash+Filebeat+Kibana)
2169 0
Springboot/Springcloud整合ELK平台,(Filebeat方式)日志采集及管理(Elasticsearch+Logstash+Filebeat+Kibana)
|
4月前
|
存储 应用服务中间件 nginx
部署ELK+filebeat收集nginx日志
部署ELK+filebeat收集nginx日志
165 0
部署ELK+filebeat收集nginx日志
|
4月前
|
消息中间件 Kafka 应用服务中间件
ELK7.6+Filebeat集群部署
ELK7.6+Filebeat集群部署
|
4月前
|
NoSQL 关系型数据库 MySQL
一文吃透企业级elk技术栈:6. filebeat安装配置
一文吃透企业级elk技术栈:6. filebeat安装配置
|
7月前
|
消息中间件 Kafka Apache
Kafka 架构深入介绍 及搭建Filebeat+Kafka+ELK
Kafka 架构深入介绍 及搭建Filebeat+Kafka+ELK
|
7月前
|
监控 NoSQL Redis
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
158 0
|
监控 NoSQL Redis
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
145 0
|
消息中间件 数据可视化 JavaScript
日志可视化方案:ELK+filebeat
日志可视化方案:ELK+filebeat
|
监控 Linux 开发工具
日志收集分析利器-ELK加FileBeat
日志收集分析利器-ELK加FileBeat
222 0
日志收集分析利器-ELK加FileBeat