AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Filebeat 自动安装部署&一键配置实现

2023-04-26 351
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
日志服务 SLS，月写入数据量 50GB 1个月
简介： Filebeat 自动安装部署&一键配置实现

Filebeat简介

Filebeat 是使用 Golang 实现的轻量型日志采集器，也是 Elasticsearch stack 里面的一员。

Filebeat本质上是一个 agent ，可以安装在各个节点上，根据配置读取对应位置的日志，并上报到相应的日志管理平台上去

平时接到将某一服务的日志接入到日志管理平台的需求

通常的做法都是：

  • 在目标主机（即需要将日志接入到管理平台的服务器）上手动下载 filebeat 压缩包
  • 将压缩包上传到目标主机
  • 解压缩
  • 执行安装脚本

这个过程不但需要人工操作，还比较耗时

如果目标主机后期有其他服务需要接入日志管理平台，还得手动修改配置文件

这个过程会有配置字段写错或者格式错误的风险

于是我打算写一个自动部署脚本

结合自动化运维工具——saltstack

以此来实现首次安装 filebeat 以及后续新增配置字段的自动化

首先在 salt-master 的家目录（一般是 /home/salt）创建一个 filebeat 目录，用来存放部署脚本以及配置文件模板


mkdir /home/salt/filebeat

image.png

  • append.sh：如果后面有新增服务需要接入日志，且目标主机已经安装filebeat，此脚本可以将新的配置字段写进配置文件里（需要下发给minio）
  • filebeat-7.1.1-linux-x86_64.tar.gz：filebeat安装包（需要下发给minio）
  • filebeat.yml：配置文件模板（需要下发给minio）
  • install.sls：部署脚本；里面有两个逻辑：1、首次安装；2、后续新增配置字段

完整脚本如下：


{% set PACKAGE = 'filebeat-7.1.1-linux-x86_64' %}
{% set SERVICE_NAME = 'nginx' %}
{% set LOG_PATH = '/var/log/nginx/access.log' %}
{% set NEW_SERVICE_NAME = 'keepalived' %}
{% set NEW_LOG_PATH = '/var/log/keepalived.log' %}


filebeat_source:
  file.managed:
    - name: /tmp/{{PACKAGE}}.tar.gz
    - source: salt://filebeat/{{PACKAGE}}.tar.gz
    - onlyif:
      - cmd: rpm -qi filebeat && exit 127

filebeat_extract:
  cmd.run:
    - cwd: /tmp
    - names:
      - tar zxf {{PACKAGE}}.tar.gz
    - require:
      - file: filebeat_source
    - unless:
      - test -d /tmp/{{PACKAGE}}
      
filebeat_install:
  cmd.run:
    - cwd: /tmp/{{PACKAGE}}
    - names: 
      - /bin/bash install.sh
    - require:
      - cmd: filebeat_extract
    - unless:
      - test -d /etc/filebeat
      
copy_yml:
  cmd.run:
    - cwd: /etc/filebeat
    - names: 
      - mv filebeat.yml filebeat.yml.bak
    - require:
      - cmd: filebeat_install
    - unless:
      - test -e /etc/filebeat/filebeat.yml.bak
      
filebeat_yml:
  file.managed:
    - name: /etc/filebeat/filebeat.yml
    - source: salt://filebeat/filebeat.yml
    - require:
      - cmd: copy_yml
    - template: jinja
    - defaults:
      server_name: {{ SERVICE_NAME }}
      log_path: {{ LOG_PATH }} 
    - unless:
      - test -e /etc/filebeat/filebeat.yml

filebeat_start:
  cmd.run:
    - name: systemctl start filebeat
    - require:
      - file: filebeat_yml
    - unless:
      - systemctl status filebeat
       
script_source:
  file.managed:
    - name: /etc/filebeat/append.sh
    - source: salt://filebeat/append.sh
    - onlyif:
      - cmd: rpm -qi filebeat
    - unless:
      - test -e /etc/filebeat/append.sh
      
yml_append:
  cmd.run:
    - cwd: /etc/filebeat
    - names:
      - /bin/bash append.sh {{NEW_SERVICE_NAME}} {{NEW_LOG_PATH}}
    - require:
      - file: script_source

filebeat_restart:
  cmd.run:
    - name: systemctl restart filebeat
    - require:
      - cmd: yml_append

我们分别来看一下

脚本实现

append.sh

append.sh

我们先来看一下append.sh

append.sh脚本实现的功能就是判断新增的服务在配置文件里面是否存在，如果不存在的话就添加到配置文件里去，如果存在则不做任何操作

首先对传进来的第一个参数——新增的服务标识进行 grep 过滤，来看一下当前配置文件里面是否有要新增的字段

$?表示执行grep $1 filebeat.yml返回的状态码，如果返回0则表示字段存在，返回非0表示字段不存在

grep $1 filebeat.yml

接着是一个条件判断：

1、如果配置文件里没有该服务标识（代表是新增的，状态码返回0），则使用 sed 将内容写入配置文件里面

（ $1表示传入shell脚本的第一个参数——服务标识，$2表示传入shell脚本的第一个参数——服务对应的完整日志路径）

2、如果配置文件里有该服务标识（代表是以前就有的，状态码返回非0），则输出提示语

#!/bin/bash
grep $1 filebeat.yml
if [ $? -eq 0 ]
then
echo "service is alreadty exist!"
else
sed -i '/filebeat.inputs:/a\
- type: log\
  enabled: true\
  encoding: utf-8\
  tail_files: false\
  paths:\
    - '${2}'\
  fields:\
    log_topic: '${1}'\

' filebeat.yml
fi

install.sls

install.sls里面有两个功能逻辑：首次安装部署和后续新增配置

1、首次部署filebeat并修改filebeat配置文件，将需要监控的服务配置字段添加进去

2、后续有新增服务需要接入日志，则将服务标识和对应日志路径添加到filebeat配置文件里

脚本开头定义了五个变量，方便我们后续维护

{% set PACKAGE = 'filebeat-7.1.1-linux-x86_64' %}
{% set SERVICE_NAME = 'nginx' %}
{% set LOG_PATH = '/var/log/nginx/access.log' %}
{% set NEW_SERVICE_NAME = 'keepalived' %}
{% set NEW_LOG_PATH = '/var/log/keepalived.log' %}

首次安装：

  • PACKAGE：filebeat安装包
  • SERVICE_NAME：服务标识
  • LOG_PATH：服务对应日志

后续新增：

  • NEW_SERVICE_NAME：新增的服务标识
  • NEW_LOG_PATH：新增的服务对应日志

在脚本开始执行之前，会对目标主机做一个判断，判断是否已经安装了filebeat，如果已经安装了则不走首次安装的逻辑，走后续新增的逻辑

如果没有安装则走首次安装的逻辑

如果目标主机已经安装了filebeat但不需要新增服务接入日志，但是还是走了一遍后续新增的逻辑，这是不影响的，因为在append.sh里面会有一个判断

执行首次安装部署逻辑

filebeat_source:
  file.managed:
    - name: /tmp/{{PACKAGE}}.tar.gz
    - source: salt://filebeat/{{PACKAGE}}.tar.gz
    - onlyif:
      - cmd: rpm -qi filebeat && exit 127

PS：注意这里

 - onlyif:
      - cmd: rpm -qi filebeat && exit 127

这段字段逻辑是在目标主机执行rpm -qi filebeat语句，检查是否已经安装过filebeat，如果没有安装则返回一个非0的状态码（这里我设成返回127）

然后onlyif字段是指返回非0就执行filebeat_source:对应的内容，返回0就不执行

又因为下面的语句是依赖于filebeat_source的，所以如果目标主机安装了filebeat，就不会执行filebeat_source语句，也不会执行后面所依赖的语句

完整脚本如下：

filebeat_source:
  file.managed:
    - name: /tmp/{{PACKAGE}}.tar.gz
    - source: salt://filebeat/{{PACKAGE}}.tar.gz
    - onlyif:
      - cmd: rpm -qi filebeat && exit 127

filebeat_extract:
  cmd.run:
    - cwd: /tmp
    - names:
      - tar zxf {{PACKAGE}}.tar.gz
    - require:
      - file: filebeat_source
    - unless:
      - test -d /tmp/{{PACKAGE}}

filebeat_install:
  cmd.run:
    - cwd: /tmp/{{PACKAGE}}
    - names: 
      - /bin/bash install.sh
    - require:
      - cmd: filebeat_extract
    - unless:
      - test -d /etc/filebeat

copy_yml:
  cmd.run:
    - cwd: /etc/filebeat
    - names: 
      - mv filebeat.yml filebeat.yml.bak
    - require:
      - cmd: filebeat_install
    - unless:
      - test -e /etc/filebeat/filebeat.yml.bak

filebeat_yml:
  file.managed:
    - name: /etc/filebeat/filebeat.yml
    - source: salt://filebeat/filebeat.yml
    - require:
      - cmd: copy_yml
    - template: jinja
    - defaults:
      server_name: {{ SERVICE_NAME }}
      log_path: {{ LOG_PATH }} 
    - unless:
      - test -e /etc/filebeat/filebeat.yml

filebeat_start:
  cmd.run:
    - name: systemctl start filebeat
    - require:
      - file: filebeat_yml
    - unless:
      - systemctl status filebeat

执行后续新增逻辑

我们来看下后续新增脚本的逻辑

script_source:
  file.managed:
    - name: /etc/filebeat/append.sh
    - source: salt://filebeat/append.sh
    - onlyif:
      - cmd: rpm -qi filebeat
    - unless:
      - test -e /etc/filebeat/append.sh

开始执行之前会先在目标主机上执行rpm -qi filebeat语句，如果存在返回0，就会执行后面的语句

完整脚本如下:

script_source:
  file.managed:
    - name: /etc/filebeat/append.sh
    - source: salt://filebeat/append.sh
    - onlyif:
      - cmd: rpm -qi filebeat
    - unless:
      - test -e /etc/filebeat/append.sh
      
yml_append:
  cmd.run:
    - cwd: /etc/filebeat
    - names:
      - /bin/bash append.sh {{NEW_SERVICE_NAME}} {{NEW_LOG_PATH}}
    - require:
      - file: script_source

filebeat_restart:
  cmd.run:
    - name: systemctl restart filebeat
    - require:
      - cmd: yml_append
文章标签：
日志服务
Perl
Go
Shell
监控
运维
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
咸鱼运维杂谈
目录
相关文章
老陈聊架构
|
Windows
『NSSM』将Kibana及Logstash设置为Windows服务启动
📣读完这篇文章里你能收获到 - NSSM下载及使用 - 将Kibana及Logstash设置为Windows服务启动
老陈聊架构
450 0
『NSSM』将Kibana及Logstash设置为Windows服务启动
蓝易云
|
2月前
|
存储 Prometheus 监控
在Ubuntu系统上安装与配置Prometheus的步骤
通过以上步骤，您应该已经成功在Ubuntu系统上安装并配置了Prometheus。您现在可以开始使用Prometheus收集和分析您的系统和应用程序的指标数据了。
蓝易云
158 1
兮动人
|
6月前
|
Java Apache Maven
mvnd 安装和配置
mvnd 安装和配置
兮动人
132 0
mvnd 安装和配置
季风泯灭的季节
|
6月前
|
监控
MetricBeat安装使用
MetricBeat安装使用
季风泯灭的季节
119 0
季风泯灭的季节
|
6月前
Filebeat安装部署
Filebeat安装部署
季风泯灭的季节
199 0
javaedge
|
Prometheus Cloud Native Linux
Linux系统安装部署及配置Grafana
wget https://dl.grafana.com/oss/release/grafana-8.0.3-1.x86_64.rpm
javaedge
1637 0
xchwang1998
|
Ubuntu
Cartographer配置与安装
Cartographer配置与安装
xchwang1998
515 0
Cartographer配置与安装
No8g攻城狮
|
关系型数据库 MySQL 数据库
【工具安装】logstash的安装
Logstash 它是 ES 下的一款开源软件，它能够同时从多个来源采集数据、转换数据，然后将数据发送到 Eleasticsearch 中创建索引。 我们在项目中通常使用 Logstash 将数据库（如 MySQL）中的数据采用到ES索引中。也就是Logstash的工作是从MySQL中读取数据，向ES中创建索引，这里需要提前创建mapping的模板文件以便logstash使用。
No8g攻城狮
139 0
【工具安装】logstash的安装
掂掂三生有幸
|
JavaScript 数据可视化 Java
ElasticSerach、kibana配置文件讲解及安装（二更）
ElasticSerach、kibana配置文件讲解及安装（二更）
掂掂三生有幸
187 0
ElasticSerach、kibana配置文件讲解及安装（二更）
李广妮
|
自然语言处理 安全 Java
Linux环境下ElasticSearch7.6的安装、配置及开机启动
本文将讲解在CentOS7环境下的ElasticSearch7.6环境的搭建及配置及开机启动配置
李广妮
3556 0
Linux环境下ElasticSearch7.6的安装、配置及开机启动

热门文章

最新文章

  • 1
    weex-html5 组件进阶
  • 2
    会声会影2023视频编辑软件免费序列号永久
  • 3
    苹果电脑 Mac OS X 系统上防止误按 command+Q 退出软件
  • 4
    SSH连接远程服务器，本地known_hosts文件记录了什么
  • 5
    31.6. MongoDB
  • 6
    saltstack的探索-改善管理用户的sls文件
  • 7
    marathon小知识点分享之如何远程调试marathon
  • 8
    Myeclipse 操作数据库
  • 9
    光伏发电或能控制城市天气
  • 10
    WPF进度条
  • 1
    ROS机器视觉入门：从基础到人脸识别与目标检测
    90
  • 2
    鸿蒙开发：自定义一个简单的标题栏
    31
  • 3
    鸿蒙开发：切换至基于rcp的网络请求
    33
  • 4
    【MyBatisPlus·最新教程】包含多个改造案例，常用注解、条件构造器、代码生成、静态工具、类型处理器、分页插件、自动填充字段
    41
  • 5
    《C++跨平台编译：打破系统边界，释放代码潜能》
    28
  • 6
    电路板设计中射频反馈线的优化
    15
  • 7
    《C++20 图形界面程序：速度与渲染效率的双重优化秘籍》
    14
  • 8
    图解 Spring 循环依赖，一文吃透！
    25
  • 9
    关于 Kafka 高性能架构，这篇说得最全面，建议收藏！
    16
  • 10
    微服务和 SOA 的 6 大核心区别，你都知道吗？
    22

    • 相关课程

    更多
  • Linux Web服务器Nginx搭建与配置

    • 相关电子书

    更多
  • ANSIBLE在生产环境中的实践
  • 《Nginx 代理系统常用手册》
  • 低代码开发师（初级）实战教程

    • 相关实验场景

    更多
  • 如何快速创建插件agent
  • 安装配置Terraform环境
  • 基于ROS快速部署LNMP环境（CentOS 7）
  • 基于ROS一键安装LAMP环境
  • 基于Mappings自动化配置yum源
  • 通过Helm CLI部署wordpress到ACK集群
    • 下一篇
    阿里云OSS设置跨域访问