Filebeat的安装和使用(Linux)

简介: Filebeat的安装和使用(Linux)

安装 filebeat-7.9.3(与Elasticsearch版本一致)

考虑到Elasticsearch 比较费硬盘空间,所以目前项目中只上传error的日志。详细日志还是去具体服务器查看(没有专门运维)

普通安装:

  1. 上传并解压filebeat-7.9.3-linux-x86_64.tar.gz,
  2. 修改 filebeat.yml,
  3. 启动 ./filebeat -c filebeat.yml -e

Docker 安装

docker pull elastic/filebeat:7.9.3

将 filebeat.yml 文件传到linux 服务器 /opt/filebeat 目录中

filebeat.inputs:
# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.
- type: log 
  enabled: true 
  paths:    
    - /opt/logs/ai_api_dev/*.log
    # - /opt/logs/ai_api_dev/*error*.log # 只看error    
    #- D:\Projects\logs\*.log
  fields:
    # 额外添加的字段
    project-name: ai_api_dev
  exclude_lines: ['DEBUG']
  tags: ["ai_api_dev"]
- type: log
  enabled: true
  paths:    
    - /opt/logs/ai_schedule_dev/*.log
  fields:
    project-name: ai_ecgreport_schedule_dev
  exclude_lines: ['DEBUG']
  tags: ["ai_schedule_dev"]
# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["172.16.3.61:9200"]
  indices:
    - index: "ai_api_dev_%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "ai_api_dev"
    - index: "ai_schedule_dev_%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "ai_schedule_dev"
 
processors: 
  - drop_fields:
      fields: ['agent']
      when.contains:
        tags: "ai_api_dev"
  - drop_fields:
      fields: ['agent']
      when.contains:
        tags: "ai_schedule_dev"

文件权限 755 ,不能是777,否则会报

Exiting: error loading config file: config file ("filebeat.yml") can only be writable by the owner but the permissions are "-rwxrwxrwx" (to fix the permissions use: 'chmod go-w /usr/share/filebeat/filebeat.yml')

#运行
docker run --name filebeat --restart always --privileged=true -d \
  -v /opt/filebeat/logs/:/logs/ \
  -v /opt/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml   \
  -v /data/tenant/service/:/data/tenant/service \
  -v /opt/logs/:/opt/logs/ \
  elastic/filebeat:7.9.3
#查看日志
docker logs --tail=100 -f d69

Observability => 日志

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
目录
相关文章
|
6月前
|
Ubuntu Linux
计算机基础知识:linux系统怎么安装?
在虚拟机软件中创建一个新的虚拟机,并选择相应操作系统类型和硬盘空间大小等参数。将下载的 ISO 镜像文件加载到虚拟机中。启动虚拟机,进入安装界面,并按照步骤进行安装。安装完成后,可以在虚拟机中使用 Linux 系统。
|
6月前
|
Ubuntu Linux
任何Ubuntu用户都应安装的四大Linux应用程序
当然,这款程序不需要太多介绍。我们面对的是网上最庞大最完整的多媒体中心,由于丰富的插件,我们能够高度细化地定制其每一项功能。这是我们的Linux发行版不可或缺的必备软件。 我们可以通过运行以下命令来轻松安装Kodi:sudo apt install kodi。
|
6月前
|
Ubuntu 物联网 Linux
从零安装一个Linux操作系统几种方法,以Ubuntu18.04为例
一切就绪后,我们就可以安装操作系统了。当系统通过优盘引导起来之后,我们就可以看到跟虚拟机中一样的安装向导了。之后,大家按照虚拟机中的顺序安装即可。 好了,今天主要介绍了Ubuntu Server版操作系统的安装过程,关于如何使用该操作系统,及操作系统更深层的原理,还请关注本号及相关圈子。
|
6月前
|
Ubuntu Linux 网络安全
Linux服务器之Ubuntu的安装与配置
Ubuntu Desktop是目前最成功、最流行的图形界面的Linux发行版;而Ubuntu Server也在服务器端市场占据了较大的份额。今天为大家详细介绍了Ubuntu Server的安装与配置,希望对你能有所帮助。关于VMware、VirtualBox等虚拟化软件的使用,朱哥还会在后续的文章中为大家详细介绍,敬请关注!
|
4月前
|
安全 Linux iOS开发
Nessus Professional 10.10 Auto Installer for RHEL 10, AlmaLinux 10, Rocky Linux 10 - Nessus 自动化安装程序
Nessus Professional 10.10 Auto Installer for RHEL 10, AlmaLinux 10, Rocky Linux 10 - Nessus 自动化安装程序
280 6
Nessus Professional 10.10 Auto Installer for RHEL 10, AlmaLinux 10, Rocky Linux 10 - Nessus 自动化安装程序
|
7月前
|
Linux 网络安全 Apache
针对在Centos/Linux安装Apache过程中出现的常见问题集锦
以上每个问题的解决方案应深入分析错误日志、系统消息和各种配置文件,以找到根本原因并加以解决。务必保持系统和Apache软件包更新到最新版本,以修复已知的bugs和安全漏洞。安装和管理Web服务器是一项需要细致关注和不断学习的任务。随着技术的发展,推荐定期查看官方文档和社区论坛,以保持知识的更新。
299 80
|
4月前
|
消息中间件 Kafka Linux
Linux下安装Kafka 3.9.1
本文介绍Kafka 3.9.1版本的安装与配置,包括通过ZooKeeper或KRaft模式启动Kafka。涵盖环境变量设置、日志路径修改、集群UUID生成、存储格式化及服务启停操作,适用于Linux环境下的部署实践。
497 0
|
6月前
|
网络协议 关系型数据库 Linux
【App Service Linux】在Linux App Service中安装 tcpdump 并抓取网络包
在App Service for Linux环境中,无法像Windows一样直接使用网络排查工具抓包。本文介绍了如何通过TCPDUMP在Linux环境下抓取网络包,包括SSH进入容器、安装tcpdump、执行抓包命令及下载分析文件的完整操作步骤。
300 5
|
6月前
|
弹性计算 安全 Linux
阿里云服务器ECS安装宝塔Linux面板、安装网站(新手图文教程)
本教程详解如何在阿里云服务器上安装宝塔Linux面板,涵盖ECS服务器手动安装步骤,包括系统准备、远程连接、安装命令执行、端口开放及LNMP环境部署,手把手引导用户快速搭建网站环境。