【Elastic Engineering】Beats:解密 Filebeat 中的 setup 命令

简介: 这个步骤非常重要,但是描述的内容并不是很多。为什么需要这个步骤呢?它到底能够做什么呢?


在我之前的教程:



我已经详述了如果启动 Filebeat 并监督系统日志。在启动 Filebeat 的过程中,有一个很重要的步骤就是:


./filebeat setup


这个步骤非常重要,但是描述的内容并不是很多。为什么需要这个步骤呢?它到底能够做什么呢?


首先,我们在命令的输出中,我们可以看到如下的内容:


$ ./filebeat setup
Overwriting ILM policy is disabled. Set `setup.ilm.overwrite: true` for enabling.
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
Setting up ML using setup --machine-learning is going to be removed in 8.0.0. Please use the ML app instead.
See more: https://www.elastic.co/guide/en/machine-learning/current/index.html
Loaded machine learning job configurations
Loaded Ingest pipelines
liuxg:filebeat-7.9.1-darwin-x86_64 liuxg$ ./filebeat modules enable system
Enabled system


从上面的输出的内容我们可以看出来这个步骤做了如下的几个事情:


1)Index setup finished


在这个步骤中,它将创建一个 index template,并创建好相应的 index pattern。我们可以在 Kibana 中看到如下的一个新的 index pattern 被创建:



也就是说所有的 filebeat 导入的文件将会自动被这个 index pattern 所访问。


同时它也生产一个相应的 Index Life Cycle Management policy:



我们可以点击 actions 来查看这个 policy 的内容。我们甚至可以来修改这个内容。


我们也可以使用如下的命令来查看为 filebeat 而创建的 index template:


GET _template/filebeat-7.9.1


我们从上面可以看出来这个 index template 里有一个 rollover_alias 叫做 filebeat-7.9.1。我们可以通过如下的方式来查看:


GET _alias/filebeat-7.9.1


上面的命令显示:


{
  "filebeat-7.9.1-2020.10.20-000001" : {
    "aliases" : {
      "filebeat-7.9.1" : {
        "is_write_index" : true
      }
    }
  }
}


我们可以通过 filebeat-7.9.1 这个 alias 来访问所有的 filebeat 的文档:


GET filebeat-7.9.1/_search


2)Loaded dashboards


这个表明它帮我们装载所有和 Filebeat 相关的 dasboards:



在执行完 setup 命令后,我们可以在 Dashboards 中发现已经帮我们生产好的 Dashboard 来供我们使用。

 

3)Setting up ML using setup


这个用来设置一下机器学习的配置。机器学习是白金版的功能。我们必须打开30天试用才可以使用:



具体的使用请参考 https://www.elastic.co/guide/en/machine-learning/current/index.html


4)Loaded Ingest pipelines


它表明装载 ingest pipelines。在没有启动任何的模块之前,我们在 Kibana 中也找不到任何东西,但是一旦我们使用如下的方法来启动一个模块:


./filebeat modules enable system


在上面,我们启动了 system 这个模块。那么在我们的 Kibana 中,我们可以看到:



在上面,我们可以看到有两个 ingest pipeline 同时被创建。我们可以点击右边的三个点进行编辑:



我们可以查看当前的这个 ingest pipeline 的定义情况。当然我们也可以直接点击 Test pipeline 来进行测试。我们可以打开自己的电脑系统,并在如下的路径打开文件:


Mac OS:


/var/log/system.log


Ubuntu OS:


/var/log/syslog


我们拷贝其中的一条信息:



并在 Test pipeline 的窗口中进行如下的编辑:



点击 Run the pipeline:



我们可以看到上面的输出。从上面我们可以看出来这个 ingest pipeline 能够正确地分析 system.log/syslog 信息。


我们可以通过如下的方式来获得这个 ingest pipeline 的内容:


GET _ingest/pipeline/filebeat-7.9.1-system-syslog-pipeline

上面的命令显示:

{
  "filebeat-7.9.1-system-syslog-pipeline" : {
    "description" : "Pipeline for parsing Syslog messages.",
    "processors" : [
      {
        "grok" : {
          "field" : "message",
          "patterns" : [
            """%{SYSLOGTIMESTAMP:system.syslog.timestamp} %{SYSLOGHOST:host.hostname} %{DATA:process.name}(?:\[%{POSINT:process.pid:long}\])?: %{GREEDYMULTILINE:system.syslog.message}""",
            "%{SYSLOGTIMESTAMP:system.syslog.timestamp} %{GREEDYMULTILINE:system.syslog.message}",
            """%{TIMESTAMP_ISO8601:system.syslog.timestamp} %{SYSLOGHOST:host.hostname} %{DATA:process.name}(?:\[%{POSINT:process.pid:long}\])?: %{GREEDYMULTILINE:system.syslog.message}"""
          ],
          "pattern_definitions" : {
            "GREEDYMULTILINE" : """(.|
)*"""
          },
          "ignore_missing" : true
        }
      },
      {
        "remove" : {
          "field" : "message"
        }
      },
      {
        "rename" : {
          "field" : "system.syslog.message",
          "target_field" : "message",
          "ignore_missing" : true
        }
      },
      {
        "date" : {
          "if" : "ctx.event.timezone == null",
          "field" : "system.syslog.timestamp",
          "target_field" : "@timestamp",
          "formats" : [
            "MMM  d HH:mm:ss",
            "MMM dd HH:mm:ss",
            "MMM d HH:mm:ss",
            "ISO8601"
          ],
          "on_failure" : [
            {
              "append" : {
                "field" : "error.message",
                "value" : "{{ _ingest.on_failure_message }}"
              }
            }
          ]
        }
      },
      {
        "date" : {
          "field" : "system.syslog.timestamp",
          "target_field" : "@timestamp",
          "formats" : [
            "MMM  d HH:mm:ss",
            "MMM dd HH:mm:ss",
            "MMM d HH:mm:ss",
            "ISO8601"
          ],
          "timezone" : "{{ event.timezone }}",
          "on_failure" : [
            {
              "append" : {
                "field" : "error.message",
                "value" : "{{ _ingest.on_failure_message }}"
              }
            }
          ],
          "if" : "ctx.event.timezone != null"
        }
      },
      {
        "remove" : {
          "field" : "system.syslog.timestamp"
        }
      },
      {
        "set" : {
          "value" : "event",
          "field" : "event.type"
        }
      }
    ],
    "on_failure" : [
      {
        "set" : {
          "field" : "error.message",
          "value" : "{{ _ingest.on_failure_message }}"
        }
      }
    ]
  }
}


同样地,我们也可以通过如下的方式来进行测试这个 ingest pipeline:


POST _ingest/pipeline/filebeat-7.9.1-system-syslog-pipeline/_simulate
{
  "docs": [
    {
      "_source": {
        "message": "Oct 20 00:41:22 liuxg syslogd[122]: Configuration Notice: ASL Module \"com.apple.cdscheduler\" claims selected messages. Those messages may not appear in standard system log files or in the ASL database."
      }
    }
  ]
}


上面的命令显示的结果是:


{
  "docs" : [
    {
      "doc" : {
        "_index" : "_index",
        "_type" : "_doc",
        "_id" : "_id",
        "_source" : {
          "process" : {
            "name" : "syslogd",
            "pid" : 122
          },
          "system" : {
            "syslog" : {
              "timestamp" : "Oct 20 00:41:22"
            }
          },
          "host" : {
            "hostname" : "liuxg"
          },
          "message" : """Configuration Notice: ASL Module "com.apple.cdscheduler" claims selected messages. Those messages may not appear in standard system log files or in the ASL database.""",
          "error" : {
            "message" : ""
          }
        },
        "_ingest" : {
          "timestamp" : "2020-10-20T06:45:00.940665Z"
        }
      }
    }
  ]
}


显然这个 ingest pipeline 能够正确地解析我们的 syslog 内容。


相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
8月前
|
缓存 监控 API
使用API获取新加坡股票数据的完整指南
本文为开发者提供获取新加坡股票数据的完整API指南,涵盖股票列表、历史K线、STI指数等核心接口调用方法,附Python实战示例(含实时监控、量化回测、WebSocket订阅与缓存优化),助力金融科技应用高效开发。(239字)
|
存储 编解码 Prometheus
大模型推理加速实战:vLLM 部署 Llama3 的量化与批处理优化指南
本文详解如何通过量化与批处理优化,在vLLM中高效部署Llama3大模型。涵盖内存管理、推理加速及混合策略,提升吞吐量并降低延迟,适用于大规模语言模型部署实践。
3014 10
|
存储 数据采集 小程序
【编程课堂】计数器 Counter
上一期的编程课堂我们介绍了 有序字典 OrderedDict,这一期我们再来聊聊 同属 collections 模块的另一种数据类型 Counter。
349 0
|
监控 程序员 网络安全
你所不了解的Wireshark,当程序员肚里的“蛔虫”
Wireshark早已成为网络分析领域里的标配工具,随着Internet和TCP/IP网络的极速发展,该工具受到了网络分析专家及排障工程师的热捧,同时获得了研发工程师们的青睐,因为后一类人需要知道协议在网络中的实际运作方式以及在运行时所碰到的问题。
2620 0
|
3天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1676 2
|
6天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
6天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
3天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
3412 0

热门文章

最新文章