安装 Beats (本地及 Docker)-Elastic Stack 实战手册-阿里云开发者社区

开发者社区> Elasticsearch 技术团队> 正文
登录阅读全文

安装 Beats (本地及 Docker)-Elastic Stack 实战手册

简介: Beats 是轻量级(资源高效,无依赖性,小型)和开放源代码日志发送程序的集合,这些日志发送程序充当安装在基础结构中不同服务器上的代理,用于收集日志或指标(Metrics)。这些可以是日志文件(Filebeat),网络数据(Packetbeat),服务器指标(Metricbeat)或 Elastic 和社区开发的越来越多的 Beats 可以收集的任何其他类型的数据。 收集后,数据将直接发送到 Elasticsearch 或 Logstash 中进行其他处理。Beats 建立在名为 libbeat 的 Go 框架之上,该框架用于数据转发,这意味着社区一直在开发和贡献新的 Beats。

970X90.png

· 更多精彩内容,请下载阅读全本《Elastic Stack实战手册》

· 加入创作人行列,一起交流碰撞,参与技术圈年度盛事吧

创作人:冯江涛
审稿人:刘帅

Beats 是轻量级(资源高效,无依赖性,小型)和开放源代码日志发送程序的集合,这些日志发送程序充当安装在基础结构中不同服务器上的代理,用于收集日志或指标(Metrics)。这些可以是日志文件(Filebeat),网络数据(Packetbeat),服务器指标(Metricbeat)或 Elastic 和社区开发的越来越多的 Beats 可以收集的任何其他类型的数据。 收集后,数据将直接发送到 Elasticsearch 或 Logstash 中进行其他处理。Beats 建立在名为 libbeat 的 Go 框架之上,该框架用于数据转发,这意味着社区一直在开发和贡献新的 Beats。

Elastic Beats

6.png

环境准备

作为 Elastic Stack 的补充,在使用 Beats 之前,需要已安装好 Elasticearch 和 Kibana。Elasticsearch 用来存储,分析和检索数据,而 Kibana 作为可视化,监控和管理端。

接下来将基于 Elastic Stack 7.1.0 版本为基础,以 Metricbeat 组件为例,其他 Beats 组件使用方法类似。在安装 Beats 时,需要注意的一点是 Beats 的版本要和 Elasticsearch 及 Kibana 的版本一致,或至少是大版本是一致的。

Beats 组件的下载和安装

根据不同操作系统,选择合适的安装包。下面以 Elastic Stack 7.10 为例来展示 Metricbeat 的安装过程。如果你想安装其它版本的 Metricbeat,请替换命令行中的版本 7.10.0,然后按照同样的方法来进行安装。

deb:

curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.10.0-amd64.deb
sudo dpkg -i metricbeat-7.10.0-amd64.deb

rpm:

curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.10.0-x86_64.rpm
sudo rpm -vi metricbeat-7.10.0-x86_64.rpm

mac:

curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.10.0-darwin-x86_64.tar.gz
tar xzvf metricbeat-7.10.0-darwin-x86_64.tar.gz

brew:

brew tap elastic/tap
brew install elastic/tap/metricbeat-full

linux:

curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.10.0-linux-x86_64.tar.gz
tar xzvf metricbeat-7.10.0-linux-x86_64.tar.gz

win:

# 1.进入目录
> cd C:\Program Files\Metricbeat
# 2.安装Metricbeat为Windows服务
> .\install-service-metricbeat.ps1
更多 Beats 组件可以前往下载页面 Beats Downloadhttps://www.elastic.co/cn/downloads/beats

基础配置

进入解压后的 Metricbeat 目录可以看到,安装目录的根目录下如下文件及文件夹:

$ ls -l
fields.yml
kibana
LICENSE.txt
metricbeat
# 完整的配置文件模板
metricbeat.reference.yml
# 默认的配置文件
metricbeat.yml
module
modules.d
NOTICE.txt
README.md

我们只修改使用 metricbeat.yml 这个配置文件

如果你的 Elasticsearch 和 Kibana 都安装在同一台主机上,并配置了默认的端口,可以跳过此步骤不修改配置,Metricbeat 默认指定了 localhost。

output.elasticsearch:
  hosts: ["localhost:9200"]
  # 如果ElasticSearch启用了认证需要配置账号密码
  username: "YOUR_ACCOUNT"
  password: "YOUR_PASSWORD"
setup.kibana:
  host: "localhost:5601"
  # 如果kibana启用了认证需要配置账号密码
  username: "YOUR_ACCOUNT"
  password: "YOUR_PASSWORD"

配置 Metricbeat,指定运行的模块。

# 查看所有支持的模块
./metricbeat modules list
# 打开 system 模块
./metricbeat modules enable system

设置初始化环境,在此之前确保 Elasticsearch 和 Kibana 已经正常运行

./metricbeat setup -e

上面的命令输出为:

./metricbeat setup
Overwriting ILM policy is disabled. Set `setup.ilm.overwrite: true` for enabling.

Index setup finished.
Loading dashboards (Kibana must be running and reachable)

如上所示

在 setup 这个过程中,它将为 Beat 生成相应的 Dashboard,Index patterns,Index template, 索引生命周期管理策略以及相应的 Ingest pipeline。这个命令的运行时间比较长。需要耐心等待。上面的命令针对一个 Beat 来说,只需要运行一次就可以了。

启动 Beats

Metricbeat 启动后会发送 system metrics 数据到 Elasticsearch。

./metricbeat -e

是不是觉得记忆上面的安装步骤很麻烦啊?在 Kibana 中,Elastic 已经为我们如何添加数据做了详细的描述,而且安装后的版本一定是和你安装的 Elasticsearch 及 Kibana 的版本是一样的。

具体的操作步骤如下:

1.png

2.png

在上面显示了如下安装各种 Metrics 的具体步骤。以 System metrics 为例,在上面的页面中向下滚动:

3.png

4.png

在上面,我们选择所需要的操作系统。再接着按照上面的安装步骤一步一步向下走。我们就可以完成所需要的 Beat 的安装。

检查收集到的数据

我们首先打开 Kibana,并启动 Dashboard:

5.png

6.png

在上面,我们搜索 metricbeat system,我们就可以发现已经预置的 Dashboard。

我们选择 [Metricbeat System] Overview ECS:

7.png

点击 Host Overview 可以查看 Metrics 的详情:

8.png

Docker 方式安装

拉取镜像

docker pull docker.elastic.co/beats/metricbeat:7.10.0

启动 Docker 版 Metricbeat

通过 -E 设置 Elasticsearch 和 Kibana 的地址及其他参数(如果有必要)。

注意:如果是本机安装的服务,Docker 是无法通过 localhost 连接到 Elasticsearch 和 Kibana 的,可以通过增加参数 docker run --net=host,让 Docker 可以访问到宿主机的 hostname,或者可以通过 ip addr show docker0 查看 docker 的网关地址来访问宿主机。

docker run --net=host \
docker.elastic.co/beats/metricbeat:7.10.0 \
setup -E setup.kibana.host=elastichost:5601 \
-E output.elasticsearch.hosts=["elastichost:9200"] 
创作人简介:
冯江涛,关注大数据相关技术栈,擅长 HDFS、Elasticsearch 存储相关,Spark、
Flink 计算相关,以及大数据中台的开发。 Talk is cheap. Show me the code.

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享: