Kibana部署
1下载并安装
mkdir -p /usr/local/kibana
cd /usr/local/kibana
wget -c https://artifacts.elastic.co/downloads/kibana/kibana-7.10.0-x86_64.rpm
rpm -ivh kibana-7.10.0-x86_64.rpm
2,配置
修改配置文件 /etc/kibana/kibana.yml
添加 Elasticsearch 访问地址：
elasticsearch.hosts: ["http://192.168.16.14:9200"]
3,启动服务
systemctl start kibana
Beats 组件的下载和安装
1， Beats 组件的下载和安装
curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.10.0-x86_64.rpm
sudo rpm -vi metricbeat-7.10.0-x86_64.rpm
2，配置
配置 Elasticsearch 和 Kibana 的host和端口。
vi /etc/metricbeat/metricbeat.yml
3,启动
初始化环境
/usr/bin/metricbeat setup -e
启动beats：
/usr/bin/metricbeat -e
Logstash部署
下载安装
# 下载安装公钥
> sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
# 新建文件/etc/yum.repos.d/logstash.repo，并插入以下内容
[logstash-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
# 安装 logstash
> sudo yum install logstash
启动
/usr/share/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'
收集数据
Logstash 包含 3 个主要部分：输入（inputs），过滤器（filters）和输出（outputs）。下面以采集 log4j 日志并输出到 Elasticsearch 为例进行阐述。
创建收集数据的配置文件 bin/log4j2es.conf，插入以下内容：
input {
file {
# 要采集的 log 文件路径
path => "/opt/hadoop-3.2.1/logs/hadoop-root-datanode-poc-t5w0.log"
}
}
filter {
}
output {
stdout {
codec => rubydebug
}
elasticsearch {
hosts => ["192.168.201.78:9200"]
}
}
指定配置启动 Logstash：
bin/logstash -f bin/log4j2es.conf
