【日志】ELK日志处理集群部署

2022-10-22 232

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月

简介： 文章目录前言一、概念/使用环境二、组件详解2.1 elasticsearch2.2 kibana

一、概念/使用环境

ELK平台是一套完整的日志集中处理解决方案

由ElasticSearch、Logstash、Kiabana三个开源工具配合使用

是用户对日志的查询、排序、统计的强大工具组合

一般用于大型企业，中小型企业一般会选择（rsyslog+日志服务器或者shell+Python收集日志）

二、组件详解

2.1 elasticsearch

储存各类日志文件

全文检索引擎的架构

分布式村塾检所引擎

实时的、分布式、可拓展的搜索引擎

2.2 kibana

提供web界面，对es的数据提供可视化展示

汇总、分析、搜索重要数据

2.3 logstash

数据收集引擎（该功能通常会被filebeat替代）
具有过滤、分析、丰富、统一格式等操作
实现数据传输、格式化处理、格式化输出
储存数据到指定位置，一般会发送给es
拥有自适用缓冲功能

2.4 filebeat

轻量级开源日志收集器

通常用来代替logstash日志收集作用

2.5 ELFK的好处

自适用缓冲功能

从其他数据源提取数据

将数据发送到多个目的地

使用条件数据流逻辑组成更复杂的处理管道

2.6 fluentd（额外）

多用于原生环境，go语言开发

功能与logstash类型，通常代理logstash

三、集群搭建

3.1 elasticsearch

搭建两个elasticsearch服务器

systemctl stop firewalld
setenforce 0
hostnamectl set-hostname node01
su
vim /etc/hosts
  192.168.13.10 node01
  192.168.13.20 node02
cd /opt
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cat>>/etc/profile<<EOF
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
EOF
source /etc/profile
scp -r /usr/local/jdk1.8.0_91/ node02:/usr/local
scp -r /usr/local/jdk1.8.0_91/ 192.168.13.30:/usr/local
cd /opt
rpm -ivh elasticsearch-6.7.2.rpm
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak
vim elasticsearch.yml
  17行：cluster.name: my-elk-cluster
  23行：node.name: node01
  24行（插入）：node.master: true
  25行（插入）：node.data: true
  35行：path.data: /var/lib/elasticsearch
  39行：path.logs: /var/log/elasticsearch
  45行：bootstrap.memory_lock: false
  57行：network.host: 0.0.0.0
  61行：http.port: 9200
  62行（插入）：transport.tcp.port: 9300
  71行：discovery.zen.ping.unicast.hosts: ["node01:9300", "node02:9300"]
vim /etc/security/limits.conf
  *  soft    nofile          65536
  *  hard    nofile          131072
  *  soft    memlock         unlimited
  *  hard    memlock         unlimited
ulimit -n 131072
vim /etc/sysctl.conf
  vm.max_map_count=262144
sysctl -p
systemctl start elasticsearch.service
systemctl enable elasticsearch.service
#等待大约十秒钟启动时间
netstat -antp | grep 9200
#安装 Elasticsearch-head 插件
yum install gcc gcc-c++ make -y
cd /opt
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make -j 2 && make install
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
cd /opt
unzip elasticsearch-head-master.zip -d /usr/local/src/
cd /usr/local/src/elasticsearch-head-master/
npm install
vim /etc/elasticsearch/elasticsearch.yml
  末行：http.cors.enabled: true
  末行：http.cors.allow-origin: "*"
systemctl restart elasticsearch
cd /usr/local/src/elasticsearch-head-master/
#必须先移动到该目录，才能启动head服务
npm run start &
curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
#该命令创建一个索引，用于测试应用是否成功配置启动。进入192.168.13.10:9100会发现数据默认被分片成5个（此时为成功）

3.2 Apache/Logstash/kibana

受电脑性能影响，因此把三个服务安装在一台服务器上

#apache节点（ELK Logstash 部署）
systemctl stop firewalld
setenforce 0
hostnamectl set-hostname apache
su
yum -y install httpd
systemctl start httpd
vim /etc/profile
  export JAVA_HOME=/usr/local/jdk1.8.0_91
  export JRE_HOME=${JAVA_HOME}/jre
  export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
  export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
source /etc/profile
cd /opt
rpm -ivh logstash-6.7.2.rpm 
systemctl start logstash.service 
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
logstash -e 'input { stdin{} } output { stdout{} }'
  www.baidu.com
  #测试log工具是否安装成功
chmod +r /var/log/messages
vim /etc/logstash/conf.d/system.conf
#内容从此开始
input {
    file{
        path =>"/var/log/messages"
        type =>"system"
        start_position =>"beginning"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.13.10:9200","192.168.13.20:9200"]
        index =>"system-%{+YYYY.MM.dd}"
    }
}
#内容到此结束
systemctl restart logstash
#apache节点（ELK kibana 部署）
cd /opt
rpm -ihv kibana-6.7.2-x86_64.rpm
vim /etc/kibana/kibana.yml
  2行：server.port: 5601
  7行：server.host: "0.0.0.0"
  28行：elasticsearch.url:  ["http://192.168.13.10:9200","http://192.168.13.20:9200"]
  37行：kibana.index: ".kibana"
  96行：logging.dest: /var/log/kibana.log
touch /var/log/kibana.log
chown kibana:kibana /var/log/kibana.log
systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601
#此时可通过网页查看192.168.13.30:5601验证kibana是否安装成功
vim /etc/logstash/conf.d/apache_log.conf
#创建Apache日志文件配置，将 Apache 服务器的日志添加到 Elasticsearch 并通过 Kibana 显示
#文件内容从此开始
input {
    file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}
output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.13.10:9200","192.168.13.20:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    fi
    }
    if [type] == "error" {
    elasticsearch {
        hosts => ["192.168.13.10:9200","192.168.13.20:9200"]
        index => "apache_error-%{+YYYY.MM.dd}"
    }
    fi
    }
}
#文件内容到此结束
cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf
#开始收集日志

四、思维导图

五、结语

内存要给足，否则要关闭内存锁定选项：bootstrap.memory_lock: false
java环境最好安装高版本，防止版本不支持
要注意细节，比如主机名更改