组件简介:
- kibana用于日志的展示及配合es进行过滤等功能的展示
- es用于存储logstash处理后的日志,并实现日志的过滤等功能,kibana展示的数据都是从es获取的。
- logstash无状态的服务,将kafka发送的信息通过正则匹配后发送给es,主要的功能就是将成串的数据通过正则的方式匹配成es可过滤的数据段,发送给es进行存储。
- kafka将filebeat发送过来的数据以时间流为标识实时的推送给logstash进行处理,使用kafka的目的是当获取的数据量大的情况下,方便扩容logstash节点,不使用Kafka我们扩容logstash的时候需要修改每台机器的filebeat文件,而使用了Kafka我们只需要修改Kafka集群的配置即可完成扩容,减少了运维成本。
- filebeatfilebeat是一个轻量化的日志收集工具,适合安装在需要获取日志的每台服务器上,获取日志并发送到kafka。
一、基础环境优化
# 关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service #查看selinux getenforce #关闭selinux setenforce 0 #永久关闭selinux sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config #清除iptables 规则 iptables -F systemctl stop NetworkManager systemctl disable NetworkManager #备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup #配置源 curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo #清除缓存 yum clean all #安装常用命令及依赖 yum install -y net-tools lrzsz vim libaio-devel wget\ tree libaio-devel lsof sysstat lrzsz ntpdate wget bash-completion bash-completion-extras # ntp 时间同步 ntpdate ntp.aliyun.com cat >>/var/spool/cron/root<<EOF # ntp 时间同步 00 00 * * * /usr/sbin/ntpdate ntp.aliyun.com EOF