一文吃透企业级elk技术栈:1. 基础优化

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 一文吃透企业级elk技术栈:1. 基础优化

组件简介:

  • kibana用于日志的展示及配合es进行过滤等功能的展示
  • es用于存储logstash处理后的日志,并实现日志的过滤等功能,kibana展示的数据都是从es获取的。
  • logstash无状态的服务,将kafka发送的信息通过正则匹配后发送给es,主要的功能就是将成串的数据通过正则的方式匹配成es可过滤的数据段,发送给es进行存储。
  • kafka将filebeat发送过来的数据以时间流为标识实时的推送给logstash进行处理,使用kafka的目的是当获取的数据量大的情况下,方便扩容logstash节点,不使用Kafka我们扩容logstash的时候需要修改每台机器的filebeat文件,而使用了Kafka我们只需要修改Kafka集群的配置即可完成扩容,减少了运维成本。
  • filebeatfilebeat是一个轻量化的日志收集工具,适合安装在需要获取日志的每台服务器上,获取日志并发送到kafka。

一、基础环境优化

# 关闭防火墙
systemctl stop firewalld.service 
systemctl disable  firewalld.service
#查看selinux
getenforce 
#关闭selinux
setenforce 0  
#永久关闭selinux
sed -i  's#SELINUX=enforcing#SELINUX=disabled#g'   /etc/selinux/config
#清除iptables 规则
iptables -F
systemctl stop  NetworkManager
systemctl disable  NetworkManager
#备份
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
#配置源
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
#清除缓存
yum clean all
#安装常用命令及依赖
yum install   -y  net-tools lrzsz  vim  libaio-devel wget\
tree  libaio-devel lsof sysstat lrzsz ntpdate  wget  bash-completion  bash-completion-extras
# ntp 时间同步
ntpdate ntp.aliyun.com
cat >>/var/spool/cron/root<<EOF
# ntp 时间同步
00 00 * * * /usr/sbin/ntpdate ntp.aliyun.com
EOF


目录
打赏
0
1
1
0
29
分享
相关文章
一文吃透企业级elk技术栈:9. zabbix结合logstash告警
一文吃透企业级elk技术栈:9. zabbix结合logstash告警
一文吃透企业级elk技术栈:elk 各组件调试
调试需先理解逻辑与程序调用顺序。本文介绍filebeat、kafka、logstash和es的数据推送流程及调试方法:filebeat传输数据检查包括服务状态、配置与日志;kafka调试涵盖服务状态、端口与日志;logstash调试需检查配置文件、日志与流量;es直接通过kibana查看。还介绍了使用rsyslog接收防火墙/waf/交换机日志的方法。
在K8S中,ELK是如何实现及如何优化的ES?
在K8S中,ELK是如何实现及如何优化的ES?
一文吃透企业级elk技术栈:10. es数据生命周期管理
一文吃透企业级elk技术栈:10. es数据生命周期管理
一文吃透企业级elk技术栈:6. filebeat安装配置
一文吃透企业级elk技术栈:6. filebeat安装配置
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤,你可以成功配置ELK(Elasticsearch, Logstash, Kibana)来实现nginx、mysql和http日志的可视化。通过Kibana,你可以直观地查看和分析日志数据,从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
383 90
登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问