一文吃透企业级elk技术栈:1. 基础优化

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 一文吃透企业级elk技术栈:1. 基础优化

组件简介:

  • kibana用于日志的展示及配合es进行过滤等功能的展示
  • es用于存储logstash处理后的日志,并实现日志的过滤等功能,kibana展示的数据都是从es获取的。
  • logstash无状态的服务,将kafka发送的信息通过正则匹配后发送给es,主要的功能就是将成串的数据通过正则的方式匹配成es可过滤的数据段,发送给es进行存储。
  • kafka将filebeat发送过来的数据以时间流为标识实时的推送给logstash进行处理,使用kafka的目的是当获取的数据量大的情况下,方便扩容logstash节点,不使用Kafka我们扩容logstash的时候需要修改每台机器的filebeat文件,而使用了Kafka我们只需要修改Kafka集群的配置即可完成扩容,减少了运维成本。
  • filebeatfilebeat是一个轻量化的日志收集工具,适合安装在需要获取日志的每台服务器上,获取日志并发送到kafka。

一、基础环境优化

# 关闭防火墙
systemctl stop firewalld.service 
systemctl disable  firewalld.service
#查看selinux
getenforce 
#关闭selinux
setenforce 0  
#永久关闭selinux
sed -i  's#SELINUX=enforcing#SELINUX=disabled#g'   /etc/selinux/config
#清除iptables 规则
iptables -F
systemctl stop  NetworkManager
systemctl disable  NetworkManager
#备份
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
#配置源
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
#清除缓存
yum clean all
#安装常用命令及依赖
yum install   -y  net-tools lrzsz  vim  libaio-devel wget\
tree  libaio-devel lsof sysstat lrzsz ntpdate  wget  bash-completion  bash-completion-extras
# ntp 时间同步
ntpdate ntp.aliyun.com
cat >>/var/spool/cron/root<<EOF
# ntp 时间同步
00 00 * * * /usr/sbin/ntpdate ntp.aliyun.com
EOF


相关文章
|
23天前
|
监控
一文吃透企业级elk技术栈:9. zabbix结合logstash告警
一文吃透企业级elk技术栈:9. zabbix结合logstash告警
|
23天前
|
NoSQL 关系型数据库 MySQL
一文吃透企业级elk技术栈:7. 验证结果
一文吃透企业级elk技术栈:7. 验证结果
|
12天前
|
消息中间件 Kafka 网络安全
一文吃透企业级elk技术栈:elk 各组件调试
调试需先理解逻辑与程序调用顺序。本文介绍filebeat、kafka、logstash和es的数据推送流程及调试方法:filebeat传输数据检查包括服务状态、配置与日志;kafka调试涵盖服务状态、端口与日志;logstash调试需检查配置文件、日志与流量;es直接通过kibana查看。还介绍了使用rsyslog接收防火墙/waf/交换机日志的方法。
|
19天前
|
存储 Kubernetes 监控
在K8S中,ELK是如何实现及如何优化的ES?
在K8S中,ELK是如何实现及如何优化的ES?
|
22天前
|
监控 关系型数据库 MySQL
一文吃透企业级elk技术栈:11. zabbix报警实现
一文吃透企业级elk技术栈:11. zabbix报警实现
一文吃透企业级elk技术栈:10. es数据生命周期管理
一文吃透企业级elk技术栈:10. es数据生命周期管理
|
23天前
|
NoSQL 关系型数据库 MySQL
一文吃透企业级elk技术栈:6. filebeat安装配置
一文吃透企业级elk技术栈:6. filebeat安装配置
|
23天前
|
监控 NoSQL 关系型数据库
一文吃透企业级elk技术栈:5. logstatsh 安装配置
一文吃透企业级elk技术栈:5. logstatsh 安装配置
|
15天前
|
消息中间件 Kafka 开发工具
rsyslog+ELK收集Cisco日志
rsyslog+ELK收集Cisco日志
|
1月前
|
运维 监控 Ubuntu
一键启动日志魔法:揭秘ELK自动安装脚本的神秘面纱!
【8月更文挑战第9天】在数据驱动时代,高效处理日志至关重要。ELK Stack(Elasticsearch、Logstash、Kibana)是强大的日志分析工具,但其复杂的安装配置常让初学者望而却步。本文介绍如何编写ELK自动安装脚本,简化部署流程。脚本适用于Ubuntu系统,自动完成ELK下载、安装及基本配置,包括依赖项安装、服务启动及自启设置,极大降低了使用门槛,助力运维人员和开发者轻松构建日志分析平台。
80 6