一文吃透企业级elk技术栈:10. es数据生命周期管理

简介: 一文吃透企业级elk技术栈:10. es数据生命周期管理

十、es数据生命周期管理

[root@elk-01 scripts]# cat /usr/local/src/scripts/es-index-clear.sh
#/bin/bash
#es-index-clear
#只保留365天内的日志索引
LAST_DATA=`date -d "-365 days" "+%Y.%m.%d"`
for i in `cat /usr/local/src/scripts/index_name.txt`
do
#删除上个月份所有的索引
curl -XDELETE  -u elastic:'123456'  http://My_es_ip:9200/${i}-${LAST_DATA}
done
[root@elk-01 scripts]# cat index_name.txt
nginx-access
logs
metrics
mysql-err
mysql-slow
system-messages
system-secure
crontab -e添加定时任务:
0 1 * * * /usr/local/src/scripts/es-index-clear.sh
每天的凌晨一点清除索引。


相关文章
|
3月前
|
监控
一文吃透企业级elk技术栈:9. zabbix结合logstash告警
一文吃透企业级elk技术栈:9. zabbix结合logstash告警
|
3月前
|
NoSQL 关系型数据库 MySQL
一文吃透企业级elk技术栈:7. 验证结果
一文吃透企业级elk技术栈:7. 验证结果
|
3月前
|
消息中间件 Kafka 网络安全
一文吃透企业级elk技术栈:elk 各组件调试
调试需先理解逻辑与程序调用顺序。本文介绍filebeat、kafka、logstash和es的数据推送流程及调试方法:filebeat传输数据检查包括服务状态、配置与日志;kafka调试涵盖服务状态、端口与日志;logstash调试需检查配置文件、日志与流量;es直接通过kibana查看。还介绍了使用rsyslog接收防火墙/waf/交换机日志的方法。
|
3月前
|
存储 Kubernetes 监控
在K8S中,ELK是如何实现及如何优化的ES?
在K8S中,ELK是如何实现及如何优化的ES?
|
3月前
|
监控 关系型数据库 MySQL
一文吃透企业级elk技术栈:11. zabbix报警实现
一文吃透企业级elk技术栈:11. zabbix报警实现
|
2月前
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
|
15天前
|
存储 监控 安全
|
3月前
|
消息中间件 Kafka 开发工具
rsyslog+ELK收集Cisco日志
rsyslog+ELK收集Cisco日志
|
3月前
|
运维 监控 Ubuntu
一键启动日志魔法:揭秘ELK自动安装脚本的神秘面纱!
【8月更文挑战第9天】在数据驱动时代,高效处理日志至关重要。ELK Stack(Elasticsearch、Logstash、Kibana)是强大的日志分析工具,但其复杂的安装配置常让初学者望而却步。本文介绍如何编写ELK自动安装脚本,简化部署流程。脚本适用于Ubuntu系统,自动完成ELK下载、安装及基本配置,包括依赖项安装、服务启动及自启设置,极大降低了使用门槛,助力运维人员和开发者轻松构建日志分析平台。
154 6
|
3月前
|
存储 应用服务中间件 nginx
部署ELK+filebeat收集nginx日志
部署ELK+filebeat收集nginx日志
127 0
部署ELK+filebeat收集nginx日志