DataStreams+logstash+ILM进行日志定时删除,节省硬盘资源
目前所有的K8S上的容器日志都被收集到了我们的ELK上,随着时间的推移,ELK上的日志所占的存储空间越来越多,我们需要一个定时清理的策略,以节约硬盘资源。
我们主要配置以下ELK里的这几个地方
1.通过kibana新增一个lifecycle policies
2.通过kibana新增一个index template,注意配置DataStreams
3.logstash 的logstashPipeline
4.filebeat的filebeat.yml文件