k8s日志自动收集脚本

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
简介: k8s日志自动收集脚本

     k8s自带的日志方案一般需要集成专业的日志ELK才能快速检索出错误信息,为了编辑繁杂的集成操作,这里简单写了一个脚本把各个容器的日志收集存储到本地。便于定位发现程序错误。


一、 脚本功能

每天十一点定时执行脚本,批量获取工作空间中的所有pod当天的日志信息,存储到本地。同时删除七天前的日志。


最终形成一个日志工作空间的文件夹,文件夹中又各个pod的名字,每个pod中存放着最近七天的日志运行信息。便于快速查找k8s容器报错信息,快速定位错误。


二、 脚本流程

1. 获取工作空间springcloud的所有容器名称


2. 循环容器名称,滤除首行,截取得到准确的容器名称,和应用名称


3. 获取当前日期和七天前的日期


4. 存放日志的文件夹是否存在,如果不存在则创建


5. 把容器的日志导出成文件,文件名用应用名称加上当前日期


6. 删除七天前的日志信息


三、 定时任务

linux系统中可以把定时任务写在crontab中,通过crontab自定义cron表达式执行我们的脚本

vi /etc/crontab


20190606163623311.png

然后在这里添加进来我们的定时任务,每天晚上11点执行

0 0 23 * * ? root sh /home/springboot/log/log.sh

然后开启定时任务

1. systemctl start crond
2. systemctl restart crond


四、 脚本详情

#!bin/bash
#auth eric
#2020-12-02
#注意这里要声明环境变量,不然不识别kubectl命令
PATH=/etc:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin
pod=$(kubectl get pod -n springcloud |awk '{print $1}');
for i in $pod;
do
  if [ $i = 'NAME' ]
  then
    continue
  fi
podname=$i;
appname=`echo $i|awk -F'-' '{print $2}'`;
timenow=$(date "+%Y%m%d");
timeago=$(date -d"7 day ago" +%Y%m%d);
dir=/home/springcloud/log/$appname
if [ ! -d "$dir" ];then
  mkdir $dir
fi
#删除7天前的日志
if [ -f "$dir/$appname$timeago.txt" ];then
 rm -f $dir/$appname$timeago.txt;
fi
#导出今天的日志
kubectl logs --since=24h $podname -n springcloud >$dir/$appname$timenow.txt
done;


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
Java Shell
「sh脚步模版自取」测试线排查的三个脚本:启动、停止、重启、日志保存
「sh脚步模版自取」测试线排查的三个脚本:启动、停止、重启、日志保存
37 1
|
2月前
|
Kubernetes API Docker
跟着iLogtail学习容器运行时与K8s下日志采集方案
iLogtail 作为开源可观测数据采集器,对 Kubernetes 环境下日志采集有着非常好的支持,本文跟随 iLogtail 的脚步,了解容器运行时与 K8s 下日志数据采集原理。
|
2月前
|
缓存 监控 算法
分析慢日志文件来优化 PHP 脚本的性能
分析慢日志文件来优化 PHP 脚本的性能
|
3月前
|
运维 Kubernetes Cloud Native
云原生之旅:Kubernetes 集群的搭建与实践Python 编程入门:从零基础到编写实用脚本
【8月更文挑战第30天】在数字化转型的大潮中,云原生技术以其弹性、可扩展性及高效运维能力成为企业IT架构升级的关键。本文将通过实际操作演示如何在本地环境搭建一个简易的Kubernetes集群,带你领略云原生的魅力所在。从集群规划到服务部署,每一步都是对云原生理念的深刻理解和应用。让我们共同探索,如何通过Kubernetes集群的搭建和运维,提升业务灵活性和创新能力。
|
2月前
|
运维 Kubernetes 监控
Loki+Promtail+Grafana监控K8s日志
综上,Loki+Promtail+Grafana 监控组合对于在 K8s 环境中优化日志管理至关重要,它不仅提供了强大且易于扩展的日志收集与汇总工具,还有可视化这些日志的能力。通过有效地使用这套工具,可以显著地提高对应用的运维监控能力和故障诊断效率。
300 0
|
3月前
|
运维 监控 数据可视化
自动化运维:使用Python脚本进行日志分析
【8月更文挑战第31天】当系统出现问题时,我们通常会查看日志寻找线索。然而,手动阅读大量日志既费时又易出错。本文将介绍如何使用Python脚本自动分析日志,快速定位问题,提高运维效率。我们将从简单的日志读取开始,逐步深入到复杂的正则表达式匹配和错误统计,最后实现一个自动化的日志监控系统。无论你是新手还是老手,这篇文章都将为你提供有价值的参考。让我们一起探索如何用代码解放双手,让运维工作变得更加轻松吧!
|
3月前
|
运维 Kubernetes 监控
自动化运维:使用Python脚本实现系统监控云原生技术实践:Kubernetes在现代应用部署中的角色
【8月更文挑战第31天】在现代IT运维管理中,自动化已成为提高效率和准确性的关键。本文将通过一个Python脚本示例,展示如何实现对服务器的自动监控,包括CPU使用率、内存占用以及磁盘空间的实时监测。这不仅帮助运维人员快速定位问题,也减轻了日常监控工作的负担。文章以通俗易懂的语言,逐步引导读者理解并实践自动化监控的设置过程。 【8月更文挑战第31天】本文旨在探索云原生技术的核心—Kubernetes,如何革新现代应用的开发与部署。通过浅显易懂的语言和实例,我们将一窥Kubernetes的强大功能及其对DevOps文化的影响。你将学会如何利用Kubernetes进行容器编排,以及它如何帮助你的
|
3月前
|
消息中间件 Kubernetes Kafka
微服务从代码到k8s部署应有尽有系列(十一、日志收集)
微服务从代码到k8s部署应有尽有系列(十一、日志收集)
|
3月前
|
Kubernetes Shell 网络安全
【Azure K8S】记录AKS VMSS实例日志收集方式
【Azure K8S】记录AKS VMSS实例日志收集方式
|
15天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
128 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板