归档老日志的shell脚本

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 归档老日志

本脚本来自有学习阿铭的博文学习:
工作中,需要用到日志切割logrotate,按照各自的需要切割、定义保留日志。

提示:本文中的S全部都$符,不要问为什么,马云爸爸的社区就这样。

#!/bin/bash
#用途:日志切割归档、按天切割
#作者:Caron maktini
#日期:2018年12月15日
#版本:v0.1


logdir=/data/logs/ 
#定义函数如果一个文件存在则删除 
function e_df()
{
    if [  -f $1  ]
    then
      rm -f  $1
}

cd  $logdir

#从7到2,依次遍历循环 
for i in  `seq 7 -1 2`
do
      #$i2比Si小1 
      i2=$[Si-1]
      
      #首先判断1.log.7是否存在,若存在则删除 
      e_df  1.log.$i
    
    #当1.log.6存在,则把1.log.6改名为1.log.7,依次类推
    if [  -f  1.log.$i2  ]
    then
        mv  1.log.$i2 1.log.$i
    fi
done

#由于1.log 后面无后缀,所以不能走上面的for循环,只能另外拿出来处理
e_df 1.log.1
mv  1.log  1.log.1

#每日0点0分执行。

工作中还需要为大文件进行切割,一般工作中是100MB,并进行压缩。

第二脚本

#!/bin/bash
#用途:日志切割归档、并压缩
#作者:Caron maktini
#日期:2018年12月15日
#版本:v0.1

logdir=/data/logs/ 
#技术1.log大小
size=`du -sk $logdir/1.log | awk '{print S1}' 

#如果1.log小于l00MB,则退出脚本 

if [  $size -lt 10240 ] 
then 
    exit 0
fi 

#定义函数,如果一个文件存在,则删除 
function e_df()
{
    if   [  -f  $1 ]
    then 
        rm -f $1 
    fi 
}
 cd  $logdir

#如果1.log.1存在,则先把它压缩为1 log.1.gz,这样下面的for循环才不会错
 
if   [ -f 1.log.1 ] 
then 
    gzip 1.log.1 
fi 

#由于1.log.1已经被压缩为1.log.gz,所以可以直接将1.log改名为1.log.1

mv  1.log  1.log.1

#从7到2,倒序循环 
for i in  `seq 7  -1 2 `
do 
     #$i2比Si小1
    i2=$[Si-1]
    
    #首先判断1 log.7.gz是否存在,若存在删除 
    e_df  1.Iog. $i.gz
 
    #当1.log.6.gz存在,则把1.log.6.gz改名为1.log.7.gz,以此类推
    if [ -f  1.Iog. $i2. gz ]
    then 
         mv 1.Iog. $i2.gz  1.Iog.$i.gz 
    fi 
done 

##说明:由于我们需要按照日志大小切割,所以这个脚本写完后,需要每分钟执行一次,建议添加到公司的监控系统中。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
7月前
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
5月前
|
存储 Unix Shell
确定Shell脚本在操作系统中的具体位置方法。
这对于掌握Linux的文件系统组织结构和路径方面的理解很有帮助,是我们日常工作和学习中都可能使用到的知识。以上讲解详细清晰,应用简便,是每一个想要精通操作系统的计算机爱好者必备的实用技能。
104 17
|
5月前
|
Linux Shell
Centos或Linux编写一键式Shell脚本删除用户、组指导手册
Centos或Linux编写一键式Shell脚本删除用户、组指导手册
126 4
|
5月前
|
Linux Shell 数据安全/隐私保护
Centos或Linux编写一键式Shell脚本创建用户、组、目录分配权限指导手册
Centos或Linux编写一键式Shell脚本创建用户、组、目录分配权限指导手册
270 3
|
6月前
|
Linux Shell
在Linux、CentOS7中设置shell脚本开机自启动服务
以上就是在CentOS 7中设置shell脚本开机自启动服务的全部步骤。希望这个指南能帮助你更好地管理你的Linux系统。
433 25
|
8月前
|
Shell Linux
【linux】Shell脚本中basename和dirname的详细用法教程
本文详细介绍了Linux Shell脚本中 `basename`和 `dirname`命令的用法,包括去除路径信息、去除后缀、批量处理文件名和路径等。同时,通过文件备份和日志文件分离的实践应用,展示了这两个命令在实际脚本中的应用场景。希望本文能帮助您更好地理解和应用 `basename`和 `dirname`命令,提高Shell脚本编写的效率和灵活性。
598 32
|
7月前
|
关系型数据库 Shell 网络安全
定期备份数据库:基于 Shell 脚本的自动化方案
本篇文章分享一个简单的 Shell 脚本,用于定期备份 MySQL 数据库,并自动将备份传输到远程服务器,帮助防止数据丢失。
|
7月前
|
安全 测试技术
【YashanDB知识库】设置归档日志上限,但归档日志没自动清理,导致磁盘空间满
客户在一主一备性能压测中设置了归档日志清理上下限(12G-16G),但实际产生了100G+归档日志,导致磁盘空间满。原因是未设置ARCH_CLEAN_IGNORE_MODE=BACKUP,系统默认在备份后才清理日志。解决方法是设置ARCH_CLEAN_IGNORE_MODE=BACKUP,并执行`alter database delete archivelog all`触发清理。修改参数后,日志仍可能短暂超过上限,因备机同步延迟。经验总结:需同时设置归档上下限和ARCH_CLEAN_IGNORE_MODE=BACKUP以确保日志及时清理。
|
6月前
|
存储 数据库
YashanDB归档日志文件管理
本文介绍了YashanDB中归档日志文件的管理,包括默认存储路径($YASDB_DATA/archive)和文件命名规则。单机部署格式为arch_{resetlogs_id}_{sequence}.ARC,共享集群新增instanceId字段,格式为arch{instanceId}_{resetlogs_id}_{sequence}.ARC。1号节点与单机格式一致。可通过V$ARCHIVED_LOG视图查询相关信息,文件的增删由归档管理操作控制,详情参见官方文档。
|
8月前
|
JavaScript Shell C#
多种脚本批量下载 Docker 镜像:Shell、PowerShell、Node.js 和 C#
本项目提供多种脚本(Shell、PowerShell、Node.js 和 C#)用于批量下载 Docker 镜像。配置文件 `docker-images.txt` 列出需要下载的镜像及其标签。各脚本首先检查 Docker 是否安装,接着读取配置文件并逐行处理,跳过空行和注释行,提取镜像名称和标签,调用 `docker pull` 命令下载镜像,并输出下载结果。使用时需创建配置文件并运行相应脚本。C# 版本需安装 .NET 8 runtime。
445 4