[powershell运维] Web 服务器日志依日期归档

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本文记录了一个以 Jboss 服务器日志归档的 powershell 示范项目。该项目只需要略加修改,即可用于所有类似需要归档日志的场景。

[运维笔记] Web 服务器日志依日期归档


李俊才(jcLee95) 的个人博客
已入住阿里云博客
邮箱 :291148484@163.com
本文地址
- https://developer.aliyun.com/article/
- https://blog.csdn.net/qq_28550263/article/details/125185821

目 录


1.概述

2. Readme 文档 - VCS服务器 Jboss 日志压缩脚本

3. 项目源代码

附: 参考博文链接汇总


1.概述

本文记录了一个以 Jboss 服务器日志归档的 powershell 示范项目。该项目只需要略加修改,即可用于所有类似需要归档日志的场景。

Jboss 是一个Java Web 框架,在 Jboss Web 服务器运行期间,默认会生成许多server.log日志文件,你可以在 Jboss中设置每个 server.log 的最大大小,这样每当一个日志文件写满后,将后缀依次添加.1.2…以示区别,知道到达设置的最大日志文件个数后,将其删除。

在某些场景下,我们不希望有过多的大日志文件,或者希望在有限的服务器磁盘上存储更多的日志,以备保留服务器在生产运行下的某些重要信息,这个时候我们就需要对日志进行压缩归档,让日志文件更小,并且不至于被过早地由系统自动删除。

7zip 是一款不错的压缩软件,目前在WindowsLinux以及macOS上都有相应官方版本,它以极高的压缩比例独步武林,尤其适合压缩文本文件,往往一份纯文本日志能压缩到百分之一到百分之二左右。

在我的另外一篇博文《案例详解-如何在 Linux 系统中安装和使用 7zip 以及 7zip的脚本编程使用教程》https://blog.csdn.net/qq_28550263/article/details/124876070 详细介绍了7zip的命令行使用方式,并提供了一个基于7zip官方给出的可执行文件而制作的.deb安装包。你也可以在7zip官网https://www.7-zip.org/找到并下载其他平台的版本。

我们通过 powershell 查询管理指定目录中的server.log.x文件,并通过powershell调用 7zip 软件提供的命令进行极限压缩,按照归档日期时间,自动地将写满的日志文件归档到一个指定的历史日志目录下。

2. Readme 文档 - VCS服务器 Jboss 日志压缩脚本

2.1 功能概述

该脚本用于压缩并清理 正在写入的 VCS JBOSS server.log 日志。

2.2 项目结构

└─zip_log_script            # 项目根目录
    ├─history_logs          # 历史日志压缩归档目录
    │  └─2022-06-08           # 某天被归档的目录,将由程序自动生成,当天归档压缩包放在其中
    |  └─ ...                 # ...
    |  └─ ...                 
    └─programs              # 脚本目录
        ├─log               # 空目录,存在只是为了程序运行
        └─utils             # 工具集目录,存放主程序运行需要的东西
        └─zip_logs.ps1      # 主程序

2.3 清理逻辑

->1

JBOSS 当前默认写入的文件为 server.log,当此文件写入到配置大小后,将会被赋予后缀 .1.2.3… 即 server.log.1server.log.2server.log.3…。

脚本读取 路径变量 $JBoss_LOG_DIR 中指定的路径(默认为"D:\orca\jboss\server\ORCA\log")下的所有文件,不包含该路径下的子路径。这个路径下存放了 1 处所述的 server.log.x。由于该文件夹下同时存放了其它文件,因此取出文件名包含 server 但非 server.log 的日志,有多少个取多少个。

无需要压缩的归档文件

如果在 路径变量 $JBoss_LOG_DIR 指定的目录中没有需要压缩的文件,比如刚刚完成前一次归档,JBOSS 还没有生成新的日志,那么即使你运行日志也不会执行任何归档操作,并且你将看到形如以下提示:

2022-06-08 03:22:04 [DEBUG] There are currently no logs need to archive.

2.4 程序运行环境依赖

脚本的运行需要安装有 powershell 以及 7zip 软件,同时两个软件的主目录在系统的 Path 环境变量中。Windows 系统中已经默认安装好了 powershell 并添加到环境变量,只需要更改powershell脚本执行策略,即已管理员身份打开 powershell 窗口输入并执行以下代码:

Set-ExecutionPolicy Unrestricted

关于 7zip 软件,由于安装完成后不会自动添加环境变量,如果系统上已经安装了该软件,则只需要手动在 Windows 高级系统设置中添加到 Path 边境变量中即可。

2.5 运行方式

可以手动运行,假设你位于该项目项目根目录下:

powershell ./programs/zip_logs.ps1

或者直接双击根目录下的Run.cmd

也可以添加到 Windows 任务计划,指定每天运行多次。

2.6 压缩级别

采用7z极限压缩,对于纯文本压缩后的大小可为压缩前的百分之一左右,因此可以大大节省日志在磁盘中的存储空间。

3. 项目源代码

主程序:zip_log_script

#*****************************************************************************
# Copyright Jack Lee. All rights reserved.
# Licensed under the MIT License.
# Email: 291148484@163.com
# https://blog.csdn.net/qq_28550263?spm=1001.2101.3001.5343
#*****************************************************************************
using module .\utils\jcpath.psm1
using module .\utils\jclogger.psm1
$JBoss_LOG_DIR = "D:\orca\jboss\server\ORCA\log"
$BASE_DIR = (Get-Location).Path
$OUTPUT_DIR = [Path]::Join($BASE_DIR,'history_logs')
$PROGRAM_DIR = [Path]::Join($BASE_DIR,'programs')
$SavePath = [Path]::Join(
    $PROGRAM_DIR,
    'log'
)
$logger = [Logger]::new($SavePath);
$ArchiveName = (Get-Date -Format 'yyyy-MM-dd-HH-mm-ss')+".7z"
$Date_dir_name =  [Path]::Join($OUTPUT_DIR, (Get-Date -Format 'yyyy-MM-dd'))
$order = '7z a -mx9 -sdel '+ [Path]::Join($Date_dir_name, $ArchiveName)+' '
$order_sub = ""
foreach ($file in [Path]::get_items($JBoss_LOG_DIR) ) {
    $basename = [Path]::basename($file)
    if($basename.Contains('server') -and ($basename -ne 'server.log')){
        $logger.Info('The current log file found is: '+$basename)
        $order_sub = $order_sub + [Path]::Join($JBoss_LOG_DIR, $file) + ' '
    }
}
if($order_sub -ne ""){
    $logger.Info('Making compressed package and deleting the original log.')
    powershell -Command ($order + $order_sub)
    $logger.Info('All down')
}else{
    $logger.Debug("There are currently no logs need to archive.")
}

模块 jcpath.psm1

请参考我的博客:

【运维】PowerShell编程 目录文件相关方法的封装与案例详解https://blog.csdn.net/qq_28550263/article/details/124378032

在全文末尾的附录部分给出了这部分代码。

模块 jclogger.psm1

[运维技术]PowerShell中实现一个最基本的日志器loggerhttps://blog.csdn.net/qq_28550263/article/details/124024540

文中章节 2. 代码实现 部分给出了这部分代码。

其中,32行$logmessages >> $this.SavePath,若该归档脚本本身不希望输出任何日志,则可以注释掉。


附: 参考博文链接汇总

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
6月前
|
移动开发 数据挖掘 开发者
服务器发送事件(SSE)在现代Web开发中的关键作用
服务器发送事件(SSE)是HTML5标准协议,用于服务器主动向客户端推送实时数据,适合单向通信场景。相比WebSocket,SSE更简洁高效,基于HTTP协议,具备自动重连、事件驱动等特性。常见应用场景包括实时通知、新闻推送、数据分析等。通过Apipost等工具可轻松调试SSE,助力开发者构建高效实时Web应用。示例中,电商平台利用SSE实现秒杀活动通知,显著减少延迟并简化架构。掌握SSE技术,能大幅提升用户体验与开发效率。
|
2月前
|
运维 前端开发 JavaScript
半夜服务器告警不再错过!运维人员必备的语音通知方案
为解决深夜服务器宕机错过告警的问题,本文介绍一款专为个人开发者与运维人员设计的语音通知方案。通过电话直接推送重要告警,确保第一时间响应,避免故障扩大。支持多种编程语言调用,配置简单,3步即可完成,实时性强,适合各类关键业务场景。
197 5
|
2月前
|
运维 Prometheus 监控
“服务器又宕了?”别急,智能运维教你如何未卜先知!
“服务器又宕了?”别急,智能运维教你如何未卜先知!
77 0
|
5月前
|
消息中间件 运维 监控
智能运维,由你定义:SAE自定义日志与监控解决方案
通过引入 Sidecar 容器的技术,SAE 为用户提供了更强大的自定义日志与监控解决方案,帮助用户轻松实现日志采集、监控指标收集等功能。未来,SAE 将会支持 istio 多租场景,帮助用户更高效地部署和管理服务网格。
384 52
|
6月前
|
数据采集 运维 监控
数据采集监控与告警:错误重试、日志分析与自动化运维
本文探讨了数据采集技术从“简单采集”到自动化运维的演进。传统方式因反爬策略和网络波动常导致数据丢失,而引入错误重试、日志分析与自动化告警机制可显著提升系统稳定性与时效性。正方强调健全监控体系的重要性,反方则担忧复杂化带来的成本与安全风险。未来,结合AI与大数据技术,数据采集将向智能化、全自动方向发展,实现动态调整与智能识别反爬策略,降低人工干预需求。附带的Python示例展示了如何通过代理IP、重试策略及日志记录实现高效的数据采集程序。
273 7
数据采集监控与告警:错误重试、日志分析与自动化运维
|
6月前
|
机器学习/深度学习 人工智能 运维
机器学习+自动化运维:让服务器自己修Bug,运维变轻松!
机器学习+自动化运维:让服务器自己修Bug,运维变轻松!
248 14
|
6月前
|
消息中间件 运维 监控
智能运维,由你定义:SAE自定义日志与监控解决方案
SAE(Serverless应用引擎)是阿里云推出的全托管PaaS平台,致力于简化微服务应用开发与管理。为满足用户对可观测性和运维能力的更高需求,SAE引入Sidecar容器技术,实现日志采集、监控指标收集等功能扩展,且无需修改主应用代码。通过共享资源模式和独立资源模式,SAE平衡了资源灵活性与隔离性。同时,提供全链路运维能力,确保应用稳定性。未来,SAE将持续优化,支持更多场景,助力用户高效用云。
|
6月前
|
安全 测试技术
【YashanDB知识库】设置归档日志上限,但归档日志没自动清理,导致磁盘空间满
客户在一主一备性能压测中设置了归档日志清理上下限(12G-16G),但实际产生了100G+归档日志,导致磁盘空间满。原因是未设置ARCH_CLEAN_IGNORE_MODE=BACKUP,系统默认在备份后才清理日志。解决方法是设置ARCH_CLEAN_IGNORE_MODE=BACKUP,并执行`alter database delete archivelog all`触发清理。修改参数后,日志仍可能短暂超过上限,因备机同步延迟。经验总结:需同时设置归档上下限和ARCH_CLEAN_IGNORE_MODE=BACKUP以确保日志及时清理。
|
5月前
|
存储 数据库
YashanDB归档日志文件管理
本文介绍了YashanDB中归档日志文件的管理,包括默认存储路径($YASDB_DATA/archive)和文件命名规则。单机部署格式为arch_{resetlogs_id}_{sequence}.ARC,共享集群新增instanceId字段,格式为arch{instanceId}_{resetlogs_id}_{sequence}.ARC。1号节点与单机格式一致。可通过V$ARCHIVED_LOG视图查询相关信息,文件的增删由归档管理操作控制,详情参见官方文档。

热门文章

最新文章