如何使用系统自带的日志转储功能logroate.存放应用日志

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

Linux日志服务介绍

1. 在Linux系统,大部分日志都是由syslog日志服务驱动和管理的
syslog服务由两个重要的配置文件控制管理,分别是/etc/syslog.conf主配置文件和/etc/sysconfig/syslog辅助

  配置文件, /etc/init.d/syslog是启动脚本,这里主讲主配置文件/etc/syslog.conf:

  /etc/syslog.conf 语句结构:

  [root@xhot ~]# grep -v "#" /etc/syslog.conf //列出非#打头的每一行

  *.info;mail.none;authpriv.none;cron.none /var/log/messages

  authpriv.* /var/log/secure

  mail.* -/var/log/maillog

  cron.* /var/log/cron

  .emerg

  uucp,news.crit /var/log/spooler

  local7.* /var/log/boot.log

  选择域(消息类型.错误级别) 动作域

2. 消息类型:auth,authpriv,security;cron,daemon,kern,lpr,mail, mark,news,syslog,user,uucp,local0~local7.

  错误级别:(8级)debug,info,notice,warning|warn;err|error;crit,alert,emerg|panic

  动作域:file,user,console,@remote_ip

  举如上的/etc/syslog.conf文件三个例子:

  *.info;mail.none;authpriv.none;cron.none /var/log/messages

  表示info级别的任何消息都发送到/var/log/messages日志文件,但邮件系统、验证系统

  和计划任务的错误级别信息就除外,不发送(none表示禁止)

  cron.* /var/log/cron 表示所有级别的cron信息发到/var/log/cron文件

  .emerg 表示emerg错误级别(危险状态)的所有消息类型发给所有用户

Linux日志服务器配置

  此服务器的配置非常简单,只是修改一个文件的一个地方,然后重启服务即可:

  [root@xhot ~]# grep -v "#" /etc/sysconfig/syslog

  SYSLOGD_OPTIONS="-m 0 -r" //只要在这里添加“-r”就行咯

  KLOGD_OPTIONS="-x"

  SYSLOG_UMASK=077

  [root@xhot ~]# service syslog restart

  关闭内核日志记录器: [确定]

  关闭系统日志记录器: [确定]

  启动系统日志记录器: [确定]

  启动内核日志记录器: [确定]

对于发送消息到服务器的OS,只要在写/etc/syslog.conf主配置文件的时候,作用域

  为@server-ip就行了,比如针对218.192.87.24这台日志服务器,把一台ubuntu系统的所有

  info级别的auth信息发给日志服务器,那么对于ubuntu系统的/etc/syslog.conf文件最后一

  行添加 auth.info @218.192.87.24 就OK了

日志转储服务

  系统工作到了一定时间后,日志文件的内容随着时间和访问量的增加而越来越多,

  日志文件也越来越大。而且当日志文件超过系统控制范围时候,还会对系统性能

  造成影响。转储方式可以设为每年转储、每月转储、每周转储、达到一定大小转储。

  在Linux系统,经常使用“logrotate”工具进行日志转储,结合cron计划任务,可以轻松

  实现日志文件的转储。转储方式的设置由“/etc/logrotate.conf”配置文件控制:

  [root@xhot ~]# cat /etc/logrotate.conf

  # see "man logrotate" for details //可以查看帮助文档

  # rotate log files weekly

  weekly //设置每周转储

  # keep 4 weeks worth of backlogs

  rotate 4 //最多转储4次

  # create new (empty) log files after rotating old ones

  create //当转储后文件不存储时创建它

  # uncomment this if you want your log files compressed

  #compress //以压缩方式转储

  # RPM packages drop log rotation information into this directory

  include /etc/logrotate.d //其他日志文件的转储方式,包含在该目录下

  # no packages own wtmp -- we'll rotate them here

  /var/log/wtmp { //设置/var/log/wtmp日志文件的转储参数

  monthly //每月转储

  create 0664 root utmp //转储后文件不存在时创建它,文件所有者为root,

  所属组为utmp,对应的权限为0664

  rotate 1 //转储一次

  }

  # system-specific logs may be also be configured here.

举两个例子: 
为/var/log/news/目录下的所有文件设置转储参数,每周转储,转储2次,转储

时将老的日志文件放到/var/log/news/old目录下,若日志文件不存在,则跳过。完成后重启

news新闻组服务,转储时不压缩。那么可以在/etc/logrotate.conf文件的最后添加如下:

  /var/log/news/*{

  monthly

  rotate 2

  olddir /var/log/news/old

  missingok

  postrotate

  kill -HUP cat /var/run/inn.pid

  endscript

  nocompress

  }

另一个例子:为/var/log/httpd/access.log和/var/log/httpd/error.log日志设置转储参数。转储

  5次,转储时发送邮件给root@localhost用户,当日志文件达到100KB时才转储,转储后重启

  httpd服务,那么可以直接在/etc/logrotate.conf文件的最后添加如下:

  /var/log/httpd/access.log /var/log/http/error.log{

  rotate 5

  mail root@localhost

  size=100k

  sharedscripts

  /sbin/killall -HUP httpd

  endscript

  }

自定义日志转储(/etc/logrotate.d/*)

  通过下面一个例子将所有类型错误级别为info的日志转储到/var/log/test.log日志文件中,并设置

  /var/log/test.log达到50KB后进行转储,转储10次,转储时压缩,转储后重启syslog服务:

  1、修改/etc/syslog.conf文件使得如下:

  [root@xhot ~]# tail -1 /etc/syslog.conf //查看该文件的最后一行

  *.info /var/log/test.log

  2、重启syslog服务:

[root@xhot ~]# /sbin/service syslog restart

  关闭内核日志记录器: [确定]

  关闭系统日志记录器: [确定]

  启动系统日志记录器: [确定]

  启动内核日志记录器: [确定]

  3、创建/etc/logrotate.d/test.log日志转储参数配置文件,添加如下:

[root@xhot ~]# vim /etc/logrotate.d/test.log

  [root@xhot ~]# cat /etc/logrotate.d/test.log

  /var/log/test.log{

  rotate 10

  size = 50k

  compress

  postrotate

  killall -HUP syslog

  endscript

  }

  4、查看文件/etc/cron.daily/logrotate确保如下:

  [root@xhot ~]# cat /etc/cron.daily/logrotate

  #!/bin/sh

  /usr/sbin/logrotate /etc/logrotate.conf

  EXITVALUE=$?

  if [ $EXITVALUE != 0 ]; then

  /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"

  fi

  exit 0

  5、查看转储后的文件

[root@xhot log]# pwd

  /var/log

  [root@xhot log]# ls test.log*

  …… //结果等要转储的时候会发现压缩文件和原本的test.log文件

syslog是一个被UNIX和Linux广泛使用的日志系统,Linux系统中大部分的日志文件都是通过它进行管理的。本节将对syslog的功能及配置、日志文件的查看和管理,以及syslog中默认配置的日志文件进行介绍。

12.2.1 syslog简介

syslog是一个历史悠久的日志系统,几乎所有的UNIX和Linux操作系统都是采用syslog进行系统日志的管理和配置。Linux系统内核和许多程序会产生各种错误信息、警告信息和其他的提示信息。这些信息对管理员了解系统的运行状态是非常有用的,所以应该把它们写到日志文件中去。而执行这个过程的程序就是syslog。syslog可以根据信息的来源以及信息的重要程度将信息保存到不同的日志文件中,例如,为了方便查阅,可以把内核信息与其他信息分开,单独保存到一个独立的日志文件中。在默认的syslog配置下,日志文件通常都保存在“/var/log”目录下。syslog的守护进程为syslogd,系统启动时,默认会自动运行syslogd守护进程。

如果要手工启动,可以使用如下命令:

/sbin/syslogd

在修改syslog配置后,需要重新启动syslogd守护进程才能使新的配置生效。其命令如下所示。

killall -HUP syslogd

Red Hat Enterprise Linux 5.2安装后默认就已经在syslog中定义了一些日志文件,这些日志的位置以及它们的说明如表12.2所示。

日 志 文 件

说明

/var/log/message

系统启动后的信息和错误日志,是Red Hat Linux中最常用的日志之一

/var/log/secure

与安全相关的日志信息

/var/log/maillog

与邮件相关的日志信息

/var/log/cron

与定时任务相关的日志信息

/var/log/spooler

与UUCP和news设备相关的日志信息

/var/log/boot.log

守护进程启动和停止相关的日志消息




本文转自 yuri_cto 51CTO博客,原文链接:http://blog.51cto.com/laobaiv1/2052127,如需转载请自行联系原作者

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
WGLOG日志管理系统是怎么收集日志的
WGLOG通过部署Agent客户端采集日志,Agent持续收集指定日志文件并上报Server,Server负责展示与分析。Agent与Server需保持相同版本。官网下载地址:www.wgstart.com
|
3月前
|
监控 API 开发工具
HarmonyOS Next的HiLog日志系统完全指南:从入门到精通
本文深入解析HarmonyOS Next的HiLog日志系统,涵盖日志级别、核心API、隐私保护与高级回调功能,助你从入门到精通掌握这一重要开发工具。
178 1
|
2月前
|
存储
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html
|
3月前
|
监控 安全 Linux
AWK在网络安全中的高效应用:从日志分析到威胁狩猎
本文深入探讨AWK在网络安全中的高效应用,涵盖日志分析、威胁狩猎及应急响应等场景。通过实战技巧,助力安全工程师将日志分析效率提升3倍以上,构建轻量级监控方案。文章详解AWK核心语法与网络安全专用技巧,如时间范围分析、多条件过滤和数据脱敏,并提供性能优化与工具集成方案。掌握AWK,让安全工作事半功倍!
78 0
|
6月前
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
257 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
|
6月前
|
存储 监控 算法
基于 PHP 语言的滑动窗口频率统计算法在公司局域网监控电脑日志分析中的应用研究
在当代企业网络架构中,公司局域网监控电脑系统需实时处理海量终端设备产生的连接日志。每台设备平均每分钟生成 3 至 5 条网络请求记录,这对监控系统的数据处理能力提出了极高要求。传统关系型数据库在应对这种高频写入场景时,性能往往难以令人满意。故而,引入特定的内存数据结构与优化算法成为必然选择。
131 3
|
6月前
|
存储 JSON Go
PHP 日志系统的最佳搭档:一个 Go 写的远程日志收集服务
为了不再 SSH 上去翻日志,我写了个 Go 小脚本,用来接收远程日志。PHP 负责记录日志,Go 负责存储和展示,按天存储、支持 API 访问、可远程管理,终于能第一时间知道项目炸了。
108 10
|
10月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
2855 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
9月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
244 9
|
7月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
588 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log