Apache日志分割的3种方法

简介:

一、rotatelogs(apache 自带的工具)

    rotatelogs是一个配合Apache管道日志功能使用的简单程序。举例:
    CustomLog "|bin/rotatelogs /var/logs/logfile 86400" common
    此配置会建立文件/var/logs/logfile.nnnn,其中的nnnn是名义上的日志启动时的系统时间 (此时间总是回卷时间的倍数,可以用于cron脚本的同步)。 在回卷时间到达时(在此例中是24小时以后),会产生一个新的日志。
    CustomLog "|/opt/apache/bin/rotatelogs /opt/apache/logs/access_log.%d-%m-%y 800M" common 
    此配置会在日志文件大小增长到800兆字节时回卷该日志。
 概要
    rotatelogs logfile [ rotationtime [ offset ]] | [ filesizeM ]

选项
    logfile 
    它加上基准名就是日志文件名。如果logfile中包含'%',则它会被视为用于的strftime(3)的格式字串;否则,它会被自动加上以秒为单位的.nnnnnnnnnn后缀。这两种格式都表示新的日志开始使用的时间。 
rotationtime 
日志文件回卷的以秒为单位的间隔时间 
offset 
相对于UTC的时差的分钟数。如果省略,则假定为0,并使用UTC时间。比如,要指定UTC时差为-5小时的地区的当地时间,则此参数应为-300。 
filesizeM 
指定回卷时以兆字节为单位的后缀字母M的文件大小,而不是指定回卷时间或时差。

可移植性:下列日志文件格式字串可以为所有的strftime(3)实现所支持,见各种扩展库对应的strftime(3)的手册。

%A 星期名全称(本地的) 
%a 3个字符的星期名(本地的) 
%B 月份名的全称(本地的) 
%b 3个字符的月份名(本地的) 
%c 日期和时间(本地的) 
%d 2位数的一个月中的日期数 
%H 2位数的小时数(24小时制) 
%I 2位数的小时数(12小时制) 
%j 3位数的一年中的日期数 
%M 2位数的分钟数 
%m 2位数的月份数 
%p am/pm 12小时制的上下午(本地的) 
%S 2位数的秒数 
%U 2位数的一年中的星期数(星期天为一周的第一天) 
%W 2位数的一年中的星期数(星期一为一周的第一天) 
%w 1位数的星期几(星期天为一周的第一天) 
%X 时间 (本地的) 
%x 日期 (本地的) 
%Y 4位数的年份 
%y 2位数的年份 
%Z 时区名 
%% 符号`%'本身

二、cronolog

在apache的FAQ中,推荐了经过近2年发展已经比较成熟的一个工具cronolog:安装很简单:configure=> make=> make install

他的一个配置的例子会让你了解它有多么适合日志按天轮循:对httpd.conf做一个很小的修改就能实现:
TransferLog "|/usr/sbin/cronolog /var/log/%Y%m%d.log"
ErrorLog "|/usr/sbin/cronolog /var/%Y%m%d-errors.log"

然后:日志将写入
/var/log/20090901.log
/var/log/20090901-errors.log
目录如果不存在的话,将自动创建

三、大哥用的方法,perl脚本控制,贴出来大家拿来玩,缺点太多,以至于大哥不打算用了,优点是你可以随便分割你需要的日志,看完别忘了给大哥烧纸(http://51runaway.blog.163.com/)。

#!/usr/bin/perl
my (%month,%date_log);
BEGIN{
  $month{Jan}="01";$month{Feb}="02";$month{Mar}="03";
  $month{Apr}="04";$month{May}="05";$month{Jun}="06";
  $month{Jul}="07";$month{Aug}="08";$month{Sep}="09";
  $month{Oct}="10";$month{Nov}="11";$month{Dec}="12";

my $hostip=GetIp();
my ($hostname)=$hostip=~/\.(\d+)$/;
my $localt;
#print "$hostip\t$hostname\n";
my ($file,$flag)=('',0);
my $tmpfile="";
while(1){
 system("mkdir /var/apache_log") unless(-e '/var/apache_log');
 system("mkdir /var/tmp") unless(-e '/var/tmp'); 
 my ($sec,$min,$hour,$day,$mon,$year) = localtime();
  $mon++;$year -= 100;
  $year="0$year" if($year<10);
  $mon="0$mon" if($mon<10);
  $day="0$day" if($day<10);
 $tmpfile=$hostname.'_'.$year.$mon.$day.".log";
 if($hour>0 && $hour<2){
  if($flag==0){
   $file='';
   my $back_file="_$year$mon$day";
   system("cp /usr/local/apache2/logs/access_log /var/tmp/$back_file");
   split_apache_log($hostname,'/usr/local/apache2/logs/access_log');
   $flag=1;
  }
 }else{
  #print $flag,"\n";
  $flag=0 if($flag==1);
 }
 sleep(1800);
}
#----------------------------------------------------------------------------------------------------------------
sub split_apache_log{
 my ($hostid,$access_log)=@_;
 my %hash=();
 my $flag_new_log=0;
 my $localt = localtime();
 printlog("\nsplit apapche log at $localt\n\n");
 open(LIST,"$access_log")||die "$!";  
 while(<LIST>){
  chomp;                                                                          
  my (@array)=$_=~/^(\S+)\s+\S+\s+\S+\s+\[(\S+).+\]\s+\"(.+)\"\s+(\d+)\s+\S+/;
  next if($array[3] eq '404');
  my $time_str=$array[1];
  $time_str=~s/\//\t/g;
  $time_str=~s/:/\t/g;
  my @t_s=split(/\t/,$time_str);
  next if(not exists $t_s[2]);  
  $t_s[2]=substr($t_s[2],2,2);
  my $date_tmp="$t_s[2]$month{$t_s[1]}$t_s[0]";
  $file=$hostid.'_'."$date_tmp.log";
  push(@{$hash{$file}},$_);
  if(scalar(@{$hash{$file}})>=20000){
    my @arraytmp=splice(@{$hash{$file}}, 0, 20000);
    my $line=join("\n",@arraytmp);     
    if(-e "/var/log/apache/$file"){
     open(OUT,">>/var/log/apache/$file");
     print OUT "$line\n"; 
     close (OUT);      
      
     }else{
      $flag_new_log=1 if($flag_new_log==0);
     open(OUT,">>/var/apache_log/$file");
     print OUT "$line\n"; 
     close (OUT);      
     }
  }  
 }
 close(LIST);
 foreach $file(sort {$a cmp $b} keys %hash){
  next if(not exists ${$hash{$file}}[0]);
  my $line=join("\n",@{$hash{$file}});
  if(-e "/var/log/apache/$file"){
     open(OUT,">>/var/log/apache/$file");
     print OUT "$line\n"; 
     close (OUT);      
      
  }else{
      $flag_new_log=1 if($flag_new_log==0);
     open(OUT,">>/var/apache_log/$file");
     print OUT "$line\n"; 
     close (OUT);
  }
 }
 if($flag_new_log==1){ 
  system("cat /var/apache_log/$tmpfile>$access_log");
  system("rm -fr /var/apache_log/$tmpfile");
  system("mv /var/apache_log/* /var/log/apache/");
 }
 $localt = localtime();
 printlog("\nFinished split apapche log at $localt\n\n"); 
}
#-----------------------------------------------------------------------------------------------------------------
sub GetIp{
 my $ifc=`ifconfig`;
 my ($ip,$ip1,$ip2); 
 if($ifc=~/eth0/){
  my $str=`ifconfig eth0` ;
  ($ip1)=$str=~/inet addr:(\S+)/ ;
  $ip=$ip1;
 }
 if($ifc=~/eth1/){
  my $str=`ifconfig eth1` ;
  ($ip2)=$str=~/inet addr:(\S+)/ ;
  if($ip1 && ($ip1 ne $ip2)){
   $ip="$ip1 $ip2" ;
  }else{
   $ip=$ip2;
  }
 }
 return $ip;
}
#-------------------------------------------------------------------------------------------------------------------
sub printlog{
 my $str=shift;
 open(LOGOUT,">>/var/lib/SplitApacheLog.log");
 print LOGOUT "$str";
 close LOGOUT; 


本文转自 holy2009 51CTO博客,原文链接:http://blog.51cto.com/holy2010/426346

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
5月前
|
存储 缓存 监控
用 C++ 红黑树给公司电脑监控软件的日志快速排序的方法
本文介绍基于C++红黑树算法实现公司监控电脑软件的日志高效管理,利用其自平衡特性提升日志排序、检索与动态更新效率,并结合实际场景提出优化方向,增强系统性能与稳定性。
172 4
|
7月前
|
Prometheus 监控 Cloud Native
使用docker-compose管理多服务项目:日志监控方法指南
通过上述步骤,可以建立有效的日志监控系统,这不仅有助于问题的迅速定位和解决,而且对于分析系统性能、用户行为模式等都是一个宝贵的资源。只要正确配置和维护,Docker Compose管理的多服务项目可以高效地进行日志监控与分析。
325 0
|
10月前
|
存储 Windows
【Azure Cloud Service】微软云服务上的日志收集方法
本文介绍了在使用微软云服务(Cloud Service Extended Support)时,如何收集日志以分析未记录在应用日志中的服务异常。由于云服务基于传统虚拟机模式,需通过远程桌面登录实例,查看IIS、Windows Event及云服务组件日志(如WindowsAzureGuestAgent)。此外,可使用CollectGuestLogs.exe工具打包日志,或通过“File Server Resource Manager”检查日志存储配额是否不足。附参考文档链接供深入学习。
336 29
|
10月前
|
Ubuntu PHP Apache
在Ubuntu系统中为apt的apache2编译PHP 7.1的方法
以上就是在Ubuntu系统中为apt的apache2编译PHP 7.1的方法。希望这个指南能帮助你成功编译PHP 7.1,并在你的Apache服务器上运行PHP应用。
275 28
|
8月前
|
人工智能 运维 监控
Aipy实战:分析apache2日志中的网站攻击痕迹
Apache2日志系统灵活且信息全面,但安全分析、实时分析和合规性审计存在较高技术门槛。为降低难度,可借助AI工具如aipy高效分析日志,快速发现攻击痕迹并提供反制措施。通过结合AI与学习技术知识,新手运维人员能更轻松掌握复杂日志分析任务,提升工作效率与技能水平。
|
10月前
|
SQL 运维 关系型数据库
MySQL Binlog 日志查看方法及查看内容解析
本文介绍了 MySQL 的 Binlog(二进制日志)功能及其使用方法。Binlog 记录了数据库的所有数据变更操作,如 INSERT、UPDATE 和 DELETE,对数据恢复、主从复制和审计至关重要。文章详细说明了如何开启 Binlog 功能、查看当前日志文件及内容,并解析了常见的事件类型,包括 Format_desc、Query、Table_map、Write_rows、Update_rows 和 Delete_rows 等,帮助用户掌握数据库变化历史,提升维护和排障能力。
|
10月前
|
监控 安全 BI
优化 Apache 日志记录的 5 个最佳实践
Apache 日志记录对于维护系统运行状况和网络安全至关重要,其核心包括访问日志与错误日志的管理。通过制定合理的日志策略,如选择合适的日志格式、利用条件日志减少冗余、优化日志级别、使用取证模块提升安全性及实施日志轮换,可有效提高日志可用性并降低系统负担。此外,借助 Eventlog Analyzer 等专业工具,能够实现日志的高效收集、可视化分析与威胁检测,从而精准定位安全隐患、评估服务器性能,并满足合规需求,为强化网络安全提供有力支持。
277 0
优化 Apache 日志记录的 5 个最佳实践
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
828 3
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
4月前
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
827 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
456 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式

推荐镜像

更多