用perl对CDN节点日志进行统计

代码如下：

1. use Text::ParseWords;  
2. use threads;  
3. use threads::shared;  
4. use Time::Local;  
5. #print @ARGV;  
6.  
7. #分析结果集  
8.  
9. my %result:shared;  
10. #最大线程数  
11.  
12. my $max_thread = 2;  
13. #线程池  
14.  
15. my @thread_array;  
16. my $current_thread = 0;  
17.  
18. #检查参数  
19.  
20. $argv_len = @ARGV;  
21. if($argv_len == 0)  
22. {  
23.     print "it need filename\n";  
24.     exit(1);  
25. }  
26.  
27. #处理参数开始  
28.  
29. $cmd="ls '".join("' '",@ARGV)."' |";  
30. #print $cmd."\n";  
31.  
32.  
33. #处理参数结束  
34.  
35.  
36. open(PIPE, $cmd);   
37. @filenames = <PIPE>;   
38. close(PIPE);  
39. #print "[";  
40.  
41. #print @filenames;  
42.  
43. #print "]\n";  
44.  
45.  
46. #多线程分析多个日志文件  
47.  
48. foreach(@filenames){   
49.     if( $current_thread >= $max_thread )  
50.   {  
51.     foreach my $thread( @thread_array )  
52.     {  
53.       $thread -> join( );  
54.     }  
55.     $current_thread = 0;  
56.     @thread_array=();  
57.   }  
58.   $thread_array[$current_thread] = threads -> new(\&analy,$_);  
59.   $current_thread ++;   
60. }  
61.  
62. #等待线程结束  
63.  
64. foreach my $thread( @thread_array )  
65. {  
66.    $thread -> join();  
67. }  
68.  
69. #按时间排序输出  
70.  
71. my @key=sort(keys(%result));  
72. print "time\t\t\tbps\n";  
73. foreach (@key){   
74.         $k=$_;  
75.         print $k."\t\t".$result{$k}."\n";  
76. }  
77.  
78. #去除前后空白字符  
79.  
80. sub trim  
81. {  
82.         my $string = shift;  
83.         $string =~ s/^\s+//;  
84.         $string =~ s/\s+$//;  
85.         return $string;  
86. }  
87.  
88. #分析一个日志文件  
89.  
90. sub analy  
91. {  
92.     my $filename= trim(shift);  
93.     $cmd="zcat $filename |";  
94.     open(PIPEFILE,$cmd);  
95.     @lines=<PIPEFILE>;  
96.     close(PIPEFILE);  
97.     foreach(@lines)  
98.     {  
99.         #分解每一行  
100.  
101.         my @line=quotewords(" ", 1, $_);  
102.         #print join(",",@line)."\n";  
103.  
104.         #print $line[6]."\n";  
105.  
106.           
107.         #根据时间合并  
108.  
109.         my($h,$m)=split(/:/g,$line[1]);  
110.         my($y,$mon,$d)=split(/-/g,$line[0]);  
111.         $m=int($m/5)*5;  
112.         my $point=int($line[6]/300000+1);  
113.         my $bps=int($line[5]/$point/300);  
114.      #print $line[0].$line[1]." m=$m,point=$point,bps=$bps\n";  
115.  
116.         $endtime=timelocal(0,$m,$h,$d,$mon,$y-1900);#秒，分，时，日，月，年（year-1900）  
117.  
118.         my @time_list=get_time_list($endtime,$point);  
119.         #累计字节数  
120.  
121.         my $i=0;  
122.         for($i=0;$i<$point;$i++)  
123.         {  
124.             $result{$time_list[$i]}+=$bps;  
125.         }  
126.     }  
127. }  
128. #获得时间列表  
129.  
130. sub get_time_list  
131. {  
132.     my $endtime=trim(shift);  
133.     my $point=trim(shift);  
134.     my @time_list;  
135.     my $i=0;  
136.     for($i=0;$i<$point;$i++)  
137.     {  
138.         push(@time_list,get_time_str($endtime));  
139.         $endtime-=300;  
140.     }  
141.     @time_list;  
142. }  
143. #获得时间字符串  
144.  
145. sub get_time_str  
146. {  
147.     my $endtime=trim(shift);  
148.     #@t=gmtime($endtime);  
149.  
150.     ($sec, $min, $hour, $day, $mon, $year, $wday, $yday, $isdst) = localtime($endtime);  
151.     if($min<10)  
152.     {  
153.         $min="0$min";  
154.     }  
155.     if($hour<10)  
156.     {  
157.         $hour="0$hour";  
158.     }  
159.     if($day<10)  
160.     {  
161.         $day="0$day";  
162.     }  
163.     if($mon<10)  
164.     {  
165.         $mon="0$mon";  
166.     }  
167.     $year+=1900;  
168.     my $str="$year-$mon-$day_$hour:$min";  
169. } 

     本文转自yifangyou 51CTO博客，原文链接：http://blog.51cto.com/yifangyou/605759，如需转载请自行联系原作者