懒人Shell脚本》之四——日志条数动态实时统计-阿里云开发者社区

开发者社区> 开发者社区> 正文

懒人Shell脚本》之四——日志条数动态实时统计

简介: 本文是《懒人Shell脚本》之四——日志条数动态实时统计详解
+关注继续查看

1、需求点

1)输入:日志实时更新:当前日志表以秒级更新日志,每秒有多条日志更新。格式如下:

2016-08-11 11:02:09
2016-08-11 11:02:09
2016-08-11 11:02:09
2016-08-11 11:02:09
2016-08-11 11:02:10
2016-08-11 11:02:10
2016-08-11 11:02:10
2016-08-11 11:02:10
2016-08-11 11:02:10
2016-08-11 11:02:10
2016-08-11 11:02:10
2016-08-11 11:02:10
2016-08-11 11:02:11
2016-08-11 11:02:11
2016-08-11 11:02:11

2)实时输出:每个时刻值对应的2016-08-11 11:06:56 47

2016-08-11 11:06:57 18 
2016-08-11 11:06:58 44 
2016-08-11 11:06:59 22 
2016-08-11 11:07:00 42 
2016-08-11 11:07:01 44 
2016-08-11 11:07:02 12 
2016-08-11 11:07:03 37 
2016-08-11 11:07:04 18 
2016-08-11 11:07:05 18 
2016-08-11 11:07:06 38 
2016-08-11 11:07:07 48 
2016-08-11 11:07:08 38 
2016-08-11 11:07:09 21 
2016-08-11 11:07:10 31 
2016-08-11 11:07:11 18 
2016-08-11 11:07:12 20 
2016-08-11 11:07:13 3 
2016-08-11 11:07:14 43

要求:一行脚本完成统计。

2、脚本实现原理

1)循环产生时间值,并写入文件。

时刻值的产生需要注意时间和时间戳的#时间形式打印

[root@laoyang zq_testing]# tcurtime=date "+%F %T"
[root@laoyang zq_testing]# echo $tcurtime
2016-08-11 11:15:06

2)时间转化为时间戳

[root@laoyang zq_testing]# scurtime=date -d "$tcurtime" +%s
[root@laoyang zq_testing]# echo $scurtime
1470885306

3)时间戳转化为时间

[root@laoyang zq_testing]# tcurtime=date -d @$scurtime "+%F %T"
[root@laoyang zq_testing]# echo $tcurtime
2016-08-11 11:15:06

4)循环环读取文件,使用awk的词频统计功能完成频率统计。

3、脚本实现

#构造时间脚本
[root@laoyang zq_testing]# cat build_time.sh
#!/bin/sh
#generate random values
function random()
{
  min=$1;
  max=$2
  randomval=$((RANDOM%$max+$min))
  echo $randomval
}

#generate time values
function build_conn_time()
{
  rm -rf ./output.log
  touch ./output.log
  cat /dev/null > ./output.log

  tflag=0
  nextsecond=0
  while :
  do
  if [[ $tflag -eq 0 ]];then
  tcurtime=`date "+%F %T"`
  echo "xtcurtime="$tcurtime
  tflag=1
  else
  #时间戳转化为时间
  tcurtime=`date -d @$nextsecond "+%F %T"`
  echo "next tcurtime="$tcurtime
  fi

  #时间格式化 为时间戳
  scurtime=`date -d "$tcurtime" +%s`

  #产生2-50之间的随机数
  cyccnt=$(random 2 50);
  if [[ -z $cyccnt ]]; then
  cyccnt=10
  fi
  echo "cyccnt="$cyccnt
  i=0
  while (( $i<$cyccnt))
  do
  echo $tcurtime >> output.log
  i=$(($i+1))
  done

  #更新下一秒 ,时间戳可以求和操作
  nextsecond=$(($scurtime+1))
  sleep 1
  done
}

build_conn_time;

一行指令完成统计

root@laoyang zq_testing]# while : ; do cat output.log | sort | awk '{ count[$0]++ }\
END { printf("%-14s %s\n","curtime","Count");\
for(ind in count)\
{ printf("%-14s %d\n",ind,count[ind]); } }' | sort ; sleep 1 ; done

作者:铭毅天下
转载请标明出处,原文地址:
http://blog.csdn.net/laoyang360/article/details/52188384

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
51.com开放平台日志
【51开放平台日志 2008年12月05日】第三方小应用可以直接使用Flash访问51用户照片文件 出自51.com developers wiki 跳转到: 导航, 搜索 因为Flash的跨域读取文件限制策略,导致之前第三方小应用无法实现Flash跨域读取51用户照片。
481 0
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
8404 0
仿酷狗音乐播放器开发日志二十二 动态调色板控件第二版(性能大幅提升附源码)
转载请说明原出处,谢谢~~         在上次写的博客《仿酷狗音乐播放器开发日志二十一 开发动态调色板控件(附源码)》发布后,我在群里和网友讨论这个控件的性能和优 缺点,发现了他很多不足,还有很多提升空间,之后我简单的修改了代码提升了控件的响应速度。
869 0
阿里云Cloud Shell中使用日志服务CLI最佳实践
目前阿里云云命令行Cloud Shell已经部署日志服务CLI,免部署配置,一键管理日志服务资源与下载日志服务数据更轻松!
11440 0
使用DTS从RDS PG实时同步数据到AnalyticDB for PostgreSQL
DTS支持从RDS PG将数据实时同步到AnalyticDB for PG,用户可以很方便的搭建起RDS PG到AnalyticDB for PG的数据同步,轻松实现数据的流转和复杂查询的优化。 使用DTS的前提条件 要求同步的数据表,必须建有主键(通过主键来保证源端和目标端表记录一致性)。
2236 0
【51开放平台日志 2009年03月03日】51开放平台第三方小应用停机维护时间建议
【51开放平台日志 2009年03月03日】51开放平台第三方小应用停机维护时间建议 出自51.com developers wiki 跳转到: 导航, 搜索 通过我们的数据分析,51用户最少的时间段集中在:每天的凌晨4点~7点。
527 0
460
文章
2
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载