利用zabbix生成awstats日志分析图表并用Python调用zabbix API批量添加item

简介:

  awstats作为一款日志分析软件,功能不错,但是界面过于简单,也没有图表功能,这里我采取了一种变通的方法,将awstats的分析结果(pv、hits(文件数)、bandwidth、visits(独立ip))添加到zabbix,并通过zabbix生成趋势图表。

    在前两篇文章中,我们队awstats的使用及其工作方式进行了简明扼要的介绍:awstats对每个站点进行分析之后,会生成一个“awstats012016.txt”格式的“数据库”文件;awstats的展示页面便是从该文件中取数据生成的。

    1. 多server多站点情况下awstats日志分析

    2. awstats CGI模式下动态生成页面缓慢的改进

    这篇文章的思路就是从这个文本格式的‘数据库文件’中取得我们想要的数据,然后通过自定义的脚本将其添加到zabbix中,最终满足我们生成pv趋势图表的需求。

    而完成此任务的关键就是分析似‘awstats052016.txt’的数据文件的内容格式(ps:以笔者“多年”shell经验来看,”分析源文件格式“和“生成目标文件格式”这俩“格式”在日常的shell编程中占用了很大一部分时间。扯远了O(∩_∩)O~)

    首先是自定义脚本作为zabbix的key,从对应的‘数据文件’中取得pv、hits、bandwidth、visits的值。用shell实现如下

cat web_pv.sh

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#!/bin/sh
#从例如api/awstats052016.txt这样的awstats数据库文件里取得昨天的pv等统计(因为awstats本身就是统计到昨天的日志)
#by  ljk  20160506
#blog    http://kaifly.blog.51cto.com/
 
#shell脚本的$1 $2分别代表站点名称(格式如www或bbs)和统计项(pv 文件数 字节 独立ip)
 
basedir= '/usr/local/awstats-7.4/result'
date_f1=$( date  +%m%Y -d  '1 day ago' )
date_f2=$( date  +%Y%m%d -d  '1 day ago' )
 
cd  $basedir/$1
#下面关于awk的用法中有一个小技巧,匹配到指定的项之后,停止继续搜索余下的内容。这对于体积较大的文件可以节约不少时间
content=` awk  '$1 == "' $date_f2 '" {{print} {exit}}'  awstats$date_f1\.txt`
case  $2  in
     "pages" )
         echo  $content| awk  '{print $2}' ;;     #pv
     "hits" )
         echo  $content| awk  '{print $3}' ;;     #hits/文件数
     "bandwidth" )
         echo  $content| awk  '{print $4}' ;;     #bandwidth/字节
     "visits" )
         echo  $content| awk  '{print $5}' ;;     #visits/独立ip
     *)
         echo  "unknow value" ;;
esac

然后在awstats所在的server的zabbix的‘userparameter.conf’文件中添用户自定义key,并重启zabbix_agentd

1
UserParameter=web_pv[*], /bin/sh  /usr/local/zabbix/etc/zabbix_agentd .conf.d /web_pv .sh $1 $2

接着在zabbix_server端通过zabbix_get命令尝试获取这些值,key格式为“web_pv[站点名,监控项]”,例如

wKioL1czRTXDNt-9AAA2gArdX7k085.png

能取到值,说明自定义key是ok的。

    接下来就是在zabbix里添加各站点的item了,这里通过Python实现(zbx接口通过json传递数据,处理json python比shell方便太多了)

    这里需要仔细阅读下zabbix的api文档https://www.zabbix.com/documentation/3.0/manual/api和查看zabbix数据库结构(确保万无一失嘛)

    首先在zabbix里创建一个template,名为Template site PV,这一步手动创建即可

然后开始通过Python自动化添加items

cat shells/add_web-pv_item_to_zabbix.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
#!/bin/env python3
"""
将各站点的4种(pages,hits,bandwidth,visits)item添加/更新到zabbix的 'Template Site-PV'
by ljk  20160507
"""
import  os,requests
 
basedir = '/usr/local/services/awstats-7.4/result/'
items = [ 'pages' , 'hits' , 'bandwidth' , 'visits' ]
 
url = 'http://192.168.1.199/api_jsonrpc.php'
zbx_api_headers = { 'Content-Type' : 'application/json-rpc' }     #定义通过zabbix api操作时必带的header
 
#取得用于zabbix api认证的token,通过用户名密码请求api生成
#生成方式请参考api文档,有个这个token,可以省去账号密码认证
api_auth = "738024dfda33cc6020fb1f5e3617" 
 
#这里我在前期实验的时候,手动添加了几个item了,所以这里先取出template里已经存在的item,以便后期创建时过滤掉这些item
exist_items_filter = {     #通过zabbix api查询已经存在的web_pv[*,*]的item,这里是json格式的过滤条件
     "jsonrpc" "2.0" ,
     "method" "item.get" ,
     "params" : {
         "output" :[
             "name" ,
         ],
         "search" : {
             "key_" : "web_pv"
         }
     },
     "auth" :api_auth,
     "id" 0
}
exist_items = requests.post(url,headers = zbx_api_headers,json = exist_items_filter)
 
os.chdir(basedir)
sites = os.listdir(path = '.' )
 
def  create_item():
     for  site  in  sites:
         for  item  in  items:
             if  site + '-' + item  not  in  exist_items.text:
                 #先给不同情况下的units和multiplier赋值
                 if  item = = 'pages'  or  item = = 'hits' :
                     units = '万'
                     multiplier = 0.0001
                 elif  item = = 'bandwidth' :
                     units = 'B'
                     multiplier = 1
                 else :
                     units = ''
                     multiplier = 1
                 #定义创建item的json数据格式
                 num = 10
                 create_item_post = {
                     "jsonrpc" "2.0" ,
                     "method" "item.create" ,
                     "params" : {
                         "name" : site + ',' + item,
                         "key_" "www_pv[" + site + ',' + item + "]" ,
                         "hostid" "10134" ,
                         "type" 0 ,
                         "value_type" 3 ,
                         "history" 7 ,
                         "delay" 28800 ,
                         "units" : units,
                         "applications" : [ 774 ],
                         "interfaceid" "0" ,
                         "formula" : multiplier
                     },
                     "auth" : api_auth,
                     "id" : num
                 }
                 try :
                     create_item_result = requests.post(url,headers = zbx_api_headers,json = create_item_post)            
                     #打印处理每个条目的结果
                     print ( '{}-{}: return_code {} details {}' . format (site,item,create_item_result.status_code,create_item_result.json))
                     num + = 1
                 except :
                     print ( '{}-{}: error' . format (site,item))
                     import  sys
                     sys.exit( 255 )
#create_item()
 
#update函数,其实是我在执行create_item()的时候将key的名字写错了,无奈在写一个update_item()吧
def  update_item():
     num = 100     #对应zbx api中的id字段,随意指定,确保每次调用api时该值不同即可(这里用自增的方式)
 
     #定义更新item的json数据格式
     update = {
         "jsonrpc" "2.0" ,
         "method" "item.update" ,
         "params" : {
             "itemid" : "",
             "key_" : ""
         },
         "auth" : api_auth,
         "id" : num
     }
     #取得site pv模板下所有错误的item(key以www_py开头的),hostid的值实际为template site PV模板的templateid
     wrong_items_filter = {
             "jsonrpc" "2.0" ,
             "method" "item.get" ,
             "params" : {
                "output" :[ "key_" , "hostid" ],
                 "search" : { "hostid" : "10134" , "key_" : "www_pv" }
             },
             "auth" : api_auth,
             "id" 0
         }
     wrong_items = requests.post(url,headers = zbx_api_headers,json = wrong_items_filter).json()[ 'result' ]     #wrong_items为list
 
     for  wrong_item  in  wrong_items:
         if  wrong_item[ 'hostid' ] ! =  '10119' :     #img2从template site pv继承而来 所以这里每个item对应两条记录对应template site pv的hostid:10134和img2的hostid:10119,所以不需要修改img2的
             update[ 'params' ][ 'itemid' ] = wrong_item[ 'itemid' ]
             update[ 'params' ][ 'key_' ] = wrong_item[ 'key_' ].replace( 'www' , 'web' , 1 )            
             try :
                 update_item_result = requests.post(url,headers = zbx_api_headers,json = update)
                 print ( '{} ---- details {}' . format (wrong_item[ 'key_' ],update_item_result.json()))
                 num + = 1
             except :
                 print ( '{}-{}: error' . format (site,item))
                 import  sys
                 sys.exit( 255 )
#update_item()

    后续的批量生成image和生成screen都可以通过zbx 的API来完成,这里就不再列举了  

    ok,最后看两张zabbix生成的靓图吧

wKiom1cz7y3gx8H_AAFbYDcLV3Q395.png

wKiom1cz77qSrYKWAAGSoXMhnv4994.png





     本文转自kai404 51CTO博客,原文链接:http://blog.51cto.com/kaifly/1772377,如需转载请自行联系原作者


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
消息中间件 测试技术 Python
Python使用多线程解析超大日志文件
Python使用多线程解析超大日志文件
20 0
|
1月前
|
存储 数据库 Python
Loguru:Python中强大的日志库
Loguru:Python中强大的日志库
40 2
|
1月前
|
存储 安全 算法
Python如何在打印日志时隐藏明文密码?
Python如何在打印日志时隐藏明文密码?
31 0
|
1月前
|
监控 Python
Python生成日志文件
Python生成日志文件
22 0
|
2月前
|
监控 IDE 开发工具
Python中的日志记录与调试技巧
Python中的日志记录与调试技巧
|
2月前
|
监控 Java API
JDK 9新特性深度探索:平台日志API和服务
本文将深入探讨JDK 9中引入的平台日志API和服务。这一新特性为Java应用程序提供了更强大、灵活的日志记录功能,帮助开发者更好地监控和诊断应用程序的运行状况。本文将详细介绍平台日志API和服务的特性和优势,以及如何在项目中应用这一新特性来提升应用程序的稳定性和可维护性。
|
3月前
|
存储 BI 网络安全
正在等待继续编辑 - Python - 基础知识专题 - 配置文件与日志管理
正在等待继续编辑 - Python - 基础知识专题 - 配置文件与日志管理
22 0
|
3月前
|
Python
python正确使用logging日志的方式
python正确使用logging日志的方式
32 0
|
3月前
|
IDE 开发工具 Python

热门文章

最新文章

推荐镜像

更多