Python 分析Nginx 日志并存入MySQL数据库(单线程)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

使用Python 分析Nginx access 日志,根据Nginx日志格式进行分割并存入MySQL数据库。(参考网上一些文章)

Nginx access日志格式如下:

#使用的nginx默认日志格式$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"'

Nginx access 日志内容如下:

182.19.31.129 - - [2013-08-13T00:00:01-07:00] "GET /css/anniversary.css HTTP/1.1" 304 0 "http://www.chlinux.net/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36" "-"

下面是Python 分析nginx的Python代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
#!/usr/bin/env python
#coding:utf8
import  os
import  fileinput
import  re
import  sys
import  MySQLdb
#日志的位置
logfile = open ( "access_20130812.log" )
#使用的nginx默认日志格式$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"'
#日志分析正则表达式
#203.208.60.230
ipP  =  r "?P<ip>[\d.]*"
#以[开始,除[]以外的任意字符 防止匹配上下个[]项目(也可以使用非贪婪匹配*?) 不在中括号里的.可以匹配换行外的任意字符 *这样地重复是"贪婪的“ 表达式引擎会试着重复尽可能多的次数。#以]结束
#[21/Jan/2011:15:04:41 +0800]
timeP  =  r """?P<time>\[[^\[\]]*\]"""
#以"开始, #除双引号以外的任意字符 防止匹配上下个""项目(也可以使用非贪婪匹配*?),#以"结束
#"GET /EntpShop.do?method=view&shop_id=391796 HTTP/1.1"
#"GET /EntpShop.do?method=view&shop_id=391796 HTTP/1.1"
requestP  =  r """?P<request>\"[^\"]*\""" "
statusP  =  r "?P<status>\d+"
bodyBytesSentP  =  r "?P<bodyByteSent>\d+"
#以"开始, 除双引号以外的任意字符 防止匹配上下个""项目(也可以使用非贪婪匹配*?),#以"结束
#"http://test.myweb.com/myAction.do?method=view&mod_id=&id=1346"
referP  =  r """?P<refer>\"[^\"]*\""" "
#以"开始, 除双引号以外的任意字符 防止匹配上下个""项目(也可以使用非贪婪匹配*?),以"结束
#"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"'
userAgentP  =  r """?P<userAgent>\"[^\"]*\""" "
#以(开始, 除双引号以外的任意字符 防止匹配上下个()项目(也可以使用非贪婪匹配*?),以"结束
#(compatible; Googlebot/2.1; +http://www.google.com/bot.html)"'
userSystems  =  re. compile (r '\([^\(\)]*\)' )
#以"开始,除双引号以外的任意字符防止匹配上下个""项目(也可以使用非贪婪匹配*?),以"结束
userlius  =  re. compile (r '[^\)]*\"' )
#原理:主要通过空格和-来区分各不同项目,各项目内部写各自的匹配表达式
nginxLogPattern  =  re. compile (r "(%s)\ -\ -\ (%s)\ (%s)\ (%s)\ (%s)\ (%s)\ (%s)"  % (ipP, timeP, requestP, statusP, bodyBytesSentP, referP, userAgentP), re.VERBOSE)
#数据库连接信息
conn = MySQLdb.connect(host = '192.168.1.22' ,user = 'test' ,passwd = 'pass' ,port = 3306 ,db = 'python' )
cur = conn.cursor()
sql  =  "INSERT INTO python.test VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s)"
while  True :
     line  =  logfile.readline()
     if  not  line: break
     matchs  =  nginxLogPattern.match(line)
     if  matchs ! =  None :
         allGroup  =  matchs.groups()
         ip  =  allGroup[ 0 ]
         time  =  allGroup[ 1 ]
         request  =  allGroup[ 2 ]
         status  =  allGroup[ 3 ]
         bodyBytesSent  =  allGroup[ 4 ]
         refer  =  allGroup[ 5 ]
         userAgent  =  allGroup[ 6 ]
         Time  =  time.replace( 'T' , ' ' )[ 1 : - 7 ]
         if  len (userAgent) >  20 :
             userinfo  =  userAgent.split( ' ' )
             userkel  =   userinfo[ 0 ]
             try :
                 usersystem  =  userSystems.findall(userAgent)
                 usersystem  =  usersystem[ 0 ]
                 print  usersystem
                 userliu  =  userlius.findall(userAgent)
                 value  =  [ip,Time,request,status,bodyBytesSent,refer,userkel,usersystem,userliu[ 1 ]]
                 conn.commit()
                 print  value
             except  IndexError:
                 userinfo  =  userAgent
                 value  =  [ip,Time,request,status,bodyBytesSent,refer,userinfo," "," "]
         else :
             useraa  =  userAgent
             value  =  [ip,Time,request,status,bodyBytesSent,refer,useraa," "," "]
     try :
         result  =  cur.execute(sql,value)
         #conn.commit()
         print  result
     except  MySQLdb.Error,e:
         print  "Mysql Error %d: %s"  %  (e.args[ 0 ], e.args[ 1 ])
conn.commit()
conn.close()

存入数据库后数据是如下格式:

wKiom1MgfMShNk6QAAGUS4GGvss147.jpg


本文转自1594cqb 51CTO博客,原文链接:http://blog.51cto.com/wolfchen/1374470,如需转载请自行联系原作者

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2天前
|
存储 SQL 监控
JAVA 线程池的分析和使用
JAVA 线程池的分析和使用
8 0
|
2天前
|
关系型数据库 MySQL API
用Python一键艺龙酒店各个城市数据存入mysql
用Python一键艺龙酒店各个城市数据存入mysql
|
4天前
|
SQL 关系型数据库 MySQL
Python 操作 MySQL 数据库
Python 操作 MySQL 数据库
|
7天前
|
缓存 关系型数据库 MySQL
MySQL数据库——InnoDB引擎-架构-内存结构(Buffer Pool、Change Buffer、Adaptive Hash Index、Log Buffer)
MySQL数据库——InnoDB引擎-架构-内存结构(Buffer Pool、Change Buffer、Adaptive Hash Index、Log Buffer)
24 3
|
8天前
|
SQL 关系型数据库 MySQL
MySQL数据库——索引(3)-索引语法(创建索引、查看索引、删除索引、案例演示),SQL性能分析(SQL执行频率,慢查询日志)
MySQL数据库——索引(3)-索引语法(创建索引、查看索引、删除索引、案例演示),SQL性能分析(SQL执行频率,慢查询日志)
14 2
|
8天前
|
存储 关系型数据库 MySQL
第14章_MySQL事务日志(2)
第14章_MySQL事务日志
10 0
|
8天前
|
存储 缓存 关系型数据库
第14章_MySQL事务日志(1)
第14章_MySQL事务日志
11 0
|
10天前
|
SQL 关系型数据库 数据库
17. Python 数据库操作之MySQL和SQLite实例
17. Python 数据库操作之MySQL和SQLite实例
42 2
|
10天前
|
应用服务中间件 nginx
Nginx开启访问日志记录
Nginx开启访问日志记录
|
10天前
|
SQL 监控 关系型数据库
解密MySQL二进制日志:深度探究mysqlbinlog工具
解密MySQL二进制日志:深度探究mysqlbinlog工具
35 3