nginx访问日志 logstash 配置文件实例1-阿里云开发者社区

nginx访问日志 logstash 配置文件实例1

2017-11-15 1173

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介：

      日志格式：
     
      log_format usgateway '$http_clientip\t$http_ServiceName\t$http_uid\t$http_sid\t[$time_local]'
     
      '\t$request\t$status\t$body_bytes_sent\t$connection_requests' 
     
      '\t$remote_addr\t$http_referer\t$http_user_agent' 
     
      '\t$request_body\t$request_time\t$msec'; 
     
      日志实例：
     
      10.10.45.152---[23/Jun/2017:17:37:42 +0800]POST /sg HTTP/1.14055765910.10.130.100-Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0){\x22mbrNetName\x22:\x22\xE9\x87\x91\xE6\x98\x9F\x22,\x22nameCn\x22:\x22\xE8\x8A\x92\xE6\x9E\x9C\xE7\xBD\x91\x22,\x22gender\x22:\x2211\x22,\x22birthday\x22:\x222010-10-01\x22,\x22mbrId\x22:\x2235954629\x22,\x22emailAddr\x22:\x22334740263@qq.com\x22,\x22mobileNo\x22:\x2215902074059\x22}0.0011498210662.427
     
      logstash配置文件：
     
      input {  
     
      file {   
     
      type => "uSG_gateway_access"   
     
      path => ["/usr/local/elk/elklog/nginxlog/log0/uSG_gateway_elk.log"]   
     
      } 
     
      } 
     
      filter {
     
      ruby {
     
      init => "@kname = ['http_clientip','http_ServiceName','http_uid','http_sid','time_local','request','status','body_bytes_sent','connection_requests','remote_addr','http_referer','http_user_agent','request_body','request_time','msec']"
     
      code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('message').split(''))])
     
      new_event.remove('@timestamp')
     
      event.append(new_event)"
     
      }
     
      if [request] {
     
      ruby {
     
      init => "@kname = ['method','uri','verb']"
     
      code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('request').split(' '))])
     
      new_event.remove('@timestamp')
     
      event.append(new_event)
     
      "
     
      }
     
      }
     
      mutate {
     
      convert => ["body_bytes_sent" , "integer", "content_length", "integer", "upstream_response_time", "float","request_time", "float"]
     
      }
     
      grok { 
     
      match => [ "message", "%{IPORHOST:clientip}%{USER}%{USER}%{USER}\[%{HTTPDATE:timestamp}\]"]
     
      }
     
      date {
     
      match => [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z" ]
     
      locale => "en"
     
      }
     
      geoip { 
     
      source => "clientip"
     
      } 
     
      useragent {
     
      source => "http_user_agent" 
     
      target => "useragent" 
     
      } 
     
      }
     
      output { 
     
      elasticsearch {
     
      hosts => "10.10.45.200:8201"
     
      index => "logstash-gateway-frontend-%{+YYYY.MM.dd}" 
     
      }
     
      }
     
      注意：日志分隔符为table键。       
           本文转自1321385590 51CTO博客，原文链接
      http://blog.51cto.com/linux10000/1941411
      ：，如需转载请自行联系原作者

nginx访问日志 logstash 配置文件实例1

热门文章

最新文章

相关课程

相关电子书

相关实验场景