apache访问日志 logstash 配置文件实例1-阿里云开发者社区

apache访问日志 logstash 配置文件实例1

2017-11-08 1004

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

日志服务 SLS，月写入数据量 50GB 1个月

简介：

      日志格式：
     
      LogFormat "%{clientip}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" \"%{clientip}i.%{cookie}n\"" combined
     
      日志实例：
     
      183.60.150.34 - - [23/Jun/2017:17:57:52 +0800] "GET /jump/cps.jsp?projectcode=0085001&cid=A200647189%7c%7c0000&url=http%3a%2f%2fwww.mangocity.com HTTP/1.1" 302 - "http://myhenan.qq.com/t-7947749-1.htm" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.108 Safari/537.36 2345Explorer/8.6.1.15524" "183.60.150.34.10.10.130.100.1498211872045986"
     
      logstash配置文件：
     
      input {  
     
      file {   
     
      type => "www_access"   
     
      path => ["/usr/local/elk/elklog/apachelog/log0/www.mangocity.com-access_log","/usr/local/elk/elklog/apachelog/log1/www.mangocity.com-access_log"]   
     
      } 
     
      file {
     
      type => "ro_access" 
     
      path => ["/usr/local/elk/elklog/apachelog/log0/ro.mangocity.com-access_log","/usr/local/elk/elklog/apachelog/log1/ro.mangocity.com-access_log"] 
     
      } 
     
      }
     
      filter {
     
      grok { 
     
      match => { 
     
      "message" => '(%{USER:clientip}|%{IPORHOST:clientip}|%{IPORHOST:clientip}, %{IPORHOST}) %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "%{WORD:verb} %{DATA:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response:int} (?:-|%{NUMBER:bytes:int}) %{QS:referrer} %{QS:agent}' 
     
      } 
     
      } 
     
      date { 
     
      match => [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z" ] 
     
      locale => en 
     
      } 
     
      geoip { 
     
      source => "clientip" 
     
      } 
     
      useragent { 
     
      source => "agent" 
     
      target => "useragent" 
     
      } 
     
      }
     
      output {
     
      redis {   
     
      host => "10.10.45.200"   
     
      data_type => "list"   
     
      key => "elk_frontend_access:redis"   
     
      port=>"5379"   
     
      }    
     
      }

apache访问日志 logstash 配置文件实例1

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像