|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
|
日志格式：
log_format elk "$http_clientip | $http_x_forwarded_for | $time_local | $request | $status | $body_bytes_sent | "
" $request_body | $content_length | $http_referer | $http_user_agent | "
"$http_cookie | $remote_addr | $hostname | $upstream_addr | $upstream_response_time | $request_time";
日志实例：
36.110.211.42 | 10.10.130.101 | 23/Jun/2017:17:51:01 +0800 | GET /lvyou/dongjing/ HTTP/1.1 | 200 | 73181 | - | 0 | - | Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.117 Safari/537.36 | JSESSION_O2O=0000F0jMLw1MnT6SFCvhcqW3oP9:19h7oe5dr; SessionID=10.10.130.101.1498210484146456; sCityCode=SZX; sCityName=%E6%B7%B1%E5%9C%B3; vac_ss_sid=4441002; vac_ss_uid=4441 | 10.10.130.100 | www1-n01 | 10.10.130.237:80 | 0.808 | 0.809
logstash实例：
input {
file {
type => "www1_access"
path => ["/usr/local/elk/elklog/nginxlog/log0/www1.log","/usr/local/elk/elklog/nginxlog/log1/www1.log"]
}
file {
type => "flight1_access"
path => ["/usr/local/elk/elklog/nginxlog/log0/flight1.log","/usr/local/elk/elklog/nginxlog/log1/flight1.log"]
}
file {
type => "m_access"
path => ["/usr/local/elk/elklog/nginxlog/log0/m.log"]
}
}
filter {
ruby {
init => "@kname = ['http_clientip','http_x_forwarded_for','time_local','request','status','body_bytes_sent','request_body','content_length','http_referer','http_user_agent','http_cookie','remote_addr','hostname','upstream_addr','upstream_response_time','request_time']"
code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('message').split(' | '))])
new_event.remove('@timestamp')
event.append(new_event)"
}
if [request] {
ruby {
init => "@kname = ['method','uri','verb']"
code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('request').split(' '))])
new_event.remove('@timestamp')
event.append(new_event)
"
}
if [uri] {
ruby {
init => "@kname = ['url_path','url_args']"
code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('uri').split('?'))])
new_event.remove('@timestamp')
event.append(new_event)
"
}
kv {
prefix => "url_"
source => "url_args"
field_split => "& "
remove_field => [ "url_args","uri","request" ]
}
}
}
mutate {
convert => ["body_bytes_sent" , "integer", "content_length", "integer", "upstream_response_time", "float","request_time", "float"]
}
grok {
match => [
"message", "%{IP:clientip} \| %{USER} \| %{HTTPDATE:timestamp}"
]
}
date {
match => [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z" ]
locale => "en"
}
geoip
{
source => "clientip"
}
mutate {
remove_field => "timestamp"
remove_field => "http_clientip"
}
useragent {
source => "http_user_agent"
target => "useragent"
}
}
output {
redis {
host => "10.10.45.200"
data_type => "list"
key => "elk_frontend_access:redis"
port=>"5379"
}
}
注意：分隔符为“空格+table+空格”
|
nginx访问日志 logstash 配置文件实例2
2017-11-08
1115
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
目录
相关文章
|
1月前
|
缓存
负载均衡
应用服务中间件
nginx的配置文件详解
本文详细解释了nginx配置文件中的关键指令和区块，如http、server、location、upstream、events等，并通过一个示例配置文件展示了如何设置HTTP服务器、gzip压缩、反向代理、URL重写、错误页面和负载均衡等，强调了配置的灵活性和实际应用。
47
4
4
|
6天前
|
安全
应用服务中间件
网络安全
|
6天前
|
安全
应用服务中间件
网络安全
配置Nginx反向代理实现SSL加密访问的步骤是什么？
我们可以成功地配置 Nginx 反向代理实现 SSL 加密访问，为用户提供更安全、可靠的网络服务。同时，在实际应用中，还需要根据具体情况进行进一步的优化和调整，以满足不同的需求。SSL 加密是网络安全的重要保障，合理配置和维护是确保系统安全稳定运行的关键。
38
3
3
|
23天前
|
存储
监控
安全
|
19天前
|
Web App开发
算法
应用服务中间件
nginx开启局域网https访问
【10月更文挑战第22天】为了调试WebRTC功能，需要在局域网内搭建HTTPS协议。具体步骤包括：在已部署Nginx和安装OpenSSL的环境中生成私钥、证书签名请求和自签名证书；将生成的文件放置到Nginx的证书目录并修改Nginx配置文件，最后重启Nginx服务。注意，自签名证书不受第三方机构认可，如需正式使用，需向CA申请签名。
39
2
2
|
1月前
|
负载均衡
应用服务中间件
Linux
nginx学习，看这一篇就够了：下载、安装。使用：正向代理、反向代理、负载均衡。常用命令和配置文件,很全
这篇博客文章详细介绍了Nginx的下载、安装、配置以及使用，包括正向代理、反向代理、负载均衡、动静分离等高级功能，并通过具体实例讲解了如何进行配置。
160
4
5
|
22天前
|
存储
JSON
监控
|
1月前
|
缓存
负载均衡
算法
nginx学习：配置文件详解，负载均衡三种算法学习，上接nginx实操篇
Nginx 是一款高性能的 HTTP 和反向代理服务器，也是一个通用的 TCP/UDP 代理服务器，以及一个邮件代理服务器和通用的 HTTP 缓存服务器。
75
0
0
|
1月前
|
域名解析
网络协议
应用服务中间件
|
1月前
|
应用服务中间件
Shell
PHP
热门文章
最新文章
1
MySQL的innodb_flush_log_at_trx_commit配置值的设定
2
innodb重做日志缓冲
3
【编程练习】收集的一些c++代码片，算法排序，读文件，写日志，快速求积分等等
4
让log4j的DailyRollingFileAppender自动删除过期文件
5
JVM - 一篇带你读懂 Java GC 日志（附 GC 耗时讲解）
6
httpd服务之部署AWStats日志分析系统
7
我的Android进阶之旅------>Android关于Log的一个简单封装
8
python日志模块logging
9
庖丁解InnoDB之REDO LOG
10
访问日志不记录静态文件
1
Android-音视频学习系列-(八)基于-Nginx-搭建(rtmp、http)直播服务器
111
2
解决nginx配置负载均衡时invalid host in upstream报错
517
3
构建高性能Web服务器：Nginx vs Apache
245
4
流媒体方案之Nginx——实现物联网视频监控项目
211
5
一文读懂：Nginx 和Gateway
631
6
nginx配置集群轮训策略
672
7
Nginx笔记
51
8
Heartbeat+Nginx实现高可用集群
90
9
一文读懂HTTPS⭐揭秘加密传输背后的原理与Nginx配置攻略
341
10
docker安装nginx
82