|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
|
日志格式：
log_format usgateway '$http_clientip\t$http_ServiceName\t$http_uid\t$http_sid\t[$time_local]'
'\t$request\t$status\t$body_bytes_sent\t$connection_requests'
'\t$remote_addr\t$http_referer\t$http_user_agent'
'\t$request_body\t$request_time\t$msec';
日志实例：
10.10.45.152---[23/Jun/2017:17:37:42 +0800]POST /sg HTTP/1.14055765910.10.130.100-Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0){\x22mbrNetName\x22:\x22\xE9\x87\x91\xE6\x98\x9F\x22,\x22nameCn\x22:\x22\xE8\x8A\x92\xE6\x9E\x9C\xE7\xBD\x91\x22,\x22gender\x22:\x2211\x22,\x22birthday\x22:\x222010-10-01\x22,\x22mbrId\x22:\x2235954629\x22,\x22emailAddr\x22:\x22334740263@qq.com\x22,\x22mobileNo\x22:\x2215902074059\x22}0.0011498210662.427
logstash配置文件：
input {
file {
type => "uSG_gateway_access"
path => ["/usr/local/elk/elklog/nginxlog/log0/uSG_gateway_elk.log"]
}
}
filter {
ruby {
init => "@kname = ['http_clientip','http_ServiceName','http_uid','http_sid','time_local','request','status','body_bytes_sent','connection_requests','remote_addr','http_referer','http_user_agent','request_body','request_time','msec']"
code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('message').split(''))])
new_event.remove('@timestamp')
event.append(new_event)"
}
if [request] {
ruby {
init => "@kname = ['method','uri','verb']"
code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('request').split(' '))])
new_event.remove('@timestamp')
event.append(new_event)
"
}
}
mutate {
convert => ["body_bytes_sent" , "integer", "content_length", "integer", "upstream_response_time", "float","request_time", "float"]
}
grok {
match => [ "message", "%{IPORHOST:clientip}%{USER}%{USER}%{USER}\[%{HTTPDATE:timestamp}\]"]
}
date {
match => [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z" ]
locale => "en"
}
geoip {
source => "clientip"
}
useragent {
source => "http_user_agent"
target => "useragent"
}
}
output {
elasticsearch {
hosts => "10.10.45.200:8201"
index => "logstash-gateway-frontend-%{+YYYY.MM.dd}"
}
}
注意：日志分隔符为table键。
本文转自1321385590 51CTO博客，原文链接
http://blog.51cto.com/linux10000/1941411
：，如需转载请自行联系原作者
|
nginx访问日志 logstash 配置文件实例1
2017-11-15
1215
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
目录
相关文章
|
1天前
|
数据可视化
关系型数据库
MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤，你可以成功配置ELK（Elasticsearch, Logstash, Kibana）来实现nginx、mysql和http日志的可视化。通过Kibana，你可以直观地查看和分析日志数据，从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
139
90
90
|
3月前
|
应用服务中间件
Linux
网络安全
nginx安装部署ssl证书，同时支持http与https方式访问
为了使HTTP服务支持HTTPS访问，需生成并安装SSL证书，并确保Nginx支持SSL模块。首先，在`/usr/local/nginx`目录下生成RSA密钥、证书申请文件及自签名证书。接着，确认Nginx已安装SSL模块，若未安装则重新编译Nginx加入该模块。最后，编辑`nginx.conf`配置文件，启用并配置HTTPS服务器部分，指定证书路径和监听端口（如20000），保存后重启Nginx完成部署。
1006
8
10
|
3月前
|
监控
应用服务中间件
定位技术
|
4月前
|
安全
应用服务中间件
网络安全
|
4月前
|
安全
应用服务中间件
网络安全
配置Nginx反向代理实现SSL加密访问的步骤是什么？
我们可以成功地配置 Nginx 反向代理实现 SSL 加密访问，为用户提供更安全、可靠的网络服务。同时，在实际应用中，还需要根据具体情况进行进一步的优化和调整，以满足不同的需求。SSL 加密是网络安全的重要保障，合理配置和维护是确保系统安全稳定运行的关键。
355
60
60
|
4月前
|
Web App开发
算法
应用服务中间件
nginx开启局域网https访问
【10月更文挑战第22天】为了调试WebRTC功能，需要在局域网内搭建HTTPS协议。具体步骤包括：在已部署Nginx和安装OpenSSL的环境中生成私钥、证书签名请求和自签名证书；将生成的文件放置到Nginx的证书目录并修改Nginx配置文件，最后重启Nginx服务。注意，自签名证书不受第三方机构认可，如需正式使用，需向CA申请签名。
147
2
2
|
4月前
|
存储
JSON
监控
|
4月前
|
存储
监控
安全
|
5月前
|
应用服务中间件
Shell
PHP
|
6月前
|
设计模式
SQL
安全
PHP中的设计模式：单例模式的深入探索与实践在PHP的编程实践中，设计模式是解决常见软件设计问题的最佳实践。单例模式作为设计模式中的一种，确保一个类只有一个实例，并提供全局访问点，广泛应用于配置管理、日志记录和测试框架等场景。本文将深入探讨单例模式的原理、实现方式及其在PHP中的应用，帮助开发者更好地理解和运用这一设计模式。
在PHP开发中，单例模式通过确保类仅有一个实例并提供一个全局访问点，有效管理和访问共享资源。本文详细介绍了单例模式的概念、PHP实现方式及应用场景，并通过具体代码示例展示如何在PHP中实现单例模式以及如何在实际项目中正确使用它来优化代码结构和性能。
79
2
2
热门文章
最新文章
1
nginxconf.sh 自动生成 nginx tcp 转发配置文件 conf
2
Grafana Loki，轻量级日志系统
3
智能日志分析：用AI点亮运维的未来
4
Nginx负载聚能
5
Nginx 响应头 Vary 的介绍与应用
6
网络安全视角：从地域到账号的阿里云日志审计实践
7
docker运维查看指定应用log文件位置和名称
8
海量日志接入 Serverless 应用降本70%以上
9
ELK实现nginx、mysql、http的日志可视化实验
10
日志审计是什么？为什么企业需要日志审计？
1
ELK实现nginx、mysql、http的日志可视化实验
139
2
Log/Trace/Metric 完成 APIServer 可观测覆盖
38
3
除了实时性能监控，Hyper-V还支持日志记录和警报功能你知道吗？
24
4
让跨 project 联查更轻松，SLS StoreView 查询和分析实践
22
5
网络安全视角：从地域到账号的阿里云日志审计实践
22
6
一招高效解析 Access Log，轻松应对泼天流量
31
7
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
22
8
Log/Trace/Metric 完成 APIServer 可观测覆盖
24
9
MySQL日志
45
10
图解MySQL【日志】——磁盘 I/O 次数过高时优化的办法
29