|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
|
日志格式：
log_format usgateway '$http_clientip\t$http_ServiceName\t$http_uid\t$http_sid\t[$time_local]'
'\t$request\t$status\t$body_bytes_sent\t$connection_requests'
'\t$remote_addr\t$http_referer\t$http_user_agent'
'\t$request_body\t$request_time\t$msec';
日志实例：
10.10.45.152---[23/Jun/2017:17:37:42 +0800]POST /sg HTTP/1.14055765910.10.130.100-Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0){\x22mbrNetName\x22:\x22\xE9\x87\x91\xE6\x98\x9F\x22,\x22nameCn\x22:\x22\xE8\x8A\x92\xE6\x9E\x9C\xE7\xBD\x91\x22,\x22gender\x22:\x2211\x22,\x22birthday\x22:\x222010-10-01\x22,\x22mbrId\x22:\x2235954629\x22,\x22emailAddr\x22:\x22334740263@qq.com\x22,\x22mobileNo\x22:\x2215902074059\x22}0.0011498210662.427
logstash配置文件：
input {
file {
type => "uSG_gateway_access"
path => ["/usr/local/elk/elklog/nginxlog/log0/uSG_gateway_elk.log"]
}
}
filter {
ruby {
init => "@kname = ['http_clientip','http_ServiceName','http_uid','http_sid','time_local','request','status','body_bytes_sent','connection_requests','remote_addr','http_referer','http_user_agent','request_body','request_time','msec']"
code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('message').split(''))])
new_event.remove('@timestamp')
event.append(new_event)"
}
if [request] {
ruby {
init => "@kname = ['method','uri','verb']"
code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('request').split(' '))])
new_event.remove('@timestamp')
event.append(new_event)
"
}
}
mutate {
convert => ["body_bytes_sent" , "integer", "content_length", "integer", "upstream_response_time", "float","request_time", "float"]
}
grok {
match => [ "message", "%{IPORHOST:clientip}%{USER}%{USER}%{USER}\[%{HTTPDATE:timestamp}\]"]
}
date {
match => [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z" ]
locale => "en"
}
geoip {
source => "clientip"
}
useragent {
source => "http_user_agent"
target => "useragent"
}
}
output {
elasticsearch {
hosts => "10.10.45.200:8201"
index => "logstash-gateway-frontend-%{+YYYY.MM.dd}"
}
}
注意：日志分隔符为table键。
本文转自1321385590 51CTO博客，原文链接
http://blog.51cto.com/linux10000/1941411
：，如需转载请自行联系原作者
|
nginx访问日志 logstash 配置文件实例1
2017-11-15
1216
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
目录
相关文章
|
13天前
|
数据可视化
关系型数据库
MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤，你可以成功配置ELK（Elasticsearch, Logstash, Kibana）来实现nginx、mysql和http日志的可视化。通过Kibana，你可以直观地查看和分析日志数据，从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
178
90
90
|
10天前
|
域名解析
应用服务中间件
网络安全
阿里云个人博客外网访问中断应急指南：从安全组到日志的七步排查法
1. 检查安全组配置：确认阿里云安全组已开放HTTP/HTTPS端口，添加规则允许目标端口（如80/443），授权对象设为`0.0.0.0/0`。
2. 本地防火墙设置：确保服务器防火墙未阻止外部流量，Windows启用入站规则，Linux检查iptables或临时关闭防火墙测试。
3. 验证Web服务状态：检查Apache/Nginx/IIS是否运行并监听所有IP，使用命令行工具确认监听状态。
4. 测试网络连通性：使用外部工具和内网工具测试服务器端口是否开放，排除本地可访问但外网不可的问题。
5. 排查DNS解析：确认域名A记录指向正确公网IP，使用`ping/nslookup`验证解析正
44
2
2
|
1天前
|
存储
Java
文件存储
微服务——SpringBoot使用归纳——Spring Boot使用slf4j进行日志记录—— logback.xml 配置文件解析
本文解析了 `logback.xml` 配置文件的详细内容，包括日志输出格式、存储路径、控制台输出及日志级别等关键配置。通过定义 `LOG_PATTERN` 和 `FILE_PATH`，设置日志格式与存储路径；利用 `<appender>` 节点配置控制台和文件输出，支持日志滚动策略（如文件大小限制和保存时长）；最后通过 `<logger>` 和 `<root>` 定义日志级别与输出方式。此配置适用于精细化管理日志输出，满足不同场景需求。
11
1
1
|
5月前
|
缓存
负载均衡
应用服务中间件
nginx的配置文件详解
本文详细解释了nginx配置文件中的关键指令和区块，如http、server、location、upstream、events等，并通过一个示例配置文件展示了如何设置HTTP服务器、gzip压缩、反向代理、URL重写、错误页面和负载均衡等，强调了配置的灵活性和实际应用。
163
4
4
|
1月前
|
网络协议
前端开发
应用服务中间件
nginxconf.sh 自动生成 nginx tcp 转发配置文件 conf
该脚本由 eisc.cn 开发，用于自动生成 Nginx 代理配置。它根据预设的域名、IP 和端口信息，为多个项目（如 www、work、sou 等）创建对应的 Nginx 配置文件，设置前端转发、端口对端口及后端转发规则，并生成日志和 301 跳转配置。支持自动创建 CGI 解析目录，确保各项目能够正确访问。运行时需具备 root 权限或使用 sudo。
73
9
9
|
3月前
|
监控
应用服务中间件
定位技术
|
5月前
|
负载均衡
应用服务中间件
Linux
nginx学习，看这一篇就够了：下载、安装。使用：正向代理、反向代理、负载均衡。常用命令和配置文件,很全
这篇博客文章详细介绍了Nginx的下载、安装、配置以及使用，包括正向代理、反向代理、负载均衡、动静分离等高级功能，并通过具体实例讲解了如何进行配置。
251
4
5
|
4月前
|
存储
监控
安全
|
4月前
|
存储
JSON
监控
|
5月前
|
缓存
负载均衡
算法
nginx学习：配置文件详解，负载均衡三种算法学习，上接nginx实操篇
Nginx 是一款高性能的 HTTP 和反向代理服务器，也是一个通用的 TCP/UDP 代理服务器，以及一个邮件代理服务器和通用的 HTTP 缓存服务器。
286
0
0
热门文章
最新文章
1
Nginx长连接负载均衡详细说明以及案例
2
Nginx 响应头 Vary 的介绍与应用
3
Nginx进程配置指令详解
4
Nginx伪流媒体服务器搭建详细说明以及案例
5
ELK实现nginx、mysql、http的日志可视化实验
6
【Azure Service Bus】分享使用 Python Service Bus SDK 输出SDK内操作日志
7
Tomcat log日志解析
8
Log/Trace/Metric 完成 APIServer 可观测覆盖
9
MySQL日志
10
Mac如何查看 IDEA 的日志文件Mac如何查看 IDEA 的日志文件
1
【YashanDB知识库】YashanDB run.log中有slow log queue is full信息
15
2
微服务——SpringBoot使用归纳——Spring Boot使用slf4j进行日志记录——使用Logger在项目中打印日志
15
3
微服务——SpringBoot使用归纳——Spring Boot使用slf4j进行日志记录—— logback.xml 配置文件解析
11
4
微服务——SpringBoot使用归纳——Spring Boot使用slf4j进行日志记录—— application.yml 中对日志的配置
11
5
微服务——SpringBoot使用归纳——Spring Boot使用slf4j进行日志记录——slf4j 介绍
9
6
MiniMax GenAI 可观测性分析 ：基于阿里云 SelectDB 构建 PB 级别日志系统
16
7
JVM实战—7.如何模拟GC场景并阅读GC日志
45
8
鸿蒙开发：console日志输出
42
9
PHP 日志系统的最佳搭档：一个 Go 写的远程日志收集服务
31
10
Tomcat log日志解析
66