Nginx访问日志接入GrayLog4.2.5并通过GeoIP展现访问者IP的地理位置信息

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Nginx访问日志接入GrayLog4.2.5并通过GeoIP展现访问者IP的地理位置信息

Nginx访问日志接入GrayLog4.2.5并通过GeoIP展现访问者IP的地理位置信息


640.jpg

配置步骤


1、maxmind官网下载GeoLite2-City的mmdb文件


https://www.maxmind.com/


640.jpg

上传/etc/graylog/server目录中


640.jpg

并在配置中启用,以及修改Message Processors配置中的顺序

640.jpg

640.jpg


2、Graylog升级至最新版本


rpm -aq | grep graylog-server
yum update graylog-server -y

640.jpg

因为所使用graylog-content-pack-nginx-syslog要求4.2.5以上版本 升级完成后重启服务


systemctl restart graylog-server


640.jpg


3、下载graylog-content-pack-nginx-syslog


https://github.com/scriptingislife/graylog-content-pack-nginx-syslog 

修改为1515端口作为syslog input接收端口并导入


640.jpg


点击install后


640.jpg

640.jpg


可以在Input中看到nginx-syslog 1515端口的一个input

640.jpg


先启用input

640.jpg


这时若GrayLog的防火墙没有开放1515 udp端口,则需要开放一下


firewall-cmd --permanent --zone=public --add-port=1515/udp
firewall-cmd --reload

640.jpg


4、nginx服务器上修改nginx.conf配置文件


log_format graylog_json escape=json '{ "nginx_timestamp": "$time_iso8601", '
        '"remote_addr": "$remote_addr", '
        '"connection": "$connection", '
        '"connection_requests": $connection_requests, '
        '"pipe": "$pipe", '
        '"body_bytes_sent": $body_bytes_sent, '
        '"request_length": $request_length, '
        '"request_time": $request_time, '
        '"response_status": $status, '
        '"request": "$request", '
        '"request_method": "$request_method", '
        '"host": "$host", '
        '"upstream_cache_status": "$upstream_cache_status", '
        '"upstream_addr": "$upstream_addr", '
        '"http_x_forwarded_for": "$http_x_forwarded_for", '
        '"http_referrer": "$http_referer", '
        '"http_user_agent": "$http_user_agent", '
        '"http_version": "$server_protocol", '
        '"remote_user": "$remote_user", '
        '"http_x_forwarded_proto": "$http_x_forwarded_proto", '
        '"upstream_response_time": "$upstream_response_time", '
        '"nginx_access": true }';
    access_log syslog:server=192.168.31.127:1515 graylog_json;
    access_log /var/log/nginx/access.log main ;
    error_log  /var/log/nginx/error.log;


640.jpg

然后重启nginx服务


640.jpg


5、Graylog上可以查询到该nginxserver的日志


640.jpg

可以看出已经拆解成了相应的字段

640.jpg


6、模拟公网IP访问nginx webserver


这时若能匹配到GeoIP,则会有如下GEO相关字段

640.jpg


640.jpg

7、配置WorldMap


Field:remote_addr_geolocation
Type:World Map

640.jpg

640.jpg

8、GEO MAP效果如下

640.jpg

640.jpg

640.jpg

本文参考如下链接完成


1、https://zhuanlan.zhihu.com/p/113755052
2、https://www.graylog.org/post/how-to-set-up-graylog-geoip-configuration
3、https://scriptingis.life/NGINX-Syslog-Graylog/
4、https://github.com/scriptingislife/graylog-content-pack-nginx-syslog
5、https://cloud.tencent.com/developer/article/1690193


相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
2月前
|
存储 监控 算法
防止员工泄密软件中文件访问日志管理的 Go 语言 B + 树算法
B+树凭借高效范围查询与稳定插入删除性能,为防止员工泄密软件提供高响应、可追溯的日志管理方案,显著提升海量文件操作日志的存储与检索效率。
98 2
|
9月前
|
数据可视化 关系型数据库 MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤,你可以成功配置ELK(Elasticsearch, Logstash, Kibana)来实现nginx、mysql和http日志的可视化。通过Kibana,你可以直观地查看和分析日志数据,从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
680 90
|
9月前
|
域名解析 应用服务中间件 网络安全
阿里云个人博客外网访问中断应急指南:从安全组到日志的七步排查法
1. 检查安全组配置:确认阿里云安全组已开放HTTP/HTTPS端口,添加规则允许目标端口(如80/443),授权对象设为`0.0.0.0/0`。 2. 本地防火墙设置:确保服务器防火墙未阻止外部流量,Windows启用入站规则,Linux检查iptables或临时关闭防火墙测试。 3. 验证Web服务状态:检查Apache/Nginx/IIS是否运行并监听所有IP,使用命令行工具确认监听状态。 4. 测试网络连通性:使用外部工具和内网工具测试服务器端口是否开放,排除本地可访问但外网不可的问题。 5. 排查DNS解析:确认域名A记录指向正确公网IP,使用`ping/nslookup`验证解析正
345 2
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
1021 3
|
设计模式 SQL 安全
PHP中的设计模式:单例模式的深入探索与实践在PHP的编程实践中,设计模式是解决常见软件设计问题的最佳实践。单例模式作为设计模式中的一种,确保一个类只有一个实例,并提供全局访问点,广泛应用于配置管理、日志记录和测试框架等场景。本文将深入探讨单例模式的原理、实现方式及其在PHP中的应用,帮助开发者更好地理解和运用这一设计模式。
在PHP开发中,单例模式通过确保类仅有一个实例并提供一个全局访问点,有效管理和访问共享资源。本文详细介绍了单例模式的概念、PHP实现方式及应用场景,并通过具体代码示例展示如何在PHP中实现单例模式以及如何在实际项目中正确使用它来优化代码结构和性能。
217 2
|
Ubuntu Linux 测试技术
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
|
网络安全
【Azure Service Bus】启用诊断日志来获取客户端访问Azure Service Bus的IP地址 [2024-03-26 实验结果失败]
【Azure Service Bus】启用诊断日志来获取客户端访问Azure Service Bus的IP地址 [2024-03-26 实验结果失败]
149 0
|
3月前
|
编解码 应用服务中间件 Linux
centos配置nginx-rtmp实现ffmpeg转码rtsp为rtmp视频流
centos配置nginx-rtmp实现ffmpeg转码rtsp为rtmp视频流
340 1
|
7月前
|
应用服务中间件 Linux 网络安全
Centos 8.0中Nginx配置文件和https正书添加配置
这是一份Nginx配置文件,包含HTTP与HTTPS服务设置。主要功能如下:1) 将HTTP(80端口)请求重定向至HTTPS(443端口),增强安全性;2) 配置SSL证书,支持TLSv1.1至TLSv1.3协议;3) 使用uWSGI与后端应用通信(如Django);4) 静态文件托管路径设为`/root/code/static/`;5) 定制错误页面(404、50x)。适用于Web应用部署场景。
736 87
|
7月前
|
负载均衡 应用服务中间件 nginx
Nginx配置与命令
Nginx 是一款高性能的 HTTP 和反向代理服务器,其配置文件灵活且功能强大。本文介绍了 Nginx 配置的基础结构和常用指令,包括全局块、Events 块、HTTP 块及 Server 块的配置方法,以及静态资源服务、反向代理、负载均衡、HTTPS 和 URL 重写等功能实现。此外,还提供了常用的 Nginx 命令操作,如启动、停止、重载配置和日志管理等,帮助用户高效管理和优化服务器性能。