#637481#基于django和neo4j的日志分析系统

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
云防火墙,500元 1000GB
云解析 DNS,旗舰版 1个月
简介: #637481#基于django和neo4j的日志分析系统

@#637481#基于djangoneo4j的日志分析系统

本系统是基于neo4j的日志数据分析系统,可以对nginx、防火墙等日志进行分析,并进行图表展示,下面是做的时候梳理的一些需求:

用户注册登录,登录后进入首页,首页就是一个类型选择下拉框,一个上传文件的button,然后有个button可以点击解析

可以支持四种文件解析,分别为:

1、nginx日志可以分析出一个世界地图 一个柱状图

2、pfirwall.log 可以出一个折线图 横坐标时间 纵坐标是allow DROP 数量

3、uwf的log分析出UFW ALLOW的饼图数量分布

4、degst出一个tCP和UDP分布的饼图

无论文

唯一

无安装录制视频

注意所有数据全都有示例文件在data目录下,可以直接使用


功能总览

脑图图片:

详细截图介绍

登录注册退出
登录

注意,所有用户自己注册就好

注册:

系统完整截图
首页展示

先选择文件类型,然后上传文件,点击提交。

nginx日志分析

上传nginx文件后,会依次解析出:

按时间访问频次图

ip访问频次图

ip全国地图分布图

注意所有数据全都有示例文件在data目录下,可以直接使用

pfirwall防火墙日志分析

上传防火墙日志后,点击解析,会出现根据时间排序的访问折线图,分析聚合各个时间内的日志

注意所有数据全都有示例文件在data目录下,可以直接使用

windows防火墙uwf日志分析

日志解析后,会出现饼图

注意所有数据全都有示例文件在data目录下,可以直接使用

路由文件degst文件分析

上传后会分析出路由中访问的TCp和UDP的饼图

注意所有数据全都有示例文件在data目录下,可以直接使用


系统环境

环境 版本 下载链接
windows 所有版本
python 3.6、3.7 必须是3.6或者


系统安装启动

系统采用django开发,全套使用django就可以,数据库为sqlite和neo4j

提前安装好neo4j

  • 打开项目,安装python
  • 安装依赖包: pip install -r requests.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
  • 启动django:python manage.py runserver
  • 出现下图为成功:


使用注意点

  • 项目启动后,有示例数据在data目录下,可以直接上传解析
  • 务必注意,项目里解析ip地址的经纬度用了百度地图api,需要自己去百度开放平台申请:https://lbsyun.baidu.com/apiconsole/key#/home,否则获取不到数据,nginx日志解析出不来图
    获取下图红圈里的ak,复制:

    修改utils文件中的值,如下图所示


版权说明

本文谢绝转载,qalangtao.com

联系我,看简介,代码有问题可以随时找我


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
15天前
|
存储 监控 安全
什么是事件日志管理系统?事件日志管理系统有哪些用处?
事件日志管理系统是IT安全的重要工具,用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志,如防火墙、路由器、交换机等,帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型,包括Windows事件日志、Syslog日志和应用程序日志,通过实时监测、告警及可视化分析,为企业提供强大的安全保障。然而,实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具,不仅提供实时监测与告警、可视化分析和报告功能,还支持多种合规性报告,帮助企业克服挑战,提升网络安全水平。
|
29天前
|
Python
Django 框架的路由系统
Django 框架的路由系统
40 6
|
1月前
|
存储 Linux Docker
centos系统清理docker日志文件
通过以上方法,可以有效清理和管理CentOS系统中的Docker日志文件,防止日志文件占用过多磁盘空间。选择合适的方法取决于具体的应用场景和需求,可以结合手动清理、logrotate和调整日志驱动等多种方式,确保系统的高效运行。
43 2
|
2月前
|
机器学习/深度学习 数据处理 数据库
基于Django的深度学习视频分类Web系统
基于Django的深度学习视频分类Web系统
59 4
基于Django的深度学习视频分类Web系统
|
2月前
|
数据库 数据库管理 Python
#736421#基于django的个人博客系统
#736421#基于django的个人博客系统
45 4
#736421#基于django的个人博客系统
|
2月前
|
XML JSON 监控
告别简陋:Java日志系统的最佳实践
【10月更文挑战第19天】 在Java开发中,`System.out.println()` 是最基本的输出方法,但它在实际项目中往往被认为是不专业和不足够的。本文将探讨为什么在现代Java应用中应该避免使用 `System.out.println()`,并介绍几种更先进的日志解决方案。
58 1
|
2月前
|
监控 网络协议 安全
Linux系统日志管理
Linux系统日志管理
58 3
|
2月前
|
机器学习/深度学习 监控 数据挖掘
基于Django和百度飞桨模型的情感识别Web系统
基于Django和百度飞桨模型的情感识别Web系统
45 5
|
2月前
|
数据库 数据库管理 Python
#73623#基于django的园区对比系统
#73623#基于django的园区对比系统
40 4
|
2月前
|
自然语言处理 数据可视化 数据库
#7892133 基于django和neo4j的旅游领域问答系统和图谱展示
#7892133 基于django和neo4j的旅游领域问答系统和图谱展示
24 1