#637481#基于django和neo4j的日志分析系统

本文涉及的产品
云解析DNS-重点域名监控,免费拨测 20万次(价值200元)
日志服务 SLS,月写入数据量 50GB 1个月
云防火墙,500元 1000GB
简介: #637481#基于django和neo4j的日志分析系统

@#637481#基于djangoneo4j的日志分析系统

本系统是基于neo4j的日志数据分析系统,可以对nginx、防火墙等日志进行分析,并进行图表展示,下面是做的时候梳理的一些需求:

用户注册登录,登录后进入首页,首页就是一个类型选择下拉框,一个上传文件的button,然后有个button可以点击解析

可以支持四种文件解析,分别为:

1、nginx日志可以分析出一个世界地图 一个柱状图

2、pfirwall.log 可以出一个折线图 横坐标时间 纵坐标是allow DROP 数量

3、uwf的log分析出UFW ALLOW的饼图数量分布

4、degst出一个tCP和UDP分布的饼图

无论文

唯一

无安装录制视频

注意所有数据全都有示例文件在data目录下,可以直接使用


功能总览

脑图图片:

详细截图介绍

登录注册退出
登录

注意,所有用户自己注册就好

注册:

系统完整截图
首页展示

先选择文件类型,然后上传文件,点击提交。

nginx日志分析

上传nginx文件后,会依次解析出:

按时间访问频次图

ip访问频次图

ip全国地图分布图

注意所有数据全都有示例文件在data目录下,可以直接使用

pfirwall防火墙日志分析

上传防火墙日志后,点击解析,会出现根据时间排序的访问折线图,分析聚合各个时间内的日志

注意所有数据全都有示例文件在data目录下,可以直接使用

windows防火墙uwf日志分析

日志解析后,会出现饼图

注意所有数据全都有示例文件在data目录下,可以直接使用

路由文件degst文件分析

上传后会分析出路由中访问的TCp和UDP的饼图

注意所有数据全都有示例文件在data目录下,可以直接使用


系统环境

环境 版本 下载链接
windows 所有版本
python 3.6、3.7 必须是3.6或者


系统安装启动

系统采用django开发,全套使用django就可以,数据库为sqlite和neo4j

提前安装好neo4j

  • 打开项目,安装python
  • 安装依赖包: pip install -r requests.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
  • 启动django:python manage.py runserver
  • 出现下图为成功:


使用注意点

  • 项目启动后,有示例数据在data目录下,可以直接上传解析
  • 务必注意,项目里解析ip地址的经纬度用了百度地图api,需要自己去百度开放平台申请:https://lbsyun.baidu.com/apiconsole/key#/home,否则获取不到数据,nginx日志解析出不来图
    获取下图红圈里的ak,复制:

    修改utils文件中的值,如下图所示


版权说明

本文谢绝转载,qalangtao.com

联系我,看简介,代码有问题可以随时找我


相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
WGLOG日志管理系统是怎么收集日志的
WGLOG通过部署Agent客户端采集日志,Agent持续收集指定日志文件并上报Server,Server负责展示与分析。Agent与Server需保持相同版本。官网下载地址:www.wgstart.com
|
3月前
|
Prometheus 监控 Cloud Native
基于docker搭建监控系统&日志收集
Prometheus 是一款由 SoundCloud 开发的开源监控报警系统及时序数据库(TSDB),支持多维数据模型和灵活查询语言,适用于大规模集群监控。它通过 HTTP 拉取数据,支持服务发现、多种图表展示(如 Grafana),并可结合 Loki 实现日志聚合。本文介绍其架构、部署及与 Docker 集成的监控方案。
375 122
基于docker搭建监控系统&日志收集
|
6月前
|
监控 API 开发工具
HarmonyOS Next的HiLog日志系统完全指南:从入门到精通
本文深入解析HarmonyOS Next的HiLog日志系统,涵盖日志级别、核心API、隐私保护与高级回调功能,助你从入门到精通掌握这一重要开发工具。
374 1
|
3月前
|
Ubuntu
在Ubuntu系统上设置syslog日志轮替与大小限制
请注意,在修改任何系统级别配置之前,请务必备份相应得原始档案并理解每项变更可能带来得影响。
312 2
|
5月前
|
存储
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html
|
10月前
|
存储 前端开发 数据可视化
Grafana Loki,轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统,具备高可用性和多租户支持,专注于日志而非指标,通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程,并提供了快速搭建指南,包括准备步骤、部署命令及验证方法。此外,还展示了如何使用Grafana查看日志,以及一些基本的LogQL查询示例。最后,作者探讨了Loki架构的独特之处,提出了“巨型单体模块化”的概念,即一个应用既可单体部署也可分布式部署,整体协同实现全部功能。
3551 70
Grafana Loki,轻量级日志系统
|
8月前
|
前端开发 JavaScript 关系型数据库
基于python的租房网站-房屋出租租赁系统(python+django+vue)源码+运行
该项目是基于python/django/vue开发的房屋租赁系统/租房平台,作为本学期的课程作业作品。欢迎大家提出宝贵建议。
258 6
|
9月前
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
368 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
|
9月前
|
存储 JSON Go
PHP 日志系统的最佳搭档:一个 Go 写的远程日志收集服务
为了不再 SSH 上去翻日志,我写了个 Go 小脚本,用来接收远程日志。PHP 负责记录日志,Go 负责存储和展示,按天存储、支持 API 访问、可远程管理,终于能第一时间知道项目炸了。
182 10
|
Python
Django 框架的路由系统
Django 框架的路由系统
325 63