#637481#基于django和neo4j的日志分析系统

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: #637481#基于django和neo4j的日志分析系统

@#637481#基于djangoneo4j的日志分析系统

本系统是基于neo4j的日志数据分析系统,可以对nginx、防火墙等日志进行分析,并进行图表展示,下面是做的时候梳理的一些需求:

用户注册登录,登录后进入首页,首页就是一个类型选择下拉框,一个上传文件的button,然后有个button可以点击解析

可以支持四种文件解析,分别为:

1、nginx日志可以分析出一个世界地图 一个柱状图

2、pfirwall.log 可以出一个折线图 横坐标时间 纵坐标是allow DROP 数量

3、uwf的log分析出UFW ALLOW的饼图数量分布

4、degst出一个tCP和UDP分布的饼图

无论文

唯一

无安装录制视频

注意所有数据全都有示例文件在data目录下,可以直接使用


功能总览

脑图图片:

详细截图介绍

登录注册退出
登录

注意,所有用户自己注册就好

注册:

系统完整截图
首页展示

先选择文件类型,然后上传文件,点击提交。

nginx日志分析

上传nginx文件后,会依次解析出:

按时间访问频次图

ip访问频次图

ip全国地图分布图

注意所有数据全都有示例文件在data目录下,可以直接使用

pfirwall防火墙日志分析

上传防火墙日志后,点击解析,会出现根据时间排序的访问折线图,分析聚合各个时间内的日志

注意所有数据全都有示例文件在data目录下,可以直接使用

windows防火墙uwf日志分析

日志解析后,会出现饼图

注意所有数据全都有示例文件在data目录下,可以直接使用

路由文件degst文件分析

上传后会分析出路由中访问的TCp和UDP的饼图

注意所有数据全都有示例文件在data目录下,可以直接使用


系统环境

环境 版本 下载链接
windows 所有版本
python 3.6、3.7 必须是3.6或者


系统安装启动

系统采用django开发,全套使用django就可以,数据库为sqlite和neo4j

提前安装好neo4j

  • 打开项目,安装python
  • 安装依赖包: pip install -r requests.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
  • 启动django:python manage.py runserver
  • 出现下图为成功:


使用注意点

  • 项目启动后,有示例数据在data目录下,可以直接上传解析
  • 务必注意,项目里解析ip地址的经纬度用了百度地图api,需要自己去百度开放平台申请:https://lbsyun.baidu.com/apiconsole/key#/home,否则获取不到数据,nginx日志解析出不来图
    获取下图红圈里的ak,复制:

    修改utils文件中的值,如下图所示


版权说明

本文谢绝转载,qalangtao.com

联系我,看简介,代码有问题可以随时找我


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
16天前
|
Python
Django 框架的路由系统
Django 框架的路由系统
34 6
|
25天前
|
存储 Linux Docker
centos系统清理docker日志文件
通过以上方法,可以有效清理和管理CentOS系统中的Docker日志文件,防止日志文件占用过多磁盘空间。选择合适的方法取决于具体的应用场景和需求,可以结合手动清理、logrotate和调整日志驱动等多种方式,确保系统的高效运行。
23 2
|
2月前
|
机器学习/深度学习 数据处理 数据库
基于Django的深度学习视频分类Web系统
基于Django的深度学习视频分类Web系统
55 4
基于Django的深度学习视频分类Web系统
|
2月前
|
数据库 数据库管理 Python
#736421#基于django的个人博客系统
#736421#基于django的个人博客系统
42 4
#736421#基于django的个人博客系统
|
2月前
|
XML JSON 监控
告别简陋:Java日志系统的最佳实践
【10月更文挑战第19天】 在Java开发中,`System.out.println()` 是最基本的输出方法,但它在实际项目中往往被认为是不专业和不足够的。本文将探讨为什么在现代Java应用中应该避免使用 `System.out.println()`,并介绍几种更先进的日志解决方案。
52 1
|
2月前
|
监控 网络协议 安全
Linux系统日志管理
Linux系统日志管理
49 3
|
2月前
|
机器学习/深度学习 监控 数据挖掘
基于Django和百度飞桨模型的情感识别Web系统
基于Django和百度飞桨模型的情感识别Web系统
40 5
|
2月前
|
数据库 数据库管理 Python
#73623#基于django的园区对比系统
#73623#基于django的园区对比系统
37 4
|
2月前
|
数据库 数据安全/隐私保护 数据库管理
#099473#基于django的毕业生信息管理招聘系统
#099473#基于django的毕业生信息管理招聘系统
43 4
|
2月前
|
自然语言处理 数据可视化 数据库
#7892133 基于django和neo4j的旅游领域问答系统和图谱展示
#7892133 基于django和neo4j的旅游领域问答系统和图谱展示
22 1