#637481#基于django和neo4j的日志分析系统

简介: #637481#基于django和neo4j的日志分析系统

@#637481#基于djangoneo4j的日志分析系统

本系统是基于neo4j的日志数据分析系统,可以对nginx、防火墙等日志进行分析,并进行图表展示,下面是做的时候梳理的一些需求:

用户注册登录,登录后进入首页,首页就是一个类型选择下拉框,一个上传文件的button,然后有个button可以点击解析

可以支持四种文件解析,分别为:

1、nginx日志可以分析出一个世界地图 一个柱状图

2、pfirwall.log 可以出一个折线图 横坐标时间 纵坐标是allow DROP 数量

3、uwf的log分析出UFW ALLOW的饼图数量分布

4、degst出一个tCP和UDP分布的饼图

无论文

唯一

无安装录制视频

注意所有数据全都有示例文件在data目录下,可以直接使用


功能总览

脑图图片:

详细截图介绍

登录注册退出
登录

注意,所有用户自己注册就好

注册:

系统完整截图
首页展示

先选择文件类型,然后上传文件,点击提交。

nginx日志分析

上传nginx文件后,会依次解析出:

按时间访问频次图

ip访问频次图

ip全国地图分布图

注意所有数据全都有示例文件在data目录下,可以直接使用

pfirwall防火墙日志分析

上传防火墙日志后,点击解析,会出现根据时间排序的访问折线图,分析聚合各个时间内的日志

注意所有数据全都有示例文件在data目录下,可以直接使用

windows防火墙uwf日志分析

日志解析后,会出现饼图

注意所有数据全都有示例文件在data目录下,可以直接使用

路由文件degst文件分析

上传后会分析出路由中访问的TCp和UDP的饼图

注意所有数据全都有示例文件在data目录下,可以直接使用


系统环境

环境 版本 下载链接
windows 所有版本
python 3.6、3.7 必须是3.6或者


系统安装启动

系统采用django开发,全套使用django就可以,数据库为sqlite和neo4j

提前安装好neo4j

  • 打开项目,安装python
  • 安装依赖包: pip install -r requests.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
  • 启动django:python manage.py runserver
  • 出现下图为成功:


使用注意点

  • 项目启动后,有示例数据在data目录下,可以直接上传解析
  • 务必注意,项目里解析ip地址的经纬度用了百度地图api,需要自己去百度开放平台申请:https://lbsyun.baidu.com/apiconsole/key#/home,否则获取不到数据,nginx日志解析出不来图
    获取下图红圈里的ak,复制:

    修改utils文件中的值,如下图所示


版权说明

本文谢绝转载,qalangtao.com

联系我,看简介,代码有问题可以随时找我


相关文章
|
2天前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1519 4
|
29天前
|
弹性计算 人工智能 架构师
阿里云携手Altair共拓云上工业仿真新机遇
2024年9月12日,「2024 Altair 技术大会杭州站」成功召开,阿里云弹性计算产品运营与生态负责人何川,与Altair中国技术总监赵阳在会上联合发布了最新的“云上CAE一体机”。
阿里云携手Altair共拓云上工业仿真新机遇
|
5天前
|
人工智能 Rust Java
10月更文挑战赛火热启动,坚持热爱坚持创作!
开发者社区10月更文挑战,寻找热爱技术内容创作的你,欢迎来创作!
503 19
|
2天前
|
存储 SQL 关系型数据库
彻底搞懂InnoDB的MVCC多版本并发控制
本文详细介绍了InnoDB存储引擎中的两种并发控制方法:MVCC(多版本并发控制)和LBCC(基于锁的并发控制)。MVCC通过记录版本信息和使用快照读取机制,实现了高并发下的读写操作,而LBCC则通过加锁机制控制并发访问。文章深入探讨了MVCC的工作原理,包括插入、删除、修改流程及查询过程中的快照读取机制。通过多个案例演示了不同隔离级别下MVCC的具体表现,并解释了事务ID的分配和管理方式。最后,对比了四种隔离级别的性能特点,帮助读者理解如何根据具体需求选择合适的隔离级别以优化数据库性能。
179 1
|
8天前
|
JSON 自然语言处理 数据管理
阿里云百炼产品月刊【2024年9月】
阿里云百炼产品月刊【2024年9月】,涵盖本月产品和功能发布、活动,应用实践等内容,帮助您快速了解阿里云百炼产品的最新动态。
阿里云百炼产品月刊【2024年9月】
|
21天前
|
存储 关系型数据库 分布式数据库
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了如何使用PolarDB、通义千问和LangChain搭建GraphRAG系统,结合知识图谱和向量检索提升问答质量。通过实例展示了单独使用向量检索和图检索的局限性,并通过图+向量联合搜索增强了问答准确性。PolarDB支持AGE图引擎和pgvector插件,实现图数据和向量数据的统一存储与检索,提升了RAG系统的性能和效果。
|
9天前
|
Linux 虚拟化 开发者
一键将CentOs的yum源更换为国内阿里yum源
一键将CentOs的yum源更换为国内阿里yum源
457 5
|
7天前
|
存储 人工智能 搜索推荐
数据治理,是时候打破刻板印象了
瓴羊智能数据建设与治理产品Datapin全面升级,可演进扩展的数据架构体系为企业数据治理预留发展空间,推出敏捷版用以解决企业数据量不大但需构建数据的场景问题,基于大模型打造的DataAgent更是为企业用好数据资产提供了便利。
314 2
|
23天前
|
人工智能 IDE 程序员
期盼已久!通义灵码 AI 程序员开启邀测,全流程开发仅用几分钟
在云栖大会上,阿里云云原生应用平台负责人丁宇宣布,「通义灵码」完成全面升级,并正式发布 AI 程序员。
|
25天前
|
机器学习/深度学习 算法 大数据
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
2024“华为杯”数学建模竞赛,对ABCDEF每个题进行详细的分析,涵盖风电场功率优化、WLAN网络吞吐量、磁性元件损耗建模、地理环境问题、高速公路应急车道启用和X射线脉冲星建模等多领域问题,解析了问题类型、专业和技能的需要。
2608 22
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析