GeneralDyG:南洋理工推出通用动态图异常检测方法,支持社交网络、电商和网络安全

本文涉及的产品
图像搜索,任选一个服务类型 1个月
简介: GeneralDyG 是南洋理工大学推出的通用动态图异常检测方法,通过时间 ego-graph 采样、图神经网络和时间感知 Transformer 模块,有效应对数据多样性、动态特征捕捉和计算成本高等挑战。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新应用和热点信息,提供开源实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:GeneralDyG 是一种通用动态图异常检测方法,适用于社交网络、电商和网络安全等领域。
  2. 技术:通过时间 ego-graph 采样、图神经网络和时间感知 Transformer 模块,捕捉动态图中的多尺度动态模式。
  3. 性能:在多个真实数据集上的实验结果显示,GeneralDyG 性能显著优于现有主流方法。

正文(附运行示例)

GeneralDyG 是什么

公众号: 蚝油菜花 - GeneralDyG

GeneralDyG 是南洋理工大学研究团队提出的通用动态图异常检测方法,旨在解决动态图数据在社交网络、电商和网络安全等领域的异常检测问题。通过时间 ego-graph 采样模块、图神经网络提取模块和时间感知 Transformer 模块,有效应对数据分布多样性、动态特征捕捉困难和计算成本高等挑战。

GeneralDyG 在多个真实数据集上的实验结果显示,性能显著优于现有的多种主流方法,展现了卓越的通用性和检测能力。

GeneralDyG 的主要功能

  • 数据分布多样性适应:通过提取节点、边及其拓扑结构的关键信息,GeneralDyG 能够适应不同数据集的复杂特征分布。
  • 动态特征捕捉:该方法结合全局时间动态和局部结构变化,深入建模动态图中的多尺度动态模式。
  • 高效计算框架:构建了轻量化框架,能够高效捕获关键动态特征,显著提升计算效率。
  • 时间 ego-graph 采样:通过构建紧凑的子图结构,有效应对大规模动态图数据带来的计算压力。
  • 结构与时间特征融合:利用时间感知 Transformer 模块整合时间序列和结构特征,确保异常检测的准确性。

GeneralDyG 的技术原理

  • 时间 ego-graph 采样模块:该模块通过构建紧凑的子图结构来有效应对大规模动态图数据带来的计算压力。基于中心事件,通过 k-hop 算法提取其周围交互历史,构成时间 ego-graph。k-hop 算法考虑了事件间的时间顺序与拓扑关系,确保采样过程兼顾时间动态与结构特性。
  • 图神经网络提取模块:在时间 ego-graph 的基础上,设计了一种新的图神经网络(TensGNN)来提取丰富的结构信息。TensGNN 通过交替应用节点层和边层来实现特征信息的传播与更新,从而在节点特征和边特征之间构建强关联。
  • 时间感知 Transformer 模块:模块整合时间序列和结构特征,在自注意力机制中,模型分别基于 Query 和 Key 编码图的拓扑结构信息,将 Value 保留为原始事件特征,确保异常检测的准确性。

如何运行 GeneralDyG

1. 环境配置

首先,确保安装了以下依赖库:

pip install h5py imbalanced-learn matplotlib networkx numpy pandas scikit-learn scipy torch torch-geometric torch-scatter torch-sparse tqdm

2. 数据预处理

下载并解压预处理数据集:

python generate_datasets.py

generate_datasets.py 中,可以调整参数 kdataset_name 来生成不同版本的预处理数据。

3. 开始训练

完成数据预处理后,运行以下命令开始训练:

python Denoise.py --data_set btc_alpha --neg 01 --max_len 24

可以根据需要调整训练参数,如 batch_sizen_epochs 等。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新应用和热点信息,提供开源实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
1月前
计算网络号的直接方法
子网掩码用于区分IP地址中的网络部分和主机部分,连续的“1”表示网络位,“0”表示主机位。例如,255.255.255.0 的二进制为 11111111.11111111.11111111.00000000,前24位是网络部分。通过子网掩码可提取网络号,如 IP 192.168.1.10 与子网掩码 255.255.255.0 的网络号为 192.168.1.0。此外,文档还介绍了十进制与二进制间的转换方法,帮助理解IP地址的组成与计算。
72 11
|
5月前
|
监控 安全 网络安全
深入解析PDCERF:网络安全应急响应的六阶段方法
PDCERF是网络安全应急响应的六阶段方法,涵盖准备、检测、抑制、根除、恢复和跟进。本文详细解析各阶段目标与操作步骤,并附图例,助读者理解与应用,提升组织应对安全事件的能力。
753 89
|
2月前
|
人工智能 Kubernetes 安全
网络安全公司前沿洞察:F5凭何成为网络安全领域的中流砥柱
网络安全公司前沿洞察:F5凭何成为网络安全领域的中流砥柱
69 4
|
3月前
|
缓存 数据中心 网络架构
5个减少网络延迟的简单方法
高速互联网对工作与娱乐至关重要,延迟和断线会严重影响效率和体验。本文探讨了导致连接缓慢的三个关键因素:吞吐量、带宽和延迟,并提供了减少延迟的实用方法。包括重启设备、关闭占用带宽的程序、使用有线连接、优化数据中心位置以及添加内容分发网络 (CDN) 等策略。虽然完全消除延迟不可能,但通过这些方法可显著改善网络性能。
684 7
|
3月前
|
机器学习/深度学习 数据安全/隐私保护
基于神经网络逆同步控制方法的两变频调速电机控制系统matlab仿真
本课题针对两电机变频调速系统,提出基于神经网络a阶逆系统的控制方法。通过构造原系统的逆模型,结合线性闭环调节器实现张力与速度的精确解耦控制,并在MATLAB2022a中完成仿真。该方法利用神经网络克服非线性系统的不确定性,适用于参数变化和负载扰动场景,提升同步控制精度与系统稳定性。核心内容涵盖系统原理、数学建模及神经网络逆同步控制策略,为工业自动化提供了一种高效解决方案。
|
3月前
|
Kubernetes Shell Windows
【Azure K8S | AKS】在AKS的节点中抓取目标POD的网络包方法分享
在AKS中遇到复杂网络问题时,可通过以下步骤进入特定POD抓取网络包进行分析:1. 使用`kubectl get pods`确认Pod所在Node;2. 通过`kubectl node-shell`登录Node;3. 使用`crictl ps`找到Pod的Container ID;4. 获取PID并使用`nsenter`进入Pod的网络空间;5. 在`/var/tmp`目录下使用`tcpdump`抓包。完成后按Ctrl+C停止抓包。
110 12
|
6月前
|
机器学习/深度学习 数据采集 人工智能
基于Huffman树的层次化Softmax:面向大规模神经网络的高效概率计算方法
层次化Softmax算法通过引入Huffman树结构,将传统Softmax的计算复杂度从线性降至对数级别,显著提升了大规模词汇表的训练效率。该算法不仅优化了计算效率,还在处理大规模离散分布问题上提供了新的思路。文章详细介绍了Huffman树的构建、节点编码、概率计算及基于Gensim的实现方法,并讨论了工程实现中的优化策略与应用实践。
147 15
基于Huffman树的层次化Softmax:面向大规模神经网络的高效概率计算方法
|
4月前
|
机器学习/深度学习 算法 文件存储
神经架构搜索:自动化设计神经网络的方法
在人工智能(AI)和深度学习(Deep Learning)快速发展的背景下,神经网络架构的设计已成为一个日益复杂而关键的任务。传统上,研究人员和工程师需要通过经验和反复试验来手动设计神经网络,耗费大量时间和计算资源。随着模型规模的不断扩大,这种方法显得愈加低效和不够灵活。为了解决这一挑战,神经架构搜索(Neural Architecture Search,NAS)应运而生,成为自动化设计神经网络的重要工具。
|
6月前
|
域名解析 缓存 网络协议
优化Lua-cURL:减少网络请求延迟的实用方法
优化Lua-cURL:减少网络请求延迟的实用方法
|
6月前
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将介绍网络安全的重要性,分析常见的网络安全漏洞及其危害,探讨加密技术在保障网络安全中的作用,并强调提高安全意识的必要性。通过本文的学习,读者将了解网络安全的基本概念和应对策略,提升个人和组织的网络安全防护能力。

热门文章

最新文章