图数据集Planetoid御三家:Cora,CiteSeer,PubMed详解

简介: 图数据集Planetoid御三家:Cora,CiteSeer,PubMed详解

Cora,CiteSeer,PubMed应该是GNN学习过程中没有人能逃得过的三大关口,在数据集上的意义可能相当于GCN,GraphSAGE,GAT之于空域GNN的意义。

本文旨在介绍御三家数据集,包括其基本信息和使用方式。

您可以根据您所需数据使用情况来观看本文。譬如若您只想在PyG建模时调用该数据集,可以仅观看第一节;如果您想了解如何将原始数据处理成类似御三家数据集的格式,可以仅观看第三节。

Enjoy!


本文将首先介绍数据集的基本情况,接下来以集成度从高到底的顺序进行撰写数据集的调取和使用方式:

第2节,从PyG的数据集调用接口开始介绍数据集的使用方式,并在这一节介绍三个数据集的基本信息(毕竟集成度高,数据很好用)。

第3节,介绍Planetoid数据(PyG数据来源)的使用和处理方式。

第4节,介绍从原始数据来源下载并处理数据的方式,包括如何将这种类似的原始数据处理成类Planetoid数据的方式。

第5节,最后介绍另一个集成度较高、但是流行度较低的CogDL中的数据集接口及使用方式。


1. 数据集基本情况介绍


Cora,CiteSeer,PubMed是三个文献引用网络数据集。

都是一张无向图,节点代表文件(论文文献),边代表引用关系。

标签在节点上,多分类任务。


节点特征是word vector,每一元素都是0-1二元变量,描述每个单词在paper中是否存在。统计时经过了stemming1和去除停用词,并去掉了小于10篇文档中出现过的单词。


1.1 Cora数据集

2708个节点,5429条边。标签共7个类别。数据集的特征维度是1433维。


Cora数据集的节点是机器学习论文,论文主题(标签)分为以下七类之一:

Case_Based基于案例

Genetic_Algorithms遗传算法

Neural_Networks神经网络

Probabilistic_Methods概率方法

Reinforcement_Learning强化学习

Rule_Learning规则学习

Theory理论

论文的选择方式是,在最终语料库中,每篇论文引用或被至少一篇其他论文引用(即没有孤立点存在)。


1.2 SiteSeer数据集

3312个节点,4723条边。标签共7个类别。数据集的特征维度是3703维。


论文主题(标签)分为以下七类之一:

Agents

AI

DB

IR

ML

HCI

论文的选择方式是,在最终语料库中,每篇论文引用或被至少一篇其他论文引用(即没有孤立点存在)。


1.3 PubMed

略。


2. PyG数据集的Planetoid调用接口


torch_geometric.datasets.Planetoid官方文档

略。


PyG所使用的御三家数据来源就是这篇论文:Revisiting Semi-Supervised Learning with Graph Embeddings. Zhilin Yang, William W. Cohen, Ruslan Salakhutdinov. ICML 2016.。对此的详细介绍见本文第二节。


3. Planetoid官方数据处理方式


kimiyoung/planetoid: Semi-supervised learning with graph embeddings

略。


4. 原始数据处理介绍


数据集来源:Datasets | LINQS

Cora数据集下载地址:https://linqs-data.soe.ucsc.edu/public/lbc/cora.tgz

CiteSeer数据集下载地址:https://linqs-data.soe.ucsc.edu/public/lbc/citeseer.tgz

PubMed数据集下载地址:https://linqs-data.soe.ucsc.edu/public/Pubmed-Diabetes.tgz

Linux可以通过wget下载文件,并用tar解压。

tgz压缩包中都含有README文件,介绍数据情况。

Cora压缩包里的README文件里面说数据集来源是这个网站:www.research.whizbang.com/data,我打不开这个网站就很离谱……

略。


5. CogDL的数据集调用接口


CogDL官网(中文版):CogDL工具包

THUDM/cogdl: CogDL: An Extensive Toolkit for Deep Learning on Graphs

cogdl/gat.py at master · THUDM/cogdl

略。

相关文章
|
机器学习/深度学习 图计算 图形学
同构图、异构图、属性图、非显式图
同构图(Homogeneous Graph)、异构图(Heterogeneous Graph)、属性图(Property Graph)和非显式图(Graph Constructed from Non-relational Data)。 (1)同构图:
4451 0
同构图、异构图、属性图、非显式图
|
自然语言处理 算法 数据挖掘
【数据挖掘】十大算法之PageRank连接分析算法
文章介绍了PageRank算法的基本概念和数学模型,包括如何通过一阶马尔科夫链定义随机游走模型以及如何计算网页的重要性评分,并提供了PageRank迭代算法的具体步骤。
1623 1
|
8月前
|
安全 数据安全/隐私保护 开发者
AxureRP-Setup安装教程简单步骤Mac版(附安装包)
Axure RP是专业原型设计工具,助产品经理在编码前快速构建网页/App界面与交互流程,直观呈现产品形态。本文详解Mac端安装步骤:下载dmg、拖入应用程序、绕过macOS安全限制完成安装。(239字)
1102 3
|
机器学习/深度学习 自然语言处理 数据可视化
MOIRAI-MOE: 基于混合专家系统的大规模时间序列预测模型
MOIRAI 是 Salesforce 开发的早期时间序列基础模型,凭借出色的基准测试性能和开源的大规模预训练数据集 LOTSA 获得广泛关注。最新升级版本 MOIRAI-MOE 引入混合专家模型(Mixture of Experts, MOE),在模型性能上实现显著提升。本文深入分析 MOIRAI-MOE 的技术架构与实现机制,对比其与原版 MOIRAI 的差异,探讨 MOE 在提升预测准确率和处理频率变化问题上的作用,并展示其在分布内和零样本预测中的优异表现。实验结果显示,MOIRAI-MOE 以更少的激活参数量实现了更高的性能提升,成为时间序列预测领域的重要里程碑。
1221 12
MOIRAI-MOE: 基于混合专家系统的大规模时间序列预测模型
|
存储 人工智能 编译器
【AI系统】算子手工优化
本文深入探讨了手写算子调度的关键因素及高性能算子库的介绍,通过计算分析指标和 RoofLine 模型评估计算与访存瓶颈,提出了循环、指令、存储三大优化策略,并介绍了 TVM 和 Triton 两种 DSL 开发算子的方法及其在实际应用中的表现。
1609 2
【AI系统】算子手工优化
|
Shell Linux 开发工具
【异常解决】vim编辑文件时提示 Found a swap file by the name “.start.sh.swp“的解决方案
【异常解决】vim编辑文件时提示 Found a swap file by the name “.start.sh.swp“的解决方案
1686 0
问题提解决:ERROR: Could not install packages due to an OSError: HTTPSConnectionPool(host=‘files.pythonhos
问题提解决:ERROR: Could not install packages due to an OSError: HTTPSConnectionPool(host=‘files.pythonhos
|
存储 开发框架 .NET
【博士每天一篇文献-综述】A Comprehensive Survey of Continual Learning Theory, Method and Application
本文综述了持续学习的理论基础、方法论和应用实践,探讨了五种主要的解决策略,包括基于回放、架构、表示、优化和正则化的方法,并深入分析了持续学习的不同场景、分类、评价指标以及面临的挑战和解决方案。
1182 1
【博士每天一篇文献-综述】A Comprehensive Survey of Continual Learning Theory, Method and Application
|
数据采集 机器学习/深度学习 数据挖掘
10种数据预处理中的数据泄露模式解析:识别与避免策略
在机器学习中,数据泄露是一个常见问题,指的是测试数据在数据准备阶段无意中混入训练数据,导致模型在测试集上的表现失真。本文详细探讨了数据预处理步骤中的数据泄露问题,包括缺失值填充、分类编码、数据缩放、离散化和重采样,并提供了具体的代码示例,展示了如何避免数据泄露,确保模型的测试结果可靠。
1648 2

热门文章

最新文章