PyG (PyTorch Geometric) Dropbox系图数据集无法下载的解决方案(AMiner, DBLP, IMDB, LastFM)(持续更新ing...)

简介: 本文主要关注PyG官方提供的数据集中,因为数据下载源是Dropbox,所以不能直接下载的解决方案。

1. AMiner


from torch_geometric.datasets import AMiner
dataset = AMiner(root='/data/pyg_data/AMiner')
data = dataset[0]


这个数据集需要下载的两个文件分别是label.zip和net_aminer.zip,我都已放到百度网盘。

下载后将两个压缩文件分别解压,net_aminer.zip解压后得到net_aminer里面的文件都放到root文件夹下新建的raw文件夹,label.zip解压后的文件都放到root文件夹下新建的raw文件夹。


也就是说,最后raw文件夹下需要有这些文件/文件夹:

'id_author.txt', 'id_conf.txt', 'paper.txt', 'paper_author.txt','paper_conf.txt', 'label'


2. DBLP


from torch_geometric.datasets import DBLP
dataset = DBLP(root='/data/pyg_data/DBLP')
data = dataset[0]


这个数据集需要下载的文件是DBLP_processed.zip,我已放到百度网盘。

将文件解压后的文件都放到root文件夹下的raw文件夹即可。


3. IMDB


from torch_geometric.datasets import IMDB
dataset = IMDB(root='/data/pyg_data/IMDB')
data = dataset[0]


这个数据集需要下载的文件是IMDB_processed.zip,我已放到百度网盘。

将文件解压后的文件都放到root文件夹下的raw文件夹即可。


4. LastFM


from torch_geometric.datasets import LastFM
dataset = LastFM(root='/data/pyg_data/LastFM')
data = dataset[0]


这个数据集需要下载的文件是LastFM_processed.zip,我已放到百度网盘。

将文件解压后的文件都放到root文件夹下的raw文件夹即可。


相关文章
|
1月前
|
机器学习/深度学习 PyTorch 算法框架/工具
【PyTorch实战演练】AlexNet网络模型构建并使用Cifar10数据集进行批量训练(附代码)
【PyTorch实战演练】AlexNet网络模型构建并使用Cifar10数据集进行批量训练(附代码)
255 0
|
13天前
|
机器学习/深度学习 算法 PyTorch
【从零开始学习深度学习】38. Pytorch实战案例:梯度下降、随机梯度下降、小批量随机梯度下降3种优化算法对比【含数据集与源码】
【从零开始学习深度学习】38. Pytorch实战案例:梯度下降、随机梯度下降、小批量随机梯度下降3种优化算法对比【含数据集与源码】
|
1天前
|
机器学习/深度学习 人工智能 PyTorch
PyTorch框架和MNIST数据集
6月更文挑战20天
30 2
|
1月前
|
机器学习/深度学习 JSON PyTorch
图神经网络入门示例:使用PyTorch Geometric 进行节点分类
本文介绍了如何使用PyTorch处理同构图数据进行节点分类。首先,数据集来自Facebook Large Page-Page Network,包含22,470个页面,分为四类,具有不同大小的特征向量。为训练神经网络,需创建PyTorch Data对象,涉及读取CSV和JSON文件,处理不一致的特征向量大小并进行归一化。接着,加载边数据以构建图。通过`Data`对象创建同构图,之后数据被分为70%训练集和30%测试集。训练了两种模型:MLP和GCN。GCN在测试集上实现了80%的准确率,优于MLP的46%,展示了利用图信息的优势。
34 1
|
13天前
|
机器学习/深度学习 资源调度 PyTorch
【从零开始学习深度学习】15. Pytorch实战Kaggle比赛:房价预测案例【含数据集与源码】
【从零开始学习深度学习】15. Pytorch实战Kaggle比赛:房价预测案例【含数据集与源码】
|
13天前
|
机器学习/深度学习 算法 PyTorch
【从零开始学习深度学习】45. Pytorch迁移学习微调方法实战:使用微调技术进行2分类图片热狗识别模型训练【含源码与数据集】
【从零开始学习深度学习】45. Pytorch迁移学习微调方法实战:使用微调技术进行2分类图片热狗识别模型训练【含源码与数据集】
|
13天前
|
机器学习/深度学习 自然语言处理 PyTorch
【从零开始学习深度学习】34. Pytorch-RNN项目实战:RNN创作歌词案例--使用周杰伦专辑歌词训练模型并创作歌曲【含数据集与源码】
【从零开始学习深度学习】34. Pytorch-RNN项目实战:RNN创作歌词案例--使用周杰伦专辑歌词训练模型并创作歌曲【含数据集与源码】
|
1月前
|
机器学习/深度学习 数据可视化 PyTorch
利用PyTorch实现基于MNIST数据集的手写数字识别
利用PyTorch实现基于MNIST数据集的手写数字识别
52 2
|
1月前
|
PyTorch 算法框架/工具
使用Pytorch Geometric 进行链接预测代码示例
该代码示例使用PyTorch和`torch_geometric`库实现了一个简单的图卷积网络(GCN)模型,处理Cora数据集。模型包含两层GCNConv,每层后跟ReLU激活和dropout。模型在训练集上进行200轮训练,使用Adam优化器和交叉熵损失函数。最后,计算并打印测试集的准确性。
41 6
|
1月前
|
机器学习/深度学习 负载均衡 PyTorch
PyTorch分布式训练:加速大规模数据集的处理
【4月更文挑战第18天】PyTorch分布式训练加速大规模数据集处理,通过数据并行和模型并行提升训练效率。`torch.distributed`提供底层IPC与同步,适合定制化需求;`DistributedDataParallel`则简化并行过程。实际应用注意数据划分、通信开销、负载均衡及错误处理。借助PyTorch分布式工具,可高效应对深度学习的计算挑战,未来潜力无限。