数据集学习笔记(三):调用不同数据集获取trainloader和testloader

简介: 本文介绍了如何使用PyTorch框架调用CIFAR10数据集,并获取训练和测试的数据加载器(trainloader和testloader)。

CIFAR10

通过这个代码会把数据集自动下载到root路径,然后通过root路径获取到训练和测试的数据集,再结合网络模型进行训练。

import torch
import torchvision
import torchvision.transforms as transforms
"""加载CIFAR10"""
transform = transforms.Compose(
    [transforms.ToTensor(),
     transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])

"""如果要进行其他的数据增强则只需要改动transform里面的代码即可"""
# data_transform = {
#     "train": transforms.Compose([transforms.RandomResizedCrop(224),  # 随机裁剪,在缩放成224*224
#                                  transforms.RandomHorizontalFlip(),  # 水平方向随机翻转,概率为0.5
#                                  transforms.ToTensor(),
#                                  transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])]),
#     "test": transforms.Compose([transforms.Resize(256),
#                                transforms.CenterCrop(224),
#                                transforms.ToTensor(),
#                                transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])}

trainset = torchvision.datasets.CIFAR10(root='E:\dataset\cifar_10', train=True, download=True, transform=transform) # data_transform["train"]
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2)

testset = torchvision.datasets.CIFAR10(root='E:\dataset\cifar_10', train=False, download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2)

classes = ('plane', 'car', 'bird', 'cat',
           'deer', 'dog', 'frog', 'horse', 'ship', 'truck')
print(trainloader)
print(testloader)
print(testloader)
print(classes)

输出如下:
在这里插入图片描述

目录
相关文章
|
机器学习/深度学习 存储 PyTorch
【14】自定义宝可梦数据集
【14】自定义宝可梦数据集
282 0
【14】自定义宝可梦数据集
|
SQL 测试技术
|
7月前
|
计算机视觉
数据集介绍
【8月更文挑战第9天】数据集介绍。
169 1
|
7月前
分割数据集,并对数据集进行预处理
【8月更文挑战第8天】分割数据集,并对数据集进行预处理。
47 1
|
8月前
|
机器学习/深度学习 数据采集 存储
数据集
【7月更文挑战第10天】数据集
735 1
|
机器学习/深度学习 前端开发 测试技术
数据集相关知识
数据集相关知识
352 0
|
存储 编解码 数据安全/隐私保护
ISPRS Vaihingen 数据集解析
ISPRS Vaihingen 数据集解析
1423 0
ISPRS Vaihingen 数据集解析
|
XML JSON 算法
【数据集转换】VOC数据集转COCO数据集·代码实现+操作步骤
与VOC一个文件一个xml标注不同,COCO所有的目标框标注都是放在一个json文件中的。
1617 1
|
机器学习/深度学习 数据采集 算法
UCI数据集详解及其数据处理(附148个数据集及处理代码)
UCI数据集详解及其数据处理(附148个数据集及处理代码)
3687 1
|
机器学习/深度学习 固态存储 数据处理
【目标检测之数据集预处理】继承Dataset定义自己的数据集【附代码】(上)
在深度学习训练中,除了设计有效的卷积神经网络框架外,更重要的是数据的处理。在训练之前需要对训练数据进行预处理。比如在目标检测网络训练中,首先需要划分训练集和测试集,然后对标签、边界框等进行处理后才能送入网络进行训练,本文章以VOC数据集格式为例,对数据集进行预处理后送入目标检测网络进行训练。【附代码】
393 0
【目标检测之数据集预处理】继承Dataset定义自己的数据集【附代码】(上)