数据集学习笔记(三):调用不同数据集获取trainloader和testloader

简介: 本文介绍了如何使用PyTorch框架调用CIFAR10数据集,并获取训练和测试的数据加载器(trainloader和testloader)。

CIFAR10

通过这个代码会把数据集自动下载到root路径,然后通过root路径获取到训练和测试的数据集,再结合网络模型进行训练。

import torch
import torchvision
import torchvision.transforms as transforms
"""加载CIFAR10"""
transform = transforms.Compose(
    [transforms.ToTensor(),
     transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])

"""如果要进行其他的数据增强则只需要改动transform里面的代码即可"""
# data_transform = {
#     "train": transforms.Compose([transforms.RandomResizedCrop(224),  # 随机裁剪,在缩放成224*224
#                                  transforms.RandomHorizontalFlip(),  # 水平方向随机翻转,概率为0.5
#                                  transforms.ToTensor(),
#                                  transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])]),
#     "test": transforms.Compose([transforms.Resize(256),
#                                transforms.CenterCrop(224),
#                                transforms.ToTensor(),
#                                transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])}

trainset = torchvision.datasets.CIFAR10(root='E:\dataset\cifar_10', train=True, download=True, transform=transform) # data_transform["train"]
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2)

testset = torchvision.datasets.CIFAR10(root='E:\dataset\cifar_10', train=False, download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2)

classes = ('plane', 'car', 'bird', 'cat',
           'deer', 'dog', 'frog', 'horse', 'ship', 'truck')
print(trainloader)
print(testloader)
print(testloader)
print(classes)

输出如下:
在这里插入图片描述

目录
相关文章
|
9天前
|
存储 JSON API
如何创建自己的数据集!!!
本文介绍了如何创建和使用自定义数据集,特别是针对GitHub Issues的语料库。内容涵盖了从获取数据、清理数据到扩充数据集的全过程,最终将数据集上传到Hugging Face Hub并与社区分享。具体步骤包括使用GitHub REST API下载Issues,通过Python脚本进行数据处理,以及添加评论信息。此外,还介绍了如何创建数据集卡片,以提供详细的背景信息和使用指南。
15 0
【yolo训练数据集】标注好的垃圾分类数据集共享
【yolo训练数据集】标注好的垃圾分类数据集共享
1987 112
【yolo训练数据集】标注好的垃圾分类数据集共享
|
数据采集 机器学习/深度学习 数据挖掘
【机器学习4】构建良好的训练数据集——数据预处理(一)处理缺失值及异常值
【机器学习4】构建良好的训练数据集——数据预处理(一)处理缺失值及异常值
531 0
|
机器学习/深度学习 存储 PyTorch
【14】自定义宝可梦数据集
【14】自定义宝可梦数据集
249 0
【14】自定义宝可梦数据集
|
SQL 测试技术
|
3月前
|
计算机视觉
数据集介绍
【8月更文挑战第9天】数据集介绍。
97 1
|
4月前
|
机器学习/深度学习 数据采集 存储
数据集
【7月更文挑战第10天】数据集
187 1
|
机器学习/深度学习 前端开发 测试技术
数据集相关知识
数据集相关知识
299 0
|
存储 编解码 数据安全/隐私保护
ISPRS Vaihingen 数据集解析
ISPRS Vaihingen 数据集解析
1166 0
ISPRS Vaihingen 数据集解析
|
XML JSON 算法
【数据集转换】VOC数据集转COCO数据集·代码实现+操作步骤
与VOC一个文件一个xml标注不同,COCO所有的目标框标注都是放在一个json文件中的。
1384 1