TensorFlow使用DataSets加载数据

简介: 在TensorFlow中fit()函数可以接收numpy类型数据,前提数据量不大可以全部加载到内存中,但是如果数据量过大我们就需要将其按批次读取,转化成迭代器的形式,也就是DataSets

在TensorFlow中fit()函数可以接收numpy类型数据,前提数据量不大可以全部加载到内存中,但是如果数据量过大我们就需要将其按批次读取,转化成迭代器的形式,也就是DataSets


可以将 Dataset 实例直接传递给方法 fit()evaluate()predict()


如果使用DataSet就不需要像numpy数据那种在fit中指定batch_size了


完整代码:


"""

* Created with PyCharm

* 作者: 阿光

* 日期: 2022/1/2

* 时间: 19:29

* 描述:

"""

import tensorflow as tf

import tensorflow.keras.datasets.mnist

from keras import Input, Model

from keras.layers import Dense

from tensorflow import keras


(train_images, train_labels), (val_images, val_labels) = tensorflow.keras.datasets.mnist.load_data()


train_images, val_images = train_images / 255.0, val_images / 255.0


train_images = train_images.reshape(60000, 784)

val_images = val_images.reshape(10000, 784)


train_datasets = tf.data.Dataset.from_tensor_slices((train_images, train_labels))

train_datasets = train_datasets.shuffle(buffer_size=1024).batch(64)


val_datasets = tf.data.Dataset.from_tensor_slices((val_images, val_labels))

val_datasets = val_datasets.batch(64)



def get_model():

   inputs = Input(shape=(784,))

   outputs = Dense(10, activation='softmax')(inputs)

   model = Model(inputs, outputs)

   model.compile(

       optimizer=keras.optimizers.RMSprop(learning_rate=1e-3),

       loss=keras.losses.SparseCategoricalCrossentropy(),

       metrics=['accuracy']

   )

   return model



model = get_model()


model.fit(

   train_datasets,

   epochs=5,

   validation_data=val_datasets

)

目录
相关文章
|
10月前
|
TensorFlow 算法框架/工具
tensorflow/train训练指令
tensorflow/train训练指令
54 0
|
2月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
【Tensorflow+Keras】keras实现条件生成对抗网络DCGAN--以Minis和fashion_mnist数据集为例
如何使用TensorFlow和Keras实现条件生成对抗网络(CGAN)并以MNIST和Fashion MNIST数据集为例进行演示。
35 3
|
5月前
|
数据采集 机器学习/深度学习 TensorFlow
TensorFlow中的数据加载与处理
【4月更文挑战第17天】本文介绍了在TensorFlow中进行数据加载与处理的方法。使用`tf.keras.datasets`模块可便捷加载MNIST等常见数据集,自定义数据集可通过`tf.data.Dataset`构建。利用`tf.data`模块构建输入管道,包括数据打乱、分批及重复,以优化训练效率。数据预处理涉及数据清洗、标准化/归一化以及使用`ImageDataGenerator`进行数据增强,这些步骤对模型性能和泛化至关重要。
|
5月前
|
存储 数据可视化 PyTorch
PyTorch中 Datasets & DataLoader 的介绍
PyTorch中 Datasets & DataLoader 的介绍
117 0
|
机器学习/深度学习 PyTorch 算法框架/工具
Pytorch使用专题 | 2 :Pytorch中数据读取-Dataset、Dataloader 、TensorDataset 和 Sampler 的使用
介绍Pytorch中数据读取-Dataset、Dataloader 、TensorDataset 和 Sampler 的使用
|
PyTorch 算法框架/工具
【PyTorch】自定义数据集处理/dataset/DataLoader等
【PyTorch】自定义数据集处理/dataset/DataLoader等
173 0
|
机器学习/深度学习 存储 PyTorch
怎么调用pytorch中mnist数据集
怎么调用pytorch中mnist数据集
195 0
|
机器学习/深度学习 数据采集 PyTorch
pytorch笔记:Dataset 和 DataLoader
pytorch笔记:Dataset 和 DataLoader
288 0
|
TensorFlow 算法框架/工具
TensorFlow加载cifar10数据集
TensorFlow加载cifar10数据集
113 0
TensorFlow加载cifar10数据集
|
PyTorch 算法框架/工具
【pytorch】pytorch代码中实现MNIST、cifar10等数据集本地读取
pytorch代码中实现MNIST、cifar10等数据集本地读取
【pytorch】pytorch代码中实现MNIST、cifar10等数据集本地读取