Allocation of 179437568 exceeds 10% of free system memory.

简介: 本文讨论了在Python编程中遇到的"Allocation of XXXX exceeds 10% of free system memory"错误,并提供了几种解决方法,包括调整代码逻辑以减少内存分配和更改批量大小。

第一步:加载keras中的mnist集

from keras.datasets import mnist
(train_images, train_labels),(test_images, test_labels) = mnist.load_data()

print(train_images.shape)#查看效果的,这两步可以忽略
print(test_images.shape)

熟悉一下matplotlib.pyplot数据显示

import matplotlib.pyplot as plt
plt.figure()#新建一个图层
plt.imshow(train_images[0],cmap=“gray”)
plt.show()

第二步:建立网络架构,

from keras import models
from keras import layers

层layer就像数据处理的筛子

本例子含有两个Dense层,最后是一个10路的激活层softmax层,返回一个由10个概率值组成的数组,表示10个数字类别中某一个的概率

network=models.Sequential()
network.add(layers.Dense(512,activation=‘relu’,input_shape=(28*28,)))
network.add(layers.Dense(10,activation=‘softmax’))

第三步:编译

optimizer 优化器,loss损失函数,metrics代码级数据监控

network.compile(optimizer=‘rmsprop’,loss=‘categorical_crossentropy’,metrics=[‘accuracy’])

第四步:准备图像数据和标签

train_images = train_images.reshape((60000, 28 * 28))#图像处理
train_images = train_images.astype(‘float32’) / 255
test_images = test_images.reshape((10000, 28 * 28))
test_images = test_images.astype(‘float32’) / 255

通过二维关系矩阵的方式,生成一个对应关系

from keras.utils.all_utils import to_categorical
train_labels = to_categorical(train_labels)
test_labels = to_categorical(test_labels)

第五步:拟合(FIT)模型

network.fit(train_images,train_labels,batch_size=64,epochs=5)

第六步:评估(EVALUATE)模型

test_loss,test_acc=network.evaluate(test_images,test_labels)

第七步:查看测试集的精度

print(‘test_acc’,test_acc)

训练精度和测试精度之间的这种差距是过拟合(overfit)造成的

目录
打赏
0
0
0
0
61
分享
相关文章
创新场景丨大模型时代,重塑智能终端新体验
大模型为智能终端带来的变革是全方位的,但挑战也同样显而易见。云侧部署的大模型加端侧应用的大模型是综合平衡性能、成本、功耗、隐私、速度之下的最佳选择。
狂揽7.5k星!这款开源API网关彻底解放开发者:一键聚合GPT-4、Suno、Midjourney,还能在线充值!
New API 是一款基于 One API 二次开发的 AI 模型接口管理与分发系统,支持多种大模型(如 GPT-4、Suno、Midjourney 等)统一封装为 OpenAI 格式接口调用。其核心功能包括多模型统一网关、企业级权限管控、“推理力度”分级、无魔法访问全球 AI 服务、灵活计费体系及开发者友好设计。技术架构采用 Golang + Gin 框架,支持高并发低延迟,适用于企业内部 AI 中台、多模型 SaaS 平台、学术研究协作及个人开发者工具等场景。项目开源地址:https://github.com/kingbug/new-api。
342 6
GPU加速TensorFlow模型训练:从环境配置到代码实践的全方位指南,助你大幅提升深度学习应用性能,让模型训练不再等待
【8月更文挑战第31天】本文以随笔形式探讨了如何在TensorFlow中利用GPU加速模型训练,并提供了详细的实践指南。从安装支持GPU的TensorFlow版本到配置NVIDIA CUDA及cuDNN库,再到构建CNN模型并使用MNIST数据集训练,全面展示了GPU加速的重要性与实现方法。通过对比CPU与GPU上的训练效果,突显了GPU在提升训练速度方面的显著优势。最后,还介绍了如何借助TensorBoard监控训练过程,以便进一步优化模型。
1620 0
【Python-Tensorflow】tf.data.Dataset的解析与使用
本文详细介绍了TensorFlow中`tf.data.Dataset`类的使用,包括创建数据集的方法(如`from_generator()`、`from_tensor_slices()`、`from_tensors()`)、数据集函数(如`apply()`、`as_numpy_iterator()`、`batch()`、`cache()`等),以及如何通过这些函数进行高效的数据预处理和操作。
339 7
【机器学习】平均绝对误差 (MAE) 与均方误差 (MSE) 有什么区别?
【5月更文挑战第17天】【机器学习】平均绝对误差 (MAE) 与均方误差 (MSE) 有什么区别?
|
11月前
|
【内网—内网转发】——代理转发_SSH代理转发
【内网—内网转发】——代理转发_SSH代理转发
495 5
基于ARM64的Qemu/KVM学习环境搭建2
基于ARM64的Qemu/KVM学习环境搭建2
网络安全密码长度与复杂性
【8月更文挑战第13天】
768 1
stm32f407探索者开发板(十六)——串行通信原理讲解-UART
stm32f407探索者开发板(十六)——串行通信原理讲解-UART
670 0
python属性错误(AttributeError)
【5月更文挑战第2天】python属性错误(AttributeError)
880 1
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等