Keras和Tensorflow(CPU)安装、Pytorch(CPU和GPU)安装以及jupyter使用虚拟环境

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Keras和Tensorflow(CPU)安装、Pytorch(CPU和GPU)安装以及jupyter使用虚拟环境

Keras和Tensorflow(CPU)安装

一、安装我用的是清华大学源

keras安装:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras

tensorflow安装:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow

我用的是cmd管理员安装,在安装tensorflow的时候有错误或者很长时间没有往下进行可以按下enter键,这样安装是可以在windows环境下Anaconda和Pycharm都可以使用。

初学者,上述安装的是CPU版,tensorflow GPU比CPU版本运行速度要快,但是安装比较麻烦,网上还有很多Anaconda环境下得安装教程,是在Anaconda环境下搭建的GPU版,有些对你电脑配置会有要求。


管理员

二、深度学习模型保存与加载

方法一(我的程序会报错)

import joblib
#train the model
model.fit(X,y,epochs=200)
joblib.dump(model1, './model1.pkl')
tokenizer = joblib.load('./model1.pkl')

方法二

from keras.models import load_model
# 模型保存
model.save('./model1.h5')
# 模型加载
model2 = load_model('./model1.h5')
# 模型重新训练,重新 fit
y2_predict = model2.predict(X2)

三、错误

1、在学习过程中遇到

from keras.utils import to_categorical

这样写出现错误:

ImportError: cannot import name ‘to_categorical’ from ‘keras.utils’ (D:\Anaconda3\lib\site-packages\keras\utils_init_.py)

改成:

from tensorflow.keras.utils import to_categorical

2、错误

Failed to find data adapter that can handle input: <class ‘numpy.ndarray’>, (<class ‘list’> containing values of types {"<class ‘numpy.float64’>"})

#train the model
model.fit(X,y,batch_size=30,epochs=200)


查看发现变量类型不对,改成:

print(type(X),type(y))
y=np.array(y)
print(type(X),type(y))

TensorBoard 是一个非常好用的可视化工具

1.数据写入

在keras中使用方法如下:

import keras
TensorBoardcallback=keras.callbacks.TensorBoard(log_dir='./logs', 
histogram_freq=0, write_graph=True, write_images=False, 
embeddings_freq=0, embeddings_layer_names=None, embeddings_metadata=None)
model.fit(callbacks = [TensorBoardcallback])

在TensorFlow中使用方法如下:

import tensorflow as tf 
TensorBoardcallback=tf.keras.callbacks.TensorBoard(log_dir='./logs', 
histogram_freq=0, write_graph=True, write_images=False, 
embeddings_freq=0, embeddings_layer_names=None, embeddings_metadata=None)
model.fit(callbacks = [TensorBoardcallback])

参数介绍:

log_dir: 用来保存被 TensorBoard 分析的日志文件的文件名。histogram_freq: 对于模型中各个层计算激活值和模型权重直方图的频率(训练轮数中)。 如果设置成 0 ,直方图不会被计算。对于直方图可视化的验证数据(或分离数据)一定要明确的指出。write_graph: 是否在 TensorBoard 中可视化图像。 如果 write_graph 被设置为 True,日志文件会变得非常大。write_grads: 是否在 TensorBoard 中可视化梯度值直方图。 histogram_freq 必须要大于 0 。batch_size: 用以直方图计算的传入神经元网络输入批的大小。write_images: 是否在 TensorBoard 中将模型权重以图片可视化。embeddings_freq: 被选中的嵌入层会被保存的频率(在训练轮中)。 embeddings_layer_names: 一个列表,会被监测层的名字。 如果是 None 或空列表,那么所有的嵌入层都会被监测。embeddings_metadata: 一个字典,对应层的名字到保存有这个嵌入层元数据文件的名字。 查看 详情 关于元数据的数据格式。 以防同样的元数据被用于所用的嵌入层,字符串可以被传入。embeddings_data: 要嵌入在 embeddings_layer_names 指定的层的数据。 Numpy 数组(如果模型有单个输入)或 Numpy 数组列表(如果模型有多个输入)。 Learn ore about embeddings。update_freq: ‘batch’ 或 ‘epoch’ 或 整数。当使用 ‘batch’ 时,在每个 batch 之后将损失和评估值写入到 TensorBoard 中。同样的情况应用到 ‘epoch’ 中。如果使用整数,例如 10000,这个回调会在每 10000 个样本之后将损失和评估值写入到 TensorBoard 中。注意,频繁地写入到 TensorBoard 会减缓你的训练。

2.数据可视化

运行如下命令:

tensorboard --logdir=/full_path_to_your_logs

在浏览器中打开: http://127.0.0.1:6006/

然后可以看到训练的过程和模型的数据

TensorFlow回调函数:tf.keras.callbacks.ModelCheckpoint

在每个训练期(epoch)后保存模型。

filepath可以包含命名格式化选项,可以由epoch的值和logs的键(由on_epoch_end参数传递)来填充。

例如:如果filepath是weights.{epoch:02d}-{val_loss:.2f}.hdf5,则模型检查点将与文件名中的epoch号和验证损失一起保存。

参数:

  • filepath:string,保存模型文件的路径。
  • monitor:要监测的数量。
  • verbose:详细信息模式,0或1。
  • save_best_only:如果save_best_only=True,被监测数量的最佳型号不会被覆盖。
  • mode:{auto,min,max}之一。如果save_best_only=True,那么是否覆盖保存文件的决定就取决于被监测数据的最大或者最小值。对于val_acc,这应该是max,对于val_loss这应该是min,等等。在auto模式中,方向是从监测数量的名称自动推断出来的。
  • save_weights_only:如果为True,则仅保存模型的权重(model.save_weights(filepath)),否则保存完整模型(model.save(filepath))。
  • period:检查点之间的间隔(epoch数)。

EarlyStopping是什么

EarlyStopping是Callbacks的一种,callbacks用于指定在每个epoch开始和结束的时候进行哪种特定操作。Callbacks中有一些设置好的接口,可以直接使用,如’acc’,’val_acc’,’loss’和’val_loss’等等。

EarlyStopping则是用于提前停止训练的callbacks。具体地,可以达到当训练集上的loss不在减小(即减小的程度小于某个阈值)的时候停止继续训练。

为什么要用EarlyStopping

根本原因就是因为继续训练会导致测试集上的准确率下降。

那继续训练导致测试准确率下降的原因猜测可能是1. 过拟合 2. 学习率过大导致不收敛 3. 使用正则项的时候,Loss的减少可能不是因为准确率增加导致的,而是因为权重大小的降低。

当然使用EarlyStopping也可以加快学习的速度,提高调参效率。

EarlyStopping的使用与技巧

一般是在model.fit函数中调用callbacks,fit函数中有一个参数为callbacks。注意这里需要输入的是list类型的数据,所以通常情况只用EarlyStopping的话也要是[EarlyStopping()]

EarlyStopping的参数有

monitor: 监控的数据接口,有’acc’,’val_acc’,’loss’,’val_loss’等等。正常情况下如果有验证集,就用’val_acc’或者’val_loss’。但是因为笔者用的是5折交叉验证,没有单设验证集,所以只能用’acc’了。min_delta:增大或减小的阈值,只有大于这个部分才算作improvement。这个值的大小取决于monitor,也反映了你的容忍程度。例如笔者的monitor是’acc’,同时其变化范围在70%-90%之间,所以对于小于0.01%的变化不关心。加上观察到训练过程中存在抖动的情况(即先下降后上升),所以适当增大容忍程度,最终设为0.003%。patience:能够容忍多少个epoch内都没有improvement。这个设置其实是在抖动和真正的准确率下降之间做tradeoff。如果patience设的大,那么最终得到的准确率要略低于模型可以达到的最高准确率。如果patience设的小,那么模型很可能在前期抖动,还在全图搜索的阶段就停止了,准确率一般很差。patience的大小和learning rate直接相关。在learning rate设定的情况下,前期先训练几次观察抖动的epoch number,比其稍大些设置patience。在learning rate变化的情况下,建议要略小于最大的抖动epoch number。笔者在引入EarlyStopping之前就已经得到可以接受的结果了,EarlyStopping算是锦上添花,所以patience设的比较高,设为抖动epoch number的最大值。mode: 就’auto’, ‘min’, ‘,max’三个可能。如果知道是要上升还是下降,建议设置一下。笔者的monitor是’acc’,所以mode=’max’。 min_delta和patience都和“避免模型停止在抖动过程中”有关系,所以调节的时候需要互相协调。通常情况下,min_delta降低,那么patience可以适当减少;min_delta增加,那么patience需要适当延长;反之亦然。

Pytorch Anaconda虚拟环境安装

一、安装步骤

  • 打开Anaconda Prompt
  • 创建环境pytorch,使用Python版本是3.7(之后,在加载过程中会弹出提示,输入 y,即可安装。)
conda create -n pytorch python=3.7
  • 查看环境是否安装成功(可以看到包含base和pytorch两个环境(*表示当前所在环境))
conda info --envs

305e82df9e24ecf26c0c035a698bc54.png

  • 进入创建的pytorch环境
conda activate pytorch
  • 安装pytorch

根据自己的安装版本,在Pytorch官网https://pytorch.org/)寻找安装命令代码:

84b99efb598d8c4f64e4d4fe84a3159.png

将复制的代码粘贴到命令行格式下,弹出提示,输入 y,即可完成安装(根据自己想要按照的CPU或者GPU版本选择)。

  • 测试pytorch

fe2fd9b719e9bd756bc7951ea0717a7.png

二、jupyter使用虚拟环境

(注:这里我创建了两个虚拟环境tensorflow和pytorch,有一个不起作用,不知道为啥)

# 包的管理 
conda install -n 某个环境 包名(=版本号) 
conda uninstall -n 某个环境 包名
  • 添加虚拟环境到jupyter中
conda install jupyter conda install ipykernel # 安装jupyter内核 
python -m ipykernel install --user --name 虚拟环境名 --display-name 在jupyter中显示的环境名称
  • 移除jupyter中的虚拟环境
jupyter kernelspec remove 环境名
相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
打赏
0
0
0
0
6
分享
相关文章
深度学习环境搭建笔记(二):mmdetection-CPU安装和训练
本文是关于如何搭建深度学习环境,特别是使用mmdetection进行CPU安装和训练的详细指南。包括安装Anaconda、创建虚拟环境、安装PyTorch、mmcv-full和mmdetection,以及测试环境和训练目标检测模型的步骤。还提供了数据集准备、检查和网络训练的详细说明。
256 5
深度学习环境搭建笔记(二):mmdetection-CPU安装和训练
Ubuntu安装笔记(一):安装显卡驱动、cuda/cudnn、Anaconda、Pytorch、Tensorflow、Opencv、Visdom、FFMPEG、卸载一些不必要的预装软件
这篇文章是关于如何在Ubuntu操作系统上安装显卡驱动、CUDA、CUDNN、Anaconda、PyTorch、TensorFlow、OpenCV、FFMPEG以及卸载不必要的预装软件的详细指南。
6466 3
Jetson环境安装(一):Ubuntu18.04安装pytorch、opencv、onnx、tensorflow、setuptools、pycuda....
本文提供了在Ubuntu 18.04操作系统的NVIDIA Jetson平台上安装深度学习和计算机视觉相关库的详细步骤,包括PyTorch、OpenCV、ONNX、TensorFlow等。
247 1
Jetson环境安装(一):Ubuntu18.04安装pytorch、opencv、onnx、tensorflow、setuptools、pycuda....
环境安装(一):Anaconda3+pytorch1.6.0+cuda10.0+cudnn7.6.4+tensorflow1.15+pycocotools+pydensecrf
这篇文章详细介绍了如何在Anaconda环境下安装和配置深度学习所需的库和工具,包括PyTorch 1.6.0、CUDA 10.0、cuDNN 7.6.4、TensorFlow 1.15、pycocotools和pydensecrf,并提供了pip国内镜像源信息以及Jupyter Notebook和Anaconda的基本操作。
462 0
环境安装(一):Anaconda3+pytorch1.6.0+cuda10.0+cudnn7.6.4+tensorflow1.15+pycocotools+pydensecrf
Jupyter模块Plotly及labextension插件的安装
Jupyter模块Plotly及labextension插件的安装
130 1
Windows11+CUDA12.0+RTX4090如何配置安装Tensorflow2-GPU环境?
本文介绍了如何在Windows 11操作系统上,配合CUDA 12.0和RTX4090显卡,通过创建conda环境、安装特定版本的CUDA、cuDNN和TensorFlow 2.10来配置TensorFlow GPU环境,并提供了解决可能遇到的cudnn库文件找不到错误的具体步骤。
841 3
【Mac 系统】解决VSCode用Conda成功安装TensorFlow但程序报错显示红色波浪线Unable to import ‘tensorflow‘ pylint(import-error)
本文解决在Mac系统上使用VSCode时遇到的TensorFlow无法导入问题,原因是Python解析器未正确设置为Conda环境下的版本。通过在VSCode左下角选择正确的Python解析器,即可解决import TensorFlow时报错和显示红色波浪线的问题。
234 9
【Tensorflow 2】查看GPU是否能应用
提供了检查TensorFlow是否能应用GPU的方法。
153 2
JSF 邂逅持续集成,紧跟技术热点潮流,开启高效开发之旅,引发开发者强烈情感共鸣
【8月更文挑战第31天】在快速发展的软件开发领域,JavaServer Faces(JSF)这一强大的Java Web应用框架与持续集成(CI)结合,可显著提升开发效率及软件质量。持续集成通过频繁的代码集成及自动化构建测试,实现快速反馈、高质量代码、加强团队协作及简化部署流程。以Jenkins为例,配合Maven或Gradle,可轻松搭建JSF项目的CI环境,通过JUnit和Selenium编写自动化测试,确保每次构建的稳定性和正确性。
80 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等