keras 使用笔记

简介: Backend 切换编辑 .keras/keras.json 即可。可选后端有 theano 和 tensorflow.theano 版本配置如下:$ vim ~/.

Backend 切换

编辑 .keras/keras.json 即可。可选后端有 theano 和 tensorflow.

theano 版本配置如下:

$ vim ~/.keras/keras.json
{
    "image_dim_ordering": "th", 
    "epsilon": 1e-07, 
    "floatx": "float32", 
    "backend": "theano"
}

tensorflow 版本配置如下:

$ vim ~/.keras/keras.json
{
    "image_dim_ordering": "tf", 
    "epsilon": 1e-07, 
    "floatx": "float32", 
    "backend": "tensorflow"
}

NVIDIA Cuda 8 安装

cuda 历史版本安装
https://developer.nvidia.com/cuda-toolkit-archive
cudnn 历史版本
https://developer.nvidia.com/rdp/cudnn-archive

当前是由于windows下的TensorFlow只支持 cuda8, 而当前官网直接下载到的是cuda9, 没办法只能找老版本的安装

最终效果如下所示:

Using TensorFlow backend.
2017-12-30 09:25:09.107257: I C:\tf_jenkins\home\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\platform\cpu_feature_guard.cc:137] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2
2017-12-30 09:25:09.763864: I C:\tf_jenkins\home\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:1030] Found device 0 with properties:
name: GeForce GTX 960M major: 5 minor: 0 memoryClockRate(GHz): 1.176
pciBusID: 0000:01:00.0
totalMemory: 2.00GiB freeMemory: 1.65GiB
2017-12-30 09:25:09.763992: I C:\tf_jenkins\home\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:1120] Creating TensorFlow device (/device:GPU:0) -> (device: 0, name: GeForce GTX 960M, pci bus id: 0000:01:00.0, compute capability: 5.0)

当前使用的笔记本是独立显卡, GeForce GTX 960M 显卡,安装 anaconda, keras, TensorFlow-gpu, 按照上述配置为 tensorflow 为 keras后端,并通过 cuda8 做 tensorflow 的执行引擎,从而进入最大化烧显卡时代咯;-)...

TensorBoard 使用

在调试过程中需要查看训练状态,直接从日志能看出一些内容,但我们需要更多信息来判定是否是过拟合,还是网络能力不够等,这时可以通过 tensorboard 查看 keras 训练过程。方法如下

from keras.callbacks import TensorBoard
from keras.models import Sequential

# model
model = Sequential()
callback = keras.callbacks.TensorBoard(log_dir='log', write_images=1, histogram_freq=1)  
# ...
model.fit(x_train, x_train,
                epochs=50,
                batch_size=128,
                shuffle=True,
                validation_data=(x_test, x_test),
                callbacks=[callback])

当然也可简单的进行如下操作

# model
model = Sequential()
# ...
model.fit(x_train, x_train,
                epochs=50,
                batch_size=128,
                shuffle=True,
                validation_data=(x_test, x_test),
                callbacks=[TensorBoard(log_dir='log')])

这时候仅需要启动 anaconda 命令行模式,执行如下命令即可在浏览器中查看训练状态

$ tensorboard --logdir='<path>/log'
TensorBoard 0.4.0rc3 at http://localhost:6006 (Press CTRL+C to quit)

这时候就能在浏览器中查看到训练到当前epoch时loss等状态了

多 CPU, GPU运行 keras

通过如下命令查看 CPU 数量

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 
# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数

# 查看物理CPU个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l

# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq

# 查看逻辑CPU的个数
cat /proc/cpuinfo| grep "processor"| wc -l

# 查看core信息描述
# sudo dmidecode -t 4 | egrep -i "Designation|Intel|core|thread"

# 查看GPU信息
# lspci | grep VGA

# 查看是否安装 NVidia显卡
# lspci | grep -i nvidia

使用 tensorflow 运行在多 CPU 和多 GPU 上设置, 此次的配置即是对GPU及CPU数量进行允许也是一种限制:

import tensorflow as tf
from keras import backend as K
# intra_op_parallelism_threads 控制运算符op内部的并行
# inter_op_parallelism_threads 控制多个运算符op之间的并行计算
# * device_count, 告诉tf Session使用CPU数量上限,如果你的CPU数量较多,可以适当加大这个值
# * inter_op_parallelism_threads和intra_op_parallelism_threads告诉session操作的线程并行程度,如果值越小,线程的复用就越少,越可能使用较多的CPU核数。如果值为0,TF会自动选择一个合适的值。
with tf.Session(config=tf.ConfigProto(device_count = {'GPU': 0 , 'CPU': 20},   inter_op_parallelism_threads=1, intra_op_parallelism_threads=20, log_device_placement=True)) as sess:
    K.set_session(sess)

对于 ConfigProto 可配置项可参见其 proto 文件,
在 theano中使用如下方式来实现:

import os
os.environ['MKL_NUM_THREADS'] = '16'
os.environ['GOTO_NUM_THREADS'] = '16'
os.environ['OMP_NUM_THREADS'] = '16'
os.eviron['openmp'] = 'True'

参考:
multi-core-cpu
Tensorflow并行:多核(multicore),多线程(multi-thread)

指定GPU 运行 CUDA

指定 GPU 运行:

# CUDA_VISIBLE_DEVICES=1           Only device 1 will be seen
# CUDA_VISIBLE_DEVICES=0,1         Devices 0 and 1 will be visible
# CUDA_VISIBLE_DEVICES="0,1"       Same as above, quotation marks are optional
# CUDA_VISIBLE_DEVICES=0,2,3       Devices 0, 2, 3 will be visible; device 1 is masked
# CUDA_VISIBLE_DEVICES=""          No GPU will be visible
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "2"

通过对环境变量的修改来控制当前session中可看到的gpu编号
tensorflow 中指定内存使用大小:

# 限定大小(按比例限定)
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.7)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))    
# 按需分配
gpu_options = tf.GPUOptions(allow_growth=True)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))   

参考:
Using GPUs
tensorflow中使用指定的GPU及GPU显存

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
目录
相关文章
原理篇:Seata TCC模式是如何解决幂等性、资源悬挂、空回滚问题的
原理篇:Seata TCC模式是如何解决幂等性、资源悬挂、空回滚问题的
2068 0
|
机器学习/深度学习 人工智能 缓存
AI运维不再是玄学:教你用AI提前预测系统故障,少熬几次夜!
AI运维不再是玄学:教你用AI提前预测系统故障,少熬几次夜!
1088 13
|
8月前
|
API Docker 容器
开源剪映小助手(capcut-mate)v3.0.26发布
CapCut Mate API 是开源免费的剪映草稿自动化工具,基于 FastAPI 构建,支持独立部署。赋能大模型实现智能视频剪辑,覆盖剪映核心功能全流程,可对接 Coze/n8n 或云渲染生成成品视频。Docker 三行命令极速部署,文档更清晰简洁。(239字)
2049 5
|
存储 安全 Shell
vulnhub靶机实战_DC-4
本文介绍了DC-4靶机渗透测试的完整过程,包括靶机下载、环境搭建、信息扫描、漏洞利用、提权以及最终获取flag的详细步骤。通过使用工具如nmap、Hydra进行端口扫描与密码爆破,结合反向Shell与teehee命令实现权限提升,最终成功获取系统flag。内容详实,适合网络安全学习与实践。
1829 0
vulnhub靶机实战_DC-4
|
存储 监控 网络协议
HarmonyOS NEXT实战:网络状态监控
本教程介绍如何在HarmonyOS Next中使用@ohos.net.connection模块实现网络状态监控,并通过AppStorage进行状态管理,适用于教育场景下的网络检测功能开发。
613 2
|
索引
汉字编码对照表(gb2312/unicode/utf8)
一、汉字编码的种类     汉字编码中现在主要用到的有三类,包括GBK,GB2312和Big5。     1、GB2312又称国标码,由国家标准总局发布,1981年5月1日实施,通行于大陆。
6936 0
|
监控
在 PowerShell 中获取内存使用率百分比
【8月更文挑战第27天】
824 5
uniapp点击tabbar之前做判断
uniapp点击tabbar之前做判断
1269 1
|
Go
使用Channel的一些业务场景
使用Channel的一些业务场景
287 0
|
前端开发
react父组件props变化的时候子组件怎么监听?
react父组件props变化的时候子组件怎么监听?
821 0