Caffe-01-入门环境配置

简介: Caffe-01-入门环境配置

学习内容


本文主要学习在linux操作系统下的caffe框架的搭建和基本配置。

开发环境


ubantu16.04 VMwave

caffe介绍


image.png

caffe开发流程


caffe框架相对于TensorFlow等其他的主流开源框架相比最大的优点就是无需进行编写代码,开发者只需要对自己配置训练的框架结构熟悉即可完成相应的神经网络的框架构建。

对于caffe框架来说,完成训练需要进行以下步骤:

  1. 预处理数据(可以编写脚本运行进行预处理)
  2. 定义网络结构(可以通过编写protext文件进行结构设置)
  3. 定义solver参数(在配置完网络结构时,可以在solver参数配置文件中进行参数的配置)
  4. 训练(运行脚本即可完成)

caffe环境安装配置


首先要在自己的linux操作系统下安装所需要的依赖库:

在终端中输入以下命令。

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev
sudo apt-get install libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

安装完成后下载并安装caffe:

从 GitHub 上下载 Caffe: https://github.com/BVLC/caffe。 也可以输入以

下命令来下载。

sudo git clone https://github.com/BVLC/caffe.git

配置 Makefile.config 文件:

解压完成之后,对应文件夹中有 Makefile.config.example 文件,是 Caffe自带的 Makefile 的例子,复制这个文件并重命名为 Makefile.config,这里采用 cpu 训练,因此配置的时候需要取消掉 CPU_ONLY := 1这一行的注释。

如果没有安装vim 可以使用 pip 进行安装vim

image.png

并在这个文件做一下更改:

image.png

修改成下面的路径:

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
LIBRARY_DIRS := $(PYTHON_LIB) /usr/lib/x86_64-linux-gnu/hdf5/serial /usr/local/lib /usr/lib

完成上述操作后可以进行编译caffe。make all或者make all -j4(四核)

编译成功后,在 Caffe 根目录下会出现一个 build 文件夹,打开之后再打

开 tools 文件夹,会得到下面的文件:

image.png

之后编译 test 文件下的源码,输入以下命令。

make test
make runtest

caffe环境测试


完成上述操作后即成功安装 Caffe。然后使用cifar10进行测试,可以使用下述命令进行下载:./data/cifar10/get_cifar10.sh

或者在caffe/data/cifar10/ 把cifar10的相关内容解压放置到该路径。这里可以使用共享文件夹在win下把压缩包下载,然后在caffe/data/cifar10/解压缩,得到以下文件:

image.png

将 examples/cifar10/cifar10_quick_solver.prototxt 中的 GPU改为 CPU;这里为了方便测试最大训练次数修改为500

image.png

将examples/cifar10/cifar10_quick_solver_lr1.prototxt中的GPU改为CPU;这里为了方便测试最大训练次数修改为500

image.png

依次输入以下指令:

/examples/cifar10/create_cifar10.sh
./examples/cifar10/train_quick.sh

即可进行训练,出现以下过程则说明训练正常,配置成功可用。

image.png

pycaffe 环境设置


Caffe 训练及测试时会用到 python 接口,下面进行pycaffe接口配置:

首先还是安装库:

sudo apt-get install python-numpy python-scipy python-matplotlib python-sklearn
python3-pip python-pip
sudo apt-get install python-skimage
sudo apt-get install python-h5py python-protobuf python-leveldb python-networkx pythonnose python-pandas python-gflags
sudo pip install Cython ipython

在命令行输入以下命令,

cd caffe
make pycaffe

即可开始编译 python 接口。

caffe的目录终端中输入:vim /etc/profile

在/etc/profile 文件的最后一行中添加环境变量:

export PYTHONPATH=/path/to/caffe/python:$PYTHONPATH

如下图所示:

image.png

之后输入source /etc/profile命令, 使之生效。

然后在终端中移动到python目录下cd python,然后键入python

在 python 中输入:

import caffe

若结果如下图所示,则 可以正常包括caffe python 接口配置成功。

image.png

环境安装中可能遇到的问题


ImportError: No module named typing


无法更新pip,并在更新时报错,可以依次进行以下操作进行更新解决。

curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.py
python get-pip.py
pip install upgrade

VMware下 Ubuntu 看不到共享文件夹之解决办法


在Ubuntu系统中的共享文件夹的路径为:/mnt/hgfs/

我们要经常使用win和linux进行文件传输时,可以建立一个类似桌面快捷方式的文件夹进行访问。

命令:ln -s [共享文件夹在ubantu的路径] ~/桌面/你自己创立的文件夹的名字

sudo ln -s /mnt/hgfs/共享文件夹名字/ ~/Desktop/你自己创立的文件夹的名字

解决sys.stderr.write(f“ERROR: {exc}“)


解决方法为重新升级安装一次 pip,如下:

wget https://bootstrap.pypa.io/pip/3.5/get-pip.py
python3 get-pip.py

解决出现”No module named _caffe”的错误


可在caffe目录下尝试重新输入以下命令:

make clean
make pycaffe
目录
相关文章
|
6月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
TensorFlow入门指南:基础概念与安装
【4月更文挑战第17天】TensorFlow入门指南介绍了该流行深度学习框架的基础概念和安装步骤。核心概念包括张量(多维数组)、计算图(表示计算任务的图结构)、会话(执行环境)以及变量(存储模型参数)。安装TensorFlow可通过pip或conda,GPU支持需额外条件。安装成功后,通过Python验证版本即可开始使用。
|
机器学习/深度学习 PyTorch 算法框架/工具
Pytorch 最全入门介绍,Pytorch入门看这一篇就够了1
Pytorch 最全入门介绍,Pytorch入门看这一篇就够了
145 0
|
机器学习/深度学习 并行计算 PyTorch
Pytorch的安装以及入门使用
Pytorch的安装以及入门使用
313 0
|
6月前
|
并行计算 TensorFlow 算法框架/工具
【环境配置】tensorflow11.1.0编译
【环境配置】tensorflow11.1.0编译
50 2
|
6月前
|
计算机视觉 C++ Windows
VS2015搭建NCNN开发环境
VS2015搭建NCNN开发环境
87 0
|
6月前
|
机器学习/深度学习 人工智能 并行计算
PyTorch入门指南:从安装到基础操作
【4月更文挑战第17天】PyTorch入门指南介绍了安装、Tensor操作、自动微分、神经网络构建及训练。安装PyTorch可通过官网选择相应环境的预构建包或使用conda命令。Tensor是基本计算单元,支持多种操作。自动微分简化了梯度计算。使用`torch.nn`定义神经网络,如示例中的全连接网络。训练网络涉及前向传播、损失计算、反向传播和权重更新,常用优化器如SGD。模型评估与测试包括在验证集或测试集上计算性能指标,如准确率。本文为初学者提供了PyTorch基础操作的快速入门。
|
6月前
|
机器学习/深度学习 PyTorch 算法框架/工具
Pytorch 最全入门介绍,Pytorch入门看这一篇就够了(一)
Pytorch 最全入门介绍,Pytorch入门看这一篇就够了
618 2
|
6月前
|
机器学习/深度学习 数据可视化 PyTorch
Pytorch 最全入门介绍,Pytorch入门看这一篇就够了(二)
Pytorch 最全入门介绍,Pytorch入门看这一篇就够了
173 2
|
6月前
|
并行计算 TensorFlow 算法框架/工具
Tensorflow2 环境搭建
Tensorflow2 环境搭建
97 0
|
并行计算 PyTorch 算法框架/工具
YOLOv5入门实践(1)——手把手带你环境配置搭建
YOLOv5入门实践(1)——手把手带你环境配置搭建
4557 1
YOLOv5入门实践(1)——手把手带你环境配置搭建