Caffe-01-入门环境配置

简介: Caffe-01-入门环境配置

学习内容


本文主要学习在linux操作系统下的caffe框架的搭建和基本配置。

开发环境


ubantu16.04 VMwave

caffe介绍


image.png

caffe开发流程


caffe框架相对于TensorFlow等其他的主流开源框架相比最大的优点就是无需进行编写代码,开发者只需要对自己配置训练的框架结构熟悉即可完成相应的神经网络的框架构建。

对于caffe框架来说,完成训练需要进行以下步骤:

  1. 预处理数据(可以编写脚本运行进行预处理)
  2. 定义网络结构(可以通过编写protext文件进行结构设置)
  3. 定义solver参数(在配置完网络结构时,可以在solver参数配置文件中进行参数的配置)
  4. 训练(运行脚本即可完成)

caffe环境安装配置


首先要在自己的linux操作系统下安装所需要的依赖库:

在终端中输入以下命令。

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev
sudo apt-get install libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

安装完成后下载并安装caffe:

从 GitHub 上下载 Caffe: https://github.com/BVLC/caffe。 也可以输入以

下命令来下载。

sudo git clone https://github.com/BVLC/caffe.git

配置 Makefile.config 文件:

解压完成之后,对应文件夹中有 Makefile.config.example 文件,是 Caffe自带的 Makefile 的例子,复制这个文件并重命名为 Makefile.config,这里采用 cpu 训练,因此配置的时候需要取消掉 CPU_ONLY := 1这一行的注释。

如果没有安装vim 可以使用 pip 进行安装vim

image.png

并在这个文件做一下更改:

image.png

修改成下面的路径:

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
LIBRARY_DIRS := $(PYTHON_LIB) /usr/lib/x86_64-linux-gnu/hdf5/serial /usr/local/lib /usr/lib

完成上述操作后可以进行编译caffe。make all或者make all -j4(四核)

编译成功后,在 Caffe 根目录下会出现一个 build 文件夹,打开之后再打

开 tools 文件夹,会得到下面的文件:

image.png

之后编译 test 文件下的源码,输入以下命令。

make test
make runtest

caffe环境测试


完成上述操作后即成功安装 Caffe。然后使用cifar10进行测试,可以使用下述命令进行下载:./data/cifar10/get_cifar10.sh

或者在caffe/data/cifar10/ 把cifar10的相关内容解压放置到该路径。这里可以使用共享文件夹在win下把压缩包下载,然后在caffe/data/cifar10/解压缩,得到以下文件:

image.png

将 examples/cifar10/cifar10_quick_solver.prototxt 中的 GPU改为 CPU;这里为了方便测试最大训练次数修改为500

image.png

将examples/cifar10/cifar10_quick_solver_lr1.prototxt中的GPU改为CPU;这里为了方便测试最大训练次数修改为500

image.png

依次输入以下指令:

/examples/cifar10/create_cifar10.sh
./examples/cifar10/train_quick.sh

即可进行训练,出现以下过程则说明训练正常,配置成功可用。

image.png

pycaffe 环境设置


Caffe 训练及测试时会用到 python 接口,下面进行pycaffe接口配置:

首先还是安装库:

sudo apt-get install python-numpy python-scipy python-matplotlib python-sklearn
python3-pip python-pip
sudo apt-get install python-skimage
sudo apt-get install python-h5py python-protobuf python-leveldb python-networkx pythonnose python-pandas python-gflags
sudo pip install Cython ipython

在命令行输入以下命令,

cd caffe
make pycaffe

即可开始编译 python 接口。

caffe的目录终端中输入:vim /etc/profile

在/etc/profile 文件的最后一行中添加环境变量:

export PYTHONPATH=/path/to/caffe/python:$PYTHONPATH

如下图所示:

image.png

之后输入source /etc/profile命令, 使之生效。

然后在终端中移动到python目录下cd python,然后键入python

在 python 中输入:

import caffe

若结果如下图所示,则 可以正常包括caffe python 接口配置成功。

image.png

环境安装中可能遇到的问题


ImportError: No module named typing


无法更新pip,并在更新时报错,可以依次进行以下操作进行更新解决。

curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.py
python get-pip.py
pip install upgrade

VMware下 Ubuntu 看不到共享文件夹之解决办法


在Ubuntu系统中的共享文件夹的路径为:/mnt/hgfs/

我们要经常使用win和linux进行文件传输时,可以建立一个类似桌面快捷方式的文件夹进行访问。

命令:ln -s [共享文件夹在ubantu的路径] ~/桌面/你自己创立的文件夹的名字

sudo ln -s /mnt/hgfs/共享文件夹名字/ ~/Desktop/你自己创立的文件夹的名字

解决sys.stderr.write(f“ERROR: {exc}“)


解决方法为重新升级安装一次 pip,如下:

wget https://bootstrap.pypa.io/pip/3.5/get-pip.py
python3 get-pip.py

解决出现”No module named _caffe”的错误


可在caffe目录下尝试重新输入以下命令:

make clean
make pycaffe
目录
相关文章
|
并行计算 PyTorch 算法框架/工具
YOLOv5入门实践(1)——手把手带你环境配置搭建
YOLOv5入门实践(1)——手把手带你环境配置搭建
5216 1
|
Linux 算法框架/工具 Caffe
Caffe & Caffe2入门博客存档
caffe2 教程入门(python版) https://www.jianshu.com/p/5c0fd1c9fef9?from=timeline caffe入门学习 https://blog.csdn.
1278 0
|
TensorFlow 算法框架/工具 Python
【学习】TensorFlow2环境配置
【学习】TensorFlow2环境配置
93 0
|
机器学习/深度学习 人工智能 算法框架/工具
DL框架之Caffe:深度学习框架之Caffe的简介、安装、使用方法详细攻略
DL框架之Caffe:深度学习框架之Caffe的简介、安装、使用方法详细攻略
DL框架之Caffe:深度学习框架之Caffe的简介、安装、使用方法详细攻略
|
8月前
|
机器学习/深度学习 NoSQL 算法框架/工具
程序与技术分享:caffe的使用方法
程序与技术分享:caffe的使用方法
54 0
|
并行计算 TensorFlow 算法框架/工具
《TensorFlow技术解析与实战》——2.4 从源代码安装
本节书摘来自异步社区《TensorFlow技术解析与实战》一书中的第2章,第2.4节,作者李嘉璇,更多章节内容可以访问云栖社区“异步社区”公众号查看 第2章 TensorFlow环境的准备 2.4 从源代码安装 从源代码编译安装,需要使用Bazel编译工具。
2548 0
安装Caffe2
安装Caffe2
111 0
|
并行计算 Ubuntu 算法框架/工具

热门文章

最新文章