关于在安装caffe2环境中遇到的坑整理(欢迎入坑讨论)

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
大数据开发治理平台 DataWorks,不限时长
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 关于在安装caffe2环境中遇到的坑整理(欢迎入坑讨论)

 


1.ImportError: cannot import name caffe2_pb2

测试caffe2的pytorch环境是否正常的时候使用

root@lxsj-ThinkStation:~/pytorch# python
Python 2.7.12 (default, Dec  4 2017, 14:50:18) 
[GCC 5.4.0 20160609] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> from caffe2.python import workspace
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "caffe2/python/__init__.py", line 2, in <module>
    from caffe2.proto import caffe2_pb2
ImportError: cannot import name caffe2_pb2

image.gif

解决方案:在pytorch路径下,或者root目录下找到.bashrc文件,打开。

1. 在末尾fi后面 写入

export PYTHONPATH=/root/pytorch/build:/usr/local:$PYTHONPATH
export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH

image.gif

然后

source .bashrc

image.gif

重新进入之后不会报错了


2.ImportError: No module named _tkinter, please install the python-tk package

安装python-tk即可

apt-get install python-tk


3.WARNING:root:This caffe2 python run does not have GPU support. Will run in CPU only mode

root@lxsj-ThinkStation:~/download#  python -c 'from caffe2.python import core'
WARNING:root:This caffe2 python run does not have GPU support. Will run in CPU only mode.

image.gif

然后需要在环境变量里添加一行 vim ~/.bashrc

export PATH=/usr/local/cuda/bin${PATH:+:${PATH}}

image.gif

然后source ~/.bashrc


4.AssertionError: Torch not compiled with CUDA enabled

执行如下脚本

import os
import numpy as np
import torch
import torch.nn
import torchvision.models as models
from torch.autograd import Variable 
import torch.cuda
import torchvision.transforms as transforms
from PIL import Image
img_to_tensor = transforms.ToTensor()
def make_model():
    resmodel=models.resnet34(pretrained=True)
    resmodel.cuda()#将模型从CPU发送到GPU,如果没有GPU则删除该行
    return resmodel
#分类
def inference(resmodel,imgpath):
    resmodel.eval()#必需,否则预测结果是错误的
    img=Image.open(imgpath)
    img=img.resize((224,224))
    tensor=img_to_tensor(img)
    tensor=tensor.resize_(1,3,224,224)
    tensor=tensor.cuda()#将数据发送到GPU,数据和模型在同一个设备上运行
    result=resmodel(Variable(tensor))
    result_npy=result.data.cpu().numpy()#将结果传到CPU,并转换为numpy格式
    max_index=np.argmax(result_npy[0])
    return max_index
#特征提取
def extract_feature(resmodel,imgpath):
    resmodel.fc=torch.nn.LeakyReLU(0.1)
    resmodel.eval()
    img=Image.open(imgpath)
    img=img.resize((224,224))
    tensor=img_to_tensor(img)
    tensor=tensor.resize_(1,3,224,224)
    tensor=tensor.cuda()
    result=resmodel(Variable(tensor))
    result_npy=result.data.cpu().numpy()
    return result_npy[0]
if __name__=="__main__":
    model=make_model()
    imgpath='xx.jpg'
    print inference(model,imgpath)
    print extract_feature(model, imgpath)

image.gif

结果提示

root@lxsj-ThinkStation:~/example# python index.py 
Traceback (most recent call last):
  File "index.py", line 57, in <module>
    model=make_model()
  File "index.py", line 19, in make_model
    resmodel.cuda()#将模型从CPU发送到GPU,如果没有GPU则删除该行
  File "/usr/local/lib/python2.7/dist-packages/torch/nn/modules/module.py", line 258, in cuda
    return self._apply(lambda t: t.cuda(device))
  File "/usr/local/lib/python2.7/dist-packages/torch/nn/modules/module.py", line 185, in _apply
    module._apply(fn)
  File "/usr/local/lib/python2.7/dist-packages/torch/nn/modules/module.py", line 191, in _apply
    param.data = fn(param.data)
  File "/usr/local/lib/python2.7/dist-packages/torch/nn/modules/module.py", line 258, in <lambda>
    return self._apply(lambda t: t.cuda(device))
  File "/usr/local/lib/python2.7/dist-packages/torch/cuda/__init__.py", line 161, in _lazy_init
    _check_driver()
  File "/usr/local/lib/python2.7/dist-packages/torch/cuda/__init__.py", line 75, in _check_driver
    raise AssertionError("Torch not compiled with CUDA enabled")
AssertionError: Torch not compiled with CUDA enabled

image.gif

那么我们就来检测cuda是否生效

root@lxsj-ThinkStation:~/example# cat test.py

import torch

print(torch.cuda.is_available())

返回的是False

所以估计是当时编译的pytorch的方式有问题,所以重新编译

cd pytorch
git submodule update --init --recursive
python setup.py install

image.gif

然后运行测试cuda返回True,运行刚才的脚本不再抛出异常

5.系统找不到caffe2的依赖库和头文件

应该是当时只编译了,要进入到build目录下进行make install 然后重新编译即可

相关实践学习
基于阿里云DeepGPU实例,用AI画唯美国风少女
本实验基于阿里云DeepGPU实例,使用aiacctorch加速stable-diffusion-webui,用AI画唯美国风少女,可提升性能至高至原性能的2.6倍。
相关文章
|
18天前
|
并行计算 开发者 Python
GitHub标星破千!这份Python并行编程手册,可以封神了!
现在这个时代是并行编程与多核的时代,硬件成本越来越低,如何充分利用硬件所提供的各种资源是每一个软件开发者需要深入思考的问题。若想充分利用所有的计算资源来构建高效的软件系统,并行编程技术是不可或缺的一项技能。
|
2月前
|
机器学习/深度学习 自然语言处理 API
有一点python基础,想玩大模型,不知从何入手。快速入门。
有一点python基础,想玩大模型,不知从何入手。快速入门。
431 0
|
机器学习/深度学习 XML 存储
【周末送书】使用OpenCV和OpenVINO轻松创建深度学习应用(附实现方式和代码出处)
【周末送书】使用OpenCV和OpenVINO轻松创建深度学习应用(附实现方式和代码出处)
153 0
|
传感器
时隔这么长时间,我把常用的功能整理好了,再来感受VueUse工具库的优雅吧~
时隔这么长时间,我把常用的功能整理好了,再来感受VueUse工具库的优雅吧~
时隔这么长时间,我把常用的功能整理好了,再来感受VueUse工具库的优雅吧~
|
Java 程序员
理论:第十一章:大厂程序员如何使用GitHub快速开发学习
理论:第十一章:大厂程序员如何使用GitHub快速开发学习
理论:第十一章:大厂程序员如何使用GitHub快速开发学习
|
机器学习/深度学习 自然语言处理 数据可视化
整理了3个用于数据科学的Python库,稍微简单的讲解下
改变不了环境,但可以改变自己;你改变不了事实,但可以改变态度;你改变不了过去,但可以改变现在。
整理了3个用于数据科学的Python库,稍微简单的讲解下
|
前端开发 Java 数据库
强烈推荐几种经典的系统开发模型
今天给大家分享一些开发中常用的开发模型。这些模型从复杂到简单进行了一步一步的简化,让开发代码之间的耦合度更加低、代码利用率更高。
强烈推荐几种经典的系统开发模型
|
资源调度 监控 测试技术
性能专题:Locust工具实战之开篇哲学三问
性能专题:Locust工具实战之开篇哲学三问
269 0
性能专题:Locust工具实战之开篇哲学三问
|
机器学习/深度学习 人工智能 并行计算
深度学习模型训练推理——基础环境搭建推荐博文查阅顺序【❤️基础安装—认真帮大家整理了❤️】
博主这里梳理了自己过去两年,认真撰写的一些基础知识方面的干货博文,希望能够有效帮助到更多刚刚投身于ML、DL 领域不久的小伙伴们
339 0
深度学习模型训练推理——基础环境搭建推荐博文查阅顺序【❤️基础安装—认真帮大家整理了❤️】
|
机器学习/深度学习 SQL 大数据
吐血整理!这可能是最全的机器学习工具手册
吐血整理!这可能是最全的机器学习工具手册
107 0
吐血整理!这可能是最全的机器学习工具手册