【菜菜的CV进阶之路 - 深度学习环境搭建】常用命令和配置指南

简介: 【菜菜的CV进阶之路 - 深度学习环境搭建】常用命令和配置指南

九、PyCharm+Docker:打造最舒适的深度学习炼丹炉

安装docker:

如何在 Ubuntu 22.04 LTS 中安装 Docker 和 Docker Compose

https://zhuanlan.zhihu.com/p/547169542

修改Linux硬盘卷标:

ntfs文件系统:https://blog.csdn.net/nyist_yangguang/article/details/109958484

ex2、3、4文件系统:https://cn.linux-console.net/?p=1185#gsc.tab=0

旧版本Docker文件夹导入:

https://zhuanlan.zhihu.com/p/95533274

启动demo容器(docker run --runtime=nvidia --rm nvidia/cuda nvidia-smi)

遇到错误:Unknown runtime specified nvidia

因为没有安装nvidia-docker,

参考博客安装nvidia-docker

参考上面的方法导入旧版本Docker文件夹,然后尝试(sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi)

https://blog.csdn.net/weixin_44633882/article/details/115362059

Docker已创建容器修改远程文件夹地址:

https://blog.csdn.net/bf96163/article/details/108405502

PyCharm+Docker

https://zhuanlan.zhihu.com/p/52827335

sudo docker run --runtime=nvidia(--gpus all) --shm-size="8g" -p 4321:22 -p 4322:6006 -p 4323:80 --name="pytorch_1.8" -v /mount_disk/docker-v:/remote_workspace -it pytorch/pytorch:1.8... /bin/bash

十、docker 镜像导出导入

docker 镜像导出

首先查看下现有要打tar包的容器

docker ps -a

接下来用commit参数进行保存镜像, -a 提交人的姓名 -m “提交内容”,格式如:docker commit -a -m 现有容器ID 保存后的名称:版本号

docker commit -a "tmf"   -m "tmf-web" 7740db56288a    tmf-web:v20191123

接下来查看下镜像是否出现:

docker images

然后save参数进行打包,格式如:docker save -o 要打镜像包名称 镜像

docker save -o tmf-web20191123.tar tmf-web:v20191123  注意保存的是镜像不是容器
docker export -o D:\containers\dockerdemocontainer.tar dockerimagename如果导入失败,可以尝试直接保存并导入容器
docker import dockerdemocontainer.tar imagename:version

tar 文件压缩

https://segmentfault.com/a/1190000024498487

https://blog.csdn.net/capecape/article/details/78548723

#压缩
[root@localhost tmp]# gzip buodo
[root@localhost tmp]# ls
buodo.gz
#解压
[root@localhost tmp]# gunzip buodo.gz 
[root@localhost tmp]# ls
buodo

scp文件传输:

$scp -P 端口号 传输文件的路径 用户名@主机:路径
如果要复制整个带路径的文件
$scp -P 端口号 -r 传输文件的路径 用户名@主机:路径

tar文件拆分与合并

1. 打包压缩文件
  tar -czf file.tar.gz filedir
2. 解压文件
  tar -zxf file.tar.gz
3.分割大文件,每个文件最大100M
  3.1)
   split -b 100m file.tar.gz file.tar.gz.
  3.2)后缀设为两位数字
   split -a 2 -d -b 100m file.tar.gz file.tar.gz
4.合并文件
  cat file.tar.gz.* > file.tar.gz
5. 打包压缩分割大文件
  tar -czf - filedir | split -a 2 -d -b 100m - file.tar.gz
6. 合并解压文件
  cat file.tar.gz.* | tar -zxf -
原文链接:https://blog.csdn.net/pan0755/article/details/51865877

docker 镜像导入

然后把打好的包传到另外一台服务器上进行部署或者升级操作

首先进行load进行导出镜像操作 load:导入使用 docker save 命令导出的镜像。

docker load -i tmf-web20191123.tar

然后查看是否出现镜像

docker  images


AIEarth是一个由众多领域内专家博主共同打造的学术平台,旨在建设一个拥抱智慧未来的学术殿堂!【平台地址:https://devpress.csdn.net/aiearth】 很高兴认识你!加入我们共同进步!

目录
相关文章
|
机器学习/深度学习 并行计算 TensorFlow
anaconda迁移深度学习虚拟环境 and 在云服务器上配置(下)
anaconda迁移深度学习虚拟环境 and 在云服务器上配置
231 0
|
2月前
|
机器学习/深度学习 算法 测试技术
深度学习环境搭建笔记(二):mmdetection-CPU安装和训练
本文是关于如何搭建深度学习环境,特别是使用mmdetection进行CPU安装和训练的详细指南。包括安装Anaconda、创建虚拟环境、安装PyTorch、mmcv-full和mmdetection,以及测试环境和训练目标检测模型的步骤。还提供了数据集准备、检查和网络训练的详细说明。
114 5
深度学习环境搭建笔记(二):mmdetection-CPU安装和训练
|
2月前
|
机器学习/深度学习 并行计算 PyTorch
深度学习环境搭建笔记(一):detectron2安装过程
这篇博客文章详细介绍了在Windows环境下,使用CUDA 10.2配置深度学习环境,并安装detectron2库的步骤,包括安装Python、pycocotools、Torch和Torchvision、fvcore,以及对Detectron2和PyTorch代码的修改。
251 1
深度学习环境搭建笔记(一):detectron2安装过程
|
4月前
|
机器学习/深度学习 计算机视觉 Python
深度学习项目中在yaml文件中定义配置,以及使用的python的PyYAML库包读取解析yaml配置文件
深度学习项目中在yaml文件中定义配置,以及使用的python的PyYAML库包读取解析yaml配置文件
130 0
|
7月前
|
机器学习/深度学习 人工智能 监控
深度学习赋能智能监控:图像识别技术的进阶应用
【4月更文挑战第22天】 随着人工智能的飞速发展,特别是深度学习技术的突破,图像识别在智能监控系统中扮演着日益重要的角色。本文旨在探讨基于深度学习的图像识别技术如何革新现代智能监控系统,提升其准确性和效率。首先,文中将介绍深度学习在图像处理领域的基础原理及其关键算法。接着,分析当前智能监控面临的挑战及深度学习提供的解决方案。最后,通过案例研究,展示深度学习在实际智能监控中的应用成效,并讨论其对未来监控技术发展的影响。
|
机器学习/深度学习 Ubuntu 机器人
【Ubuntu18配置Anaconda深度学习环境】
【Ubuntu18配置Anaconda深度学习环境】
229 1
|
机器学习/深度学习 传感器 人工智能
CV面试题目总结(二) - 深度学习算法
CV面试题目总结(二) - 深度学习算法
284 0
|
机器学习/深度学习 编解码 算法
CV面试题目总结(一)- 深度学习算法
CV面试题目总结(一)- 深度学习算法
249 0
|
7月前
|
机器学习/深度学习 人工智能 PyTorch
VScode配置深度学习环境python+conda
VScode配置深度学习环境python+conda
531 0
|
机器学习/深度学习 存储 数据采集
轻松配置深度学习模型 ?
轻松配置深度学习模型 ?
146 1