PyCharm+Docker:打造最舒适的深度学习炼丹炉

简介: PyCharm+Docker:打造最舒适的深度学习炼丹炉

九、PyCharm+Docker:打造最舒适的深度学习炼丹炉

安装docker:

如何在 Ubuntu 22.04 LTS 中安装 Docker 和 Docker Compose

https://zhuanlan.zhihu.com/p/547169542

修改Linux硬盘卷标:

ntfs文件系统:https://blog.csdn.net/nyist_yangguang/article/details/109958484

ex2、3、4文件系统:https://cn.linux-console.net/?p=1185#gsc.tab=0

旧版本Docker文件夹导入:

https://zhuanlan.zhihu.com/p/95533274

启动demo容器(docker run --runtime=nvidia --rm nvidia/cuda nvidia-smi)

遇到错误:Unknown runtime specified nvidia

因为没有安装nvidia-docker,

参考博客安装nvidia-docker

参考上面的方法导入旧版本Docker文件夹,然后尝试(sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi)

https://blog.csdn.net/weixin_44633882/article/details/115362059

对于Centos系统参照这两篇文章:

安装docker

https://www.runoob.com/docker/centos-docker-install.html

使用官方安装脚本自动安装

安装命令如下:

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

也可以使用国内 daocloud 一键安装命令:

curl -sSL https://get.daocloud.io/docker | sh

安装nvidia-docker2

https://zhuanlan.zhihu.com/p/540669989

具体操作步骤为:

Setup the repository and the GPG key

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
   && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.repo | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

Setup the repository and the GPG key

安装nvidia-docker2(网络网络不是很好,会稍微慢一点)

sudo yum install -y nvidia-docker2

重启docker

sudo systemctl restart docker

Docker已创建容器修改远程文件夹地址:

https://blog.csdn.net/bf96163/article/details/108405502

PyCharm+Docker

https://zhuanlan.zhihu.com/p/52827335

sudo docker run --runtime=nvidia(--gpus all) --shm-size="8g" -p 4321:22 -p 4322:6006 -p 4323:80 --name="pytorch_1.8" -v /mount_disk/docker-v:/remote_workspace -it pytorch/pytorch:1.8... /bin/bash

十、docker 镜像导出导入

docker 镜像导出

首先查看下现有要打tar包的容器

docker ps -a

接下来用commit参数进行保存镜像, -a 提交人的姓名 -m “提交内容”,格式如:docker commit -a -m 现有容器ID 保存后的名称:版本号

docker commit -a "tmf"   -m "tmf-web" 7740db56288a    tmf-web:v20191123

接下来查看下镜像是否出现:

docker images

然后save参数进行打包,格式如:docker save -o 要打镜像包名称 镜像

docker save -o tmf-web20191123.tar tmf-web:v20191123  注意保存的是镜像不是容器
docker export -o D:\containers\dockerdemocontainer.tar dockerimagename如果导入失败,可以尝试直接保存并导入容器
docker import dockerdemocontainer.tar imagename:version

tar 文件压缩

https://segmentfault.com/a/1190000024498487

https://blog.csdn.net/capecape/article/details/78548723

#压缩
[root@localhost tmp]# gzip buodo
[root@localhost tmp]# ls
buodo.gz
#解压
[root@localhost tmp]# gunzip buodo.gz 
[root@localhost tmp]# ls
buodo

scp文件传输:

$scp -P 端口号 传输文件的路径 用户名@主机:路径
如果要复制整个带路径的文件
$scp -P 端口号 -r 传输文件的路径 用户名@主机:路径

tar文件拆分与合并

1. 打包压缩文件
  tar -czf file.tar.gz filedir
2. 解压文件
  tar -zxf file.tar.gz
3.分割大文件,每个文件最大100M
  3.1)
   split -b 100m file.tar.gz file.tar.gz.
  3.2)后缀设为两位数字
   split -a 2 -d -b 100m file.tar.gz file.tar.gz
4.合并文件
  cat file.tar.gz.* > file.tar.gz
5. 打包压缩分割大文件
  tar -czf - filedir | split -a 2 -d -b 100m - file.tar.gz
6. 合并解压文件
  cat file.tar.gz.* | tar -zxf -
原文链接:https://blog.csdn.net/pan0755/article/details/51865877

docker 镜像导入

然后把打好的包传到另外一台服务器上进行部署或者升级操作

首先进行load进行导出镜像操作 load:导入使用 docker save 命令导出的镜像。

docker load -i tmf-web20191123.tar

然后查看是否出现镜像

docker  images
目录
相关文章
|
机器学习/深度学习 并行计算 算法框架/工具
Anaconda+Cuda+Cudnn+Pytorch(GPU版)+Pycharm+Win11深度学习环境配置
Anaconda+Cuda+Cudnn+Pytorch(GPU版)+Pycharm+Win11深度学习环境配置
|
IDE 数据中心 Docker
使用PyCharm与Docker容器进行开发:从入门到精通
使用PyCharm与Docker容器进行开发:从入门到精通
3793 0
|
机器学习/深度学习 自然语言处理 异构计算
完全小白的pycharm深度学习调试+for循环断点条件设置
完全小白的pycharm深度学习调试+for循环断点条件设置
928 1
|
8月前
|
人工智能 IDE 开发工具
JetBrains PyCharm 2025.1 发布 - 面向专业开发者的 Python IDE
JetBrains PyCharm 2025.1 (macOS, Linux, Windows) - 面向专业开发者的 Python IDE
835 29
JetBrains PyCharm 2025.1 发布 - 面向专业开发者的 Python IDE
|
8月前
|
IDE 开发工具 开发者
手把手教你安装PyCharm 2025:开发者的Python IDE配置全流程+避坑指南
本教程详细介绍了PyCharm 2025版本在Windows系统下的安装流程及配置方法,涵盖AI代码补全与智能调试工具链等新功能。内容包括系统要求、安装步骤、首次运行配置(如主题选择与插件安装)、创建首个Python项目,以及常见问题解决方法。此外,还提供了切换中文界面和延伸学习资源的指导,帮助用户快速上手并高效使用PyCharm进行开发。
4020 61
|
11月前
|
IDE 测试技术 项目管理
【新手必看】PyCharm2025 免费下载安装配置教程+Python环境搭建、图文并茂全副武装学起来才嗖嗖的快,绝对最详细!
PyCharm是由JetBrains开发的Python集成开发环境(IDE),专为Python开发者设计,支持Web开发、调试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试和版本控制等功能。它有专业版、教育版和社区版三个版本,其中社区版免费且适合个人和小型团队使用,包含基本的Python开发功能。安装PyCharm前需先安装Python解释器,并配置环境变量。通过简单的步骤即可在PyCharm中创建并运行Python项目,如输出“Hello World”。
3863 13
【新手必看】PyCharm2025 免费下载安装配置教程+Python环境搭建、图文并茂全副武装学起来才嗖嗖的快,绝对最详细!
|
IDE 网络安全 开发工具
IDE之pycharm:专业版本连接远程服务器代码,并配置远程python环境解释器(亲测OK)。
本文介绍了如何在PyCharm专业版中连接远程服务器并配置远程Python环境解释器,以便在服务器上运行代码。
4145 0
IDE之pycharm:专业版本连接远程服务器代码,并配置远程python环境解释器(亲测OK)。
|
数据库 Python Windows
Python:Pycharm安装指南
1. 双击安装程序,点击Next。 2. 选择安装路径,Next。 3. 默认选项,添加环境变量,Next。 4. 保持默认设置,点击Install。 5. 安装完成后选择是否立即重启。
322 2
Python:Pycharm安装指南
|
JSON 数据格式 Python
Flask实现内部接口----pycharm安装及新建,location代表着文件路径,下面是Python的环境,Flask是由Python开发的框架,Python文件接口ython通过GET发送
Flask实现内部接口----pycharm安装及新建,location代表着文件路径,下面是Python的环境,Flask是由Python开发的框架,Python文件接口ython通过GET发送
|
iOS开发 MacOS Python
【Python】已解决:(Pycharm切换Python版本后报错)No Python at “C:\Program Files\Python39\python.exe”
【Python】已解决:(Pycharm切换Python版本后报错)No Python at “C:\Program Files\Python39\python.exe”
1287 0
【Python】已解决:(Pycharm切换Python版本后报错)No Python at “C:\Program Files\Python39\python.exe”