pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)

简介: 这篇文章是关于如何下载、安装和配置Miniconda,以及如何使用Miniconda创建和管理Python环境的详细指南。

一、miniconda和anaconda的关系

Miniconda 和 Anaconda 都是用于管理 Python 环境和包的开源工具,它们由同一个团队(Anaconda, Inc.)开发,然而,它们的用途和设计目标有所不同。(他们俩是一家的

1、Anaconda

Anaconda 是一个功能齐全的数据科学平台,它包括了 Python 解释器、包管理器 conda、以及数百个常用的数据科学和机器学习库。Anaconda 旨在为数据科学家和开发者提供一个开箱即用的环境,适合于数据分析、机器学习、科学计算等各种应用。

特点:

大型安装包:Anaconda 包含了许多预装的库和工具,如 NumPy、Pandas、SciPy、Jupyter Notebook、Matplotlib、Scikit-learn 等等。这使得它的安装文件相对较大(通常超过 1 GB)。
全功能:适合那些希望快速搭建一个数据科学环境,而不需要手动安装和配置各种库和工具的用户。
用户友好:通过 Anaconda Navigator 图形界面,可以轻松管理环境和安装包。

适用场景:

适合新手或希望快速搭建完整数据科学环境的用户。
适合在本地机器上进行大规模数据分析和机器学习任务。

2、Miniconda

Miniconda 是 Anaconda 的一个精简版本,它只包含 conda 包管理器和 Python 解释器,不包括任何预装的第三方库。Miniconda 提供了一个最小化的环境,用户可以根据需要手动安装所需的库和工具。

特点:

小型安装包:由于 Miniconda 只包含基础的包管理器和 Python 解释器,安装文件非常小(通常在 50-60 MB 之间)。
高度灵活:用户可以根据需要手动安装和管理 Python 包和环境,这使得 Miniconda 更加灵活,但也需要更多的手动配置。
轻量级:适合那些希望保持系统轻量且只安装所需工具的用户。

适用场景:

适合高级用户或开发者,他们知道自己需要安装哪些库,并且希望对环境有更多控制。
适合在资源有限的系统(如服务器或 Docker 容器)上运行的项目。

3、总结

Anaconda 是一个功能齐全、开箱即用的解决方案,适合需要快速搭建完整数据科学环境的用户。
Miniconda 则是一个轻量级的、更加灵活的解决方案,适合那些只需要安装和使用特定 Python 库的用户。

二、下载miniconda(清华镜像链接)

  1. 清华大学开源软件镜像站:https://mirrors.tuna.tsinghua.edu.cn/
  2. miniconda 清华镜像下载链接:https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/

点击第二个直接下载就行

在这里插入图片描述

三、安装miniconda

1、安装

  1. 将上面下载的安装包放入此目录中

    mkdir ~/miniconda
    cd ~/miniconda/
    
  2. 执行安装命令

    bash Miniconda3-latest-Linux-x86_64.sh
    
  3. 随后一直按住回车,读完须知,然后会出现如下,填入yes即可

    Please answer 'yes' or 'no':'
    >>> yes
    
  4. 这里提示选择安装路径,我就选当前目录,直接ENTER即可

    Miniconda3 will now be installed into this location:
    /root/miniconda3
    
      - Press ENTER to confirm the location
      - Press CTRL-C to abort the installation
      - Or specify a different location below
    
    [/root/miniconda3] >>>
    
  5. conda 的初始化,输入yes 回车即可。

    Preparing transaction: done
    Executing transaction: done
    installation finished.
    Do you wish to update your shell profile to automatically initialize conda?
    This will activate conda on startup and change the command prompt when activated.
    If you'd prefer that conda's base environment not be activated on startup,
       run the following command when conda is activated:
    
    conda config --set auto_activate_base false
    
    You can undo this by running `conda init --reverse $SHELL`? [yes|no]
    [no] >>> yes
    
  6. 到此安装完毕
    安装完后,他会在 ~ 目录下自动创建一个 miniconda3 目录,都安装在这个目录中。
    在这里插入图片描述

2、或许要手动加载 ~/.bashrc

我安装完后执行 conda info --envs 命令提示如下
在这里插入图片描述
然后去 ~/.bashrc 文件下看看是否配置了conda的环境变量
在这里插入图片描述
但是 基础默认的 base 环境没有启动,于是,手动执行一下,输入如下命令

source ~/.bashrc

结果如下,base环境生效,conda命令也生效。
在这里插入图片描述

四、配置 命令

1、查看anaconda安装博文

2、取消默认进入conda(base)环境

一般不需要这个。

conda config --set auto_activate_base false

3、配置 conda 国内镜像

conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/main/
conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/free/
conda config --set show_channel_urls yes

五、创建 Python3.8 环境

1、创建指令

conda create --name py38 python=3.8

2、激活 py38 环境

conda activate py38

3、退出环境

conda deactivate

六、conda常用命令

查看python版本

python -V

1、python环境管理

  1. 创建环境:

    conda create --name myenv
    
  2. 创建具有特定 Python 版本的环境:

    conda create --name myenv python=3.8
    
  3. 激活环境:

    conda activate myenv
    
  4. 查看conda信息:

    conda info
    
  5. 查看conda 的所有环境:

    conda info --envs
    
  6. 列出所有环境:

    conda env list
    
  7. 安装额外的包到环境中:

    conda install -n myenv package_name
    
  8. 导出环境配置:

    conda env export --name myenv > environment.yml
    
  9. 删除一个环境:

    conda remove -n env_name --all
    

2、包管理:

  1. 安装包:

    conda install package_name
    
  2. 卸载包:

    conda remove package_name
    
  3. 更新包:

    conda update package_name
    
  4. 列出已安装的包:

    conda list
    
  5. 搜索可用的包:

    conda search package_name
    

3、Conda 环境的导入与导出:

  1. 导出环境:

    conda env export --name myenv > environment.yml
    
  2. 导入环境:

    conda env create -f environment.yml
    

4、其他常用命令:

  1. 更新 Conda:

    conda update conda
    
  2. 查看 Conda 版本:

    conda --version
    
  3. 帮助命令:

    conda --help
    
  4. 查看配置信息:

    conda config --show
    

5、镜像源常用命令

  1. 查看当前的 Conda 配置,确认哪些镜像源被配置了:

    conda config --show channels
    
  2. 查看配置文件的位置:

    conda config --show-sources
    
  3. 移除无效的镜像源
    如果发现 https://mirrors.aliyun.com/anaconda/pkgs/main 是无效的,可以将其移除。使用以下命令移除无效的镜像源:

    conda config --remove channels https://mirrors.aliyun.com/anaconda/pkgs/main
    
  4. 添加有效的镜像源
    根据你的需求,添加有效的镜像源。你可以使用官方的默认源或其他有效的镜像源。比如,添加 Tsinghua 镜像源:
    添加的镜像源的配置文件~/.condarc

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
    conda config --set show_channel_urls yes    #
    

    conda config --set show_channel_urls yes 这个命令的作用是设置 Conda 配置,使得在执行 Conda 命令时显示每个软件包的来源渠道 URL。这有助于你查看软件包是从哪个源获取的,便于调试和确认镜像源的配置是否正确。

  5. 更新 Conda
    确保 Conda 是最新版本,以避免已知的问题:

    conda update conda
    
  6. 清除缓存
    有时清除 Conda 的缓存可以解决问题:

    conda clean --all
    
  7. 手动修复配置文件
    如果上述方法都不奏效,你可以直接编辑 Conda 配置文件,手动修复或删除无效的镜像源。配置文件通常位于 ~/.condarc 文件中,你可以用文本编辑器打开它并调整配置。

七、默认设置

1、关闭自启动base环境

conda创建后,一般会有一个默认的python环境名为base,一般会自启动。但是有时候不希望自启动每次都要换环境。
关闭自启动base环境 命令如下:

conda config --set auto_activate_base false
相关文章
|
3天前
|
PyTorch Linux 算法框架/工具
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
这篇文章是关于如何使用Anaconda进行Python环境管理,包括下载、安装、配置环境变量、创建多版本Python环境、安装PyTorch以及使用Jupyter Notebook的详细指南。
40 1
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
|
3天前
|
IDE 网络安全 开发工具
IDE之pycharm:专业版本连接远程服务器代码,并配置远程python环境解释器(亲测OK)。
本文介绍了如何在PyCharm专业版中连接远程服务器并配置远程Python环境解释器,以便在服务器上运行代码。
26 0
IDE之pycharm:专业版本连接远程服务器代码,并配置远程python环境解释器(亲测OK)。
|
2天前
|
机器学习/深度学习 缓存 Linux
python环境学习:pip介绍,pip 和 conda的区别和联系。哪个更好使用?pip创建虚拟环境并解释venv模块,pip的常用命令,conda的常用命令。
本文介绍了Python的包管理工具pip和环境管理器conda的区别与联系。pip主要用于安装和管理Python包,而conda不仅管理Python包,还能管理其他语言的包,并提供强大的环境管理功能。文章还讨论了pip创建虚拟环境的方法,以及pip和conda的常用命令。作者推荐使用conda安装科学计算和数据分析包,而pip则用于安装无法通过conda获取的包。
|
5天前
|
算法 PyTorch 算法框架/工具
Pytorch学习笔记(九):Pytorch模型的FLOPs、模型参数量等信息输出(torchstat、thop、ptflops、torchsummary)
本文介绍了如何使用torchstat、thop、ptflops和torchsummary等工具来计算Pytorch模型的FLOPs、模型参数量等信息。
24 2
|
7天前
|
机器学习/深度学习 自然语言处理 监控
利用 PyTorch Lightning 搭建一个文本分类模型
利用 PyTorch Lightning 搭建一个文本分类模型
26 8
利用 PyTorch Lightning 搭建一个文本分类模型
|
9天前
|
机器学习/深度学习 自然语言处理 数据建模
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
本文深入探讨了Transformer模型中的三种关键注意力机制:自注意力、交叉注意力和因果自注意力,这些机制是GPT-4、Llama等大型语言模型的核心。文章不仅讲解了理论概念,还通过Python和PyTorch从零开始实现这些机制,帮助读者深入理解其内部工作原理。自注意力机制通过整合上下文信息增强了输入嵌入,多头注意力则通过多个并行的注意力头捕捉不同类型的依赖关系。交叉注意力则允许模型在两个不同输入序列间传递信息,适用于机器翻译和图像描述等任务。因果自注意力确保模型在生成文本时仅考虑先前的上下文,适用于解码器风格的模型。通过本文的详细解析和代码实现,读者可以全面掌握这些机制的应用潜力。
26 3
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
|
23天前
|
机器学习/深度学习 PyTorch 调度
在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型
在深度学习中,学习率作为关键超参数对模型收敛速度和性能至关重要。传统方法采用统一学习率,但研究表明为不同层设置差异化学习率能显著提升性能。本文探讨了这一策略的理论基础及PyTorch实现方法,包括模型定义、参数分组、优化器配置及训练流程。通过示例展示了如何为ResNet18设置不同层的学习率,并介绍了渐进式解冻和层适应学习率等高级技巧,帮助研究者更好地优化模型训练。
35 4
在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型
|
29天前
|
机器学习/深度学习 监控 PyTorch
PyTorch 模型调试与故障排除指南
在深度学习领域,PyTorch 成为开发和训练神经网络的主要框架之一。本文为 PyTorch 开发者提供全面的调试指南,涵盖从基础概念到高级技术的内容。目标读者包括初学者、中级开发者和高级工程师。本文探讨常见问题及解决方案,帮助读者理解 PyTorch 的核心概念、掌握调试策略、识别性能瓶颈,并通过实际案例获得实践经验。无论是在构建简单神经网络还是复杂模型,本文都将提供宝贵的洞察和实用技巧,帮助开发者更高效地开发和优化 PyTorch 模型。
32 3
PyTorch 模型调试与故障排除指南
|
12天前
|
存储 并行计算 PyTorch
探索PyTorch:模型的定义和保存方法
探索PyTorch:模型的定义和保存方法
|
2月前
|
机器学习/深度学习 PyTorch 编译器
PyTorch 与 TorchScript:模型的序列化与加速
【8月更文第27天】PyTorch 是一个非常流行的深度学习框架,它以其灵活性和易用性而著称。然而,当涉及到模型的部署和性能优化时,PyTorch 的动态计算图可能会带来一些挑战。为了解决这些问题,PyTorch 引入了 TorchScript,这是一个用于序列化和优化 PyTorch 模型的工具。本文将详细介绍如何使用 TorchScript 来序列化 PyTorch 模型以及如何加速模型的执行。
80 4