pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)

简介: 这篇文章是关于如何下载、安装和配置Miniconda,以及如何使用Miniconda创建和管理Python环境的详细指南。

一、miniconda和anaconda的关系

Miniconda 和 Anaconda 都是用于管理 Python 环境和包的开源工具,它们由同一个团队(Anaconda, Inc.)开发,然而,它们的用途和设计目标有所不同。(他们俩是一家的

1、Anaconda

Anaconda 是一个功能齐全的数据科学平台,它包括了 Python 解释器、包管理器 conda、以及数百个常用的数据科学和机器学习库。Anaconda 旨在为数据科学家和开发者提供一个开箱即用的环境,适合于数据分析、机器学习、科学计算等各种应用。

特点:

大型安装包:Anaconda 包含了许多预装的库和工具,如 NumPy、Pandas、SciPy、Jupyter Notebook、Matplotlib、Scikit-learn 等等。这使得它的安装文件相对较大(通常超过 1 GB)。
全功能:适合那些希望快速搭建一个数据科学环境,而不需要手动安装和配置各种库和工具的用户。
用户友好:通过 Anaconda Navigator 图形界面,可以轻松管理环境和安装包。

适用场景:

适合新手或希望快速搭建完整数据科学环境的用户。
适合在本地机器上进行大规模数据分析和机器学习任务。

2、Miniconda

Miniconda 是 Anaconda 的一个精简版本,它只包含 conda 包管理器和 Python 解释器,不包括任何预装的第三方库。Miniconda 提供了一个最小化的环境,用户可以根据需要手动安装所需的库和工具。

特点:

小型安装包:由于 Miniconda 只包含基础的包管理器和 Python 解释器,安装文件非常小(通常在 50-60 MB 之间)。
高度灵活:用户可以根据需要手动安装和管理 Python 包和环境,这使得 Miniconda 更加灵活,但也需要更多的手动配置。
轻量级:适合那些希望保持系统轻量且只安装所需工具的用户。

适用场景:

适合高级用户或开发者,他们知道自己需要安装哪些库,并且希望对环境有更多控制。
适合在资源有限的系统(如服务器或 Docker 容器)上运行的项目。

3、总结

Anaconda 是一个功能齐全、开箱即用的解决方案,适合需要快速搭建完整数据科学环境的用户。
Miniconda 则是一个轻量级的、更加灵活的解决方案,适合那些只需要安装和使用特定 Python 库的用户。

二、下载miniconda(清华镜像链接)

  1. 清华大学开源软件镜像站:https://mirrors.tuna.tsinghua.edu.cn/
  2. miniconda 清华镜像下载链接:https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/

点击第二个直接下载就行

在这里插入图片描述

三、安装miniconda

1、安装

  1. 将上面下载的安装包放入此目录中

    mkdir ~/miniconda
    cd ~/miniconda/
    
  2. 执行安装命令

    bash Miniconda3-latest-Linux-x86_64.sh
    
  3. 随后一直按住回车,读完须知,然后会出现如下,填入yes即可

    Please answer 'yes' or 'no':'
    >>> yes
    
  4. 这里提示选择安装路径,我就选当前目录,直接ENTER即可

    Miniconda3 will now be installed into this location:
    /root/miniconda3
    
      - Press ENTER to confirm the location
      - Press CTRL-C to abort the installation
      - Or specify a different location below
    
    [/root/miniconda3] >>>
    
  5. conda 的初始化,输入yes 回车即可。

    Preparing transaction: done
    Executing transaction: done
    installation finished.
    Do you wish to update your shell profile to automatically initialize conda?
    This will activate conda on startup and change the command prompt when activated.
    If you'd prefer that conda's base environment not be activated on startup,
       run the following command when conda is activated:
    
    conda config --set auto_activate_base false
    
    You can undo this by running `conda init --reverse $SHELL`? [yes|no]
    [no] >>> yes
    
  6. 到此安装完毕
    安装完后,他会在 ~ 目录下自动创建一个 miniconda3 目录,都安装在这个目录中。
    在这里插入图片描述

2、或许要手动加载 ~/.bashrc

我安装完后执行 conda info --envs 命令提示如下
在这里插入图片描述
然后去 ~/.bashrc 文件下看看是否配置了conda的环境变量
在这里插入图片描述
但是 基础默认的 base 环境没有启动,于是,手动执行一下,输入如下命令

source ~/.bashrc

结果如下,base环境生效,conda命令也生效。
在这里插入图片描述

四、配置 命令

1、查看anaconda安装博文

2、取消默认进入conda(base)环境

一般不需要这个。

conda config --set auto_activate_base false

3、配置 conda 国内镜像

conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/main/
conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/free/
conda config --set show_channel_urls yes

五、创建 Python3.8 环境

1、创建指令

conda create --name py38 python=3.8

2、激活 py38 环境

conda activate py38

3、退出环境

conda deactivate

六、conda常用命令

查看python版本

python -V

1、python环境管理

  1. 创建环境:

    conda create --name myenv
    
  2. 创建具有特定 Python 版本的环境:

    conda create --name myenv python=3.8
    
  3. 激活环境:

    conda activate myenv
    
  4. 查看conda信息:

    conda info
    
  5. 查看conda 的所有环境:

    conda info --envs
    
  6. 列出所有环境:

    conda env list
    
  7. 安装额外的包到环境中:

    conda install -n myenv package_name
    
  8. 导出环境配置:

    conda env export --name myenv > environment.yml
    
  9. 删除一个环境:

    conda remove -n env_name --all
    

2、包管理:

  1. 安装包:

    conda install package_name
    
  2. 卸载包:

    conda remove package_name
    
  3. 更新包:

    conda update package_name
    
  4. 列出已安装的包:

    conda list
    
  5. 搜索可用的包:

    conda search package_name
    

3、Conda 环境的导入与导出:

  1. 导出环境:

    conda env export --name myenv > environment.yml
    
  2. 导入环境:

    conda env create -f environment.yml
    

4、其他常用命令:

  1. 更新 Conda:

    conda update conda
    
  2. 查看 Conda 版本:

    conda --version
    
  3. 帮助命令:

    conda --help
    
  4. 查看配置信息:

    conda config --show
    

5、镜像源常用命令

  1. 查看当前的 Conda 配置,确认哪些镜像源被配置了:

    conda config --show channels
    
  2. 查看配置文件的位置:

    conda config --show-sources
    
  3. 移除无效的镜像源
    如果发现 https://mirrors.aliyun.com/anaconda/pkgs/main 是无效的,可以将其移除。使用以下命令移除无效的镜像源:

    conda config --remove channels https://mirrors.aliyun.com/anaconda/pkgs/main
    
  4. 添加有效的镜像源
    根据你的需求,添加有效的镜像源。你可以使用官方的默认源或其他有效的镜像源。比如,添加 Tsinghua 镜像源:
    添加的镜像源的配置文件~/.condarc

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
    conda config --set show_channel_urls yes    #
    

    conda config --set show_channel_urls yes 这个命令的作用是设置 Conda 配置,使得在执行 Conda 命令时显示每个软件包的来源渠道 URL。这有助于你查看软件包是从哪个源获取的,便于调试和确认镜像源的配置是否正确。

  5. 更新 Conda
    确保 Conda 是最新版本,以避免已知的问题:

    conda update conda
    
  6. 清除缓存
    有时清除 Conda 的缓存可以解决问题:

    conda clean --all
    
  7. 手动修复配置文件
    如果上述方法都不奏效,你可以直接编辑 Conda 配置文件,手动修复或删除无效的镜像源。配置文件通常位于 ~/.condarc 文件中,你可以用文本编辑器打开它并调整配置。

七、默认设置

1、关闭自启动base环境

conda创建后,一般会有一个默认的python环境名为base,一般会自启动。但是有时候不希望自启动每次都要换环境。
关闭自启动base环境 命令如下:

conda config --set auto_activate_base false
相关文章
|
25天前
|
存储 数据库连接 API
Python环境变量在开发和运行Python应用程序时起着重要的作用
Python环境变量在开发和运行Python应用程序时起着重要的作用
66 15
|
19天前
|
IDE 开发工具 索引
在Python中安装第三方库
在Python中安装第三方库
|
25天前
|
Unix Linux Python
在Python中,删除环境变量
在Python中,删除环境变量
64 8
|
16天前
|
存储 JSON 网络安全
使用 EFS 在 AWS Lambda 上安装 Python 依赖项
使用 aws lambda 时,开发人员面临的常见挑战之一是管理大型 python 依赖项。
23 1
|
19天前
|
Ubuntu Linux iOS开发
安装Python
安装 Python 是相对简单的过程,但需要根据不同的操作系统选择合适的方法。同时,合理使用虚拟环境可以更好地管理项目的依赖和环境,提高开发效率。希望这些步骤和注意事项能帮助你顺利安装 Python。
|
2月前
|
算法 PyTorch 算法框架/工具
Pytorch学习笔记(九):Pytorch模型的FLOPs、模型参数量等信息输出(torchstat、thop、ptflops、torchsummary)
本文介绍了如何使用torchstat、thop、ptflops和torchsummary等工具来计算Pytorch模型的FLOPs、模型参数量等信息。
307 2
|
10天前
|
机器学习/深度学习 人工智能 PyTorch
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
本文探讨了Transformer模型中变长输入序列的优化策略,旨在解决深度学习中常见的计算效率问题。文章首先介绍了批处理变长输入的技术挑战,特别是填充方法导致的资源浪费。随后,提出了多种优化技术,包括动态填充、PyTorch NestedTensors、FlashAttention2和XFormers的memory_efficient_attention。这些技术通过减少冗余计算、优化内存管理和改进计算模式,显著提升了模型的性能。实验结果显示,使用FlashAttention2和无填充策略的组合可以将步骤时间减少至323毫秒,相比未优化版本提升了约2.5倍。
29 3
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
|
2月前
|
机器学习/深度学习 自然语言处理 监控
利用 PyTorch Lightning 搭建一个文本分类模型
利用 PyTorch Lightning 搭建一个文本分类模型
63 8
利用 PyTorch Lightning 搭建一个文本分类模型
|
2月前
|
机器学习/深度学习 自然语言处理 数据建模
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
本文深入探讨了Transformer模型中的三种关键注意力机制:自注意力、交叉注意力和因果自注意力,这些机制是GPT-4、Llama等大型语言模型的核心。文章不仅讲解了理论概念,还通过Python和PyTorch从零开始实现这些机制,帮助读者深入理解其内部工作原理。自注意力机制通过整合上下文信息增强了输入嵌入,多头注意力则通过多个并行的注意力头捕捉不同类型的依赖关系。交叉注意力则允许模型在两个不同输入序列间传递信息,适用于机器翻译和图像描述等任务。因果自注意力确保模型在生成文本时仅考虑先前的上下文,适用于解码器风格的模型。通过本文的详细解析和代码实现,读者可以全面掌握这些机制的应用潜力。
102 3
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
|
3月前
|
机器学习/深度学习 PyTorch 调度
在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型
在深度学习中,学习率作为关键超参数对模型收敛速度和性能至关重要。传统方法采用统一学习率,但研究表明为不同层设置差异化学习率能显著提升性能。本文探讨了这一策略的理论基础及PyTorch实现方法,包括模型定义、参数分组、优化器配置及训练流程。通过示例展示了如何为ResNet18设置不同层的学习率,并介绍了渐进式解冻和层适应学习率等高级技巧,帮助研究者更好地优化模型训练。
185 4
在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型