Linux和Windows系统下安装深度学习框架所需支持:Anaconda、Paddlepaddle、Paddlenlp、pytorch,含GPU、CPU版本详细安装过程

简介: Linux和Windows系统下安装深度学习框架所需支持:Anaconda、Paddlepaddle、Paddlenlp、pytorch,含GPU、CPU版本详细安装过程

Linux和Windows系统下安装深度学习框架所需支持:Anaconda、Paddlepaddle、Paddlenlp、pytorch,含GPU、CPU版本详细安装过程

1.下载 Anaconda 的安装包

Anaconda安装:Anaconda是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。使用Anaconda可以通过创建多个独立的Python环境,避免用户的Python环境安装太多不同版本依赖导致冲突。

1.1 Linux下载Anaconda

首先需要在官网上选择需要安装的版本。

官网地址:https://repo.anaconda.com/archive/ 如选择当前最新版本进行安装:

https://repo.anaconda.com/archive/Anaconda3-2023.07-0-Linux-x86_64.sh

然后下载该安装包。

下载命令
wget  https://repo.anaconda.com/archive/Anaconda3-2023.07-0-Linux-x86_64.sh
  1. 进入安装包所在目录,先对安装包进行赋权,再执行安装程序
#查看路径
pwd
赋权命令:
chmod +x Anaconda3-2023.07-0-Linux-x86_64.sh
安装命令:
sh Anaconda3-2023.07-0-Linux-x86_64.sh
  1. 出现如下画面:

  1. 点击 Enter(回车键),出现 More,继续按 Enter,最后输入 yes 同意用户许可证就行。

  1. 直至出现以下画面,就安装成功了!

1.2 Windows下载Anaconda

参考文章:https://blog.csdn.net/sinat_39620217/article/details/115861876

  1. 第一步 下载
  • 在 Anaconda官网 选择下载Windows Python3.8 64-Bit版本。

  • 确保已经安装Visual C++ Build Tools(可以在开始菜单中找到),如未安装,请点击 下载安装。

  1. 第二步 安装

运行下载的安装包(以.exe为后辍),根据引导完成安装, 用户可自行修改安装目录(如下图)

  1. 第三步 使用

点击Windows系统左下角的Windows图标,打开:所有程序->Anaconda3/2(64-bit)->Anaconda Prompt在命令行中执行指令即可

后续框架库包安装同linux

2.环境变量配置

2.1 linux环境变量配置

Linux上成功安装anaconda后-bash: conda: command not found

如题,出现这个问题可能是环境变量配置有问题。

省流请看这里:执行cat ~/.bashrc命令查看.bashrc文件内容,若文件中没有export PATH="XXX/anaconda3/bin:$PATH"说明是环境变量未配置,可以继续往下看了;若文件中有此路径,请退出本文,自行校对一下路径。

  1. 打开.bashrc文件
vim ~/.bashrc
  1. 在最后一行新增 anaconda 路径
export PATH="XXX/anaconda3/bin:$PATH"
  1. 保存文件(按esc后输入:wq回车)并使环境变量生效[打开文件后按i进入编辑模式,按Esc退出编辑模式,shift+冒号然后输入wq 保存文件并退出]

    注意:这里是anaconda的安装路径,根据自己的安装路径即可

source ~/.bashrc

执行以上三步后,便可在linux上使用conda命令了!

2.2 Windows 环境变量配置

其实,以上的环境变量配置,相当于在window环境下的环境变量加上环境变量。如在window环境下安装anaconda,安装过程中会提示是否将环境变量加入到path中,如果选上该选项,便可省去很多麻烦,安装完后直接在终端使用conda命令;

如果没有选上,是无法直接使用conda命令的,需要在系统的环境变量中加上安装路径才可以使用conda命令。自动添加的安装路径的步骤:此电脑–>属性–>高级系统设置–>环境变量–>系统变量–>Path添加anaconda的安装路径。

3.用 conda 创建虚拟环境

#1.创建指定python版本的环境
conda create --name paddlenlp python=3.8
#2. 激活环境
conda activate paddlenlp
#3.退出环境
conda deactivate

4.安装项目依赖包&深度学习框架

4.1安装项目依赖包

安装项目requirement.txt文件依赖:
pip install -r requirement.txt
生成requirement.txt文件:
pip freeze > requirements.txt

4.2 安装Paddle&Paddlenlp

4.2.1 安装paddle

官网:https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/install/pip/linux-pip.html

windows安装使用win下指令即可

  • conda安装
conda install paddlepaddle-gpu==2.4.2 cudatoolkit=11.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge
  • pip安装
pip install paddlepaddle-gpu==2.4.2.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html
  • 验证安装

安装完成后您可以使用 python3 进入 python 解释器,输入import paddle ,再输入 paddle.utils.run_check()

import paddle
paddle.utils.run_check()

如果出现PaddlePaddle is installed successfully!,说明您已成功安装。

  • 报错:ImportError: libcudart.so.11.0: cannot open shared object file: No such file or directory

解决办法:

  • 简约版(省流)
    在激活后执行export LD_LIBRARY_PATH="$CONDA_PREFIX/lib"将包括libcudart.so.11.0如果你想让它自动化,将此内容添加到env-prefix/etc/conda/activate.d/env_vars.sh,这将在conda activate上运行脚本并设置LD_LIBRARY_PATH
cd $CONDA_PREFIX
mkdir -p ./etc/conda/activate.d
touch ./etc/conda/activate.d/env_vars.sh

#写入 并保存
vim ./etc/conda/activate.d/env_vars.sh
export LD_LIBRARY_PATH="$CONDA_PREFIX/lib"
  • 详细版

    1. activate你的虚拟环境,查看虚拟环境路径

      echo $CONDA_PREFIX
      
    2. 去这个路径下建立这些文件夹和文件。在activate的时候,会自动运行activate.d/env_vars.sh,deactivate的时候,会自动运行deactivate.d/env_vars.sh。你可以设置任何你想设置的变量,这里我们更改LD_LIBRARY_PATH

      cd $CONDA_PREFIX
      mkdir -p ./etc/conda/activate.d
      mkdir -p ./etc/conda/deactivate.d
      touch ./etc/conda/activate.d/env_vars.sh
      touch ./etc/conda/deactivate.d/env_vars.sh
      
    3. 编辑activate.d/env_vars.sh,注意换成你的名字,注意=前后不能有空格哦

      export OLD_LD_LIBRARY_PATH=${LD_LIBRARY_PATH}
      export LD_LIBRARY_PATH=anaconda3/envs/your_name/lib64
      

      编辑deactivate.d/env_vars.sh,这样deactivate的时候,会恢复设置

      export LD_LIBRARY_PATH=${OLD_LD_LIBRARY_PATH}
      unset OLD_LD_LIBRARY_PATH
      
4. deactivate虚拟环境,再次activate你的虚拟环境,再查看

```
echo $CONDA_PREFIX

```
可以看到已经变成了anaconda3/envs/your_name/lib64。如果这个路径下的gcc已经含有了GLIBCXX_3.4.20,那么就不再会报错了。

4.2.2 安装paddlenlp

  • 环境依赖

    • python >= 3.7
    • paddlepaddle >= 2.3
  • pip安装

#创建名为my_paddlenlp的环境,指定Python版本为3.8
conda create -n my_paddlenlp python=3.8
#进入my_paddlenlp环境
conda activate my_paddlenlp

#安装PaddleNLP

pip install --upgrade paddlenlp>=2.0.0rc -i https://pypi.org/simple

pip install --upgrade paddlenlp>=2.0.0rc -i https://pypi.tuna.tsinghua.edu.cn/simple

github代码会跟随开发进度不断更新:或者可通过以下命令安装最新 develop 分支代码:

pip install --pre --upgrade paddlenlp -f https://www.paddlepaddle.org.cn/whl/paddlenlp.html

按如上方式配置后,即可在环境中使用PaddleNLP了,命令行输入python回车后,import paddlenlp试试吧,之后再次使用都可以通过打开'所有程序->Anaconda3/2(64-bit)->Anaconda Prompt',再执行conda activate my_paddlenlp进入环境后,即可再次使用PaddleNLP。

  • 相关pip问题默认镜像问题(trusted-host问题),安装设定清华源即可

进入虚拟环境,查看pip安装路径

whereis pip


pip: /usr/bin/pip3.8 /etc/pip.conf /root/anaconda3/envs/paddlenlp/bin/pip
#查看pip.conf,修改成清华源,:wq 保存即可
vim /etc/pip.conf
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple/
[install]
trusted-host=pypi.tuna.tsinghua.edu.cn
  • 代码安装
git clone https://github.com/PaddlePaddle/PaddleNLP.git
cd PaddleNLP
git checkout develop

如果遇到:github 报错 Failed to connect to github.com port 443:connection timed out、一般原因:电脑里开启了代理,例如开启了翻墙软件等,就会造成这个原因

取消全局代理:
git config --global --unset http.proxy

git config --global --unset https.proxy

4.3 安装pytorch

4.3.1 GPU版本安装

安装 pytorch 需要注意 torch 与 torchvision 的版本对应,参照以下网址对照:

https://github.com/pytorch/vision

windows安装使用win下指令即可

从官网上找到适合自己版本的安装pytorch的指令 https://pytorch.org/get-started/locally/

  1. 创建虚拟环境,参考3.用 conda 创建虚拟环境

  2. 安装pytorch

conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

4.3.2 CPU版本安装

参考:https://blog.csdn.net/sinat_39620217/article/details/115483807

pip install torch torchvision torchaudio

更多优质内容请关注公号&知乎:汀丶人工智能;会提供一些相关的资源和优质文章,免费获取阅读。

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
Ubuntu Linux Anolis
Linux系统禁用swap
本文介绍了在新版本Linux系统(如Ubuntu 20.04+、CentOS Stream、openEuler等)中禁用swap的两种方法。传统通过注释/etc/fstab中swap行的方式已失效,现需使用systemd管理swap.target服务或在/etc/fstab中添加noauto参数实现禁用。方法1通过屏蔽swap.target适用于新版系统,方法2通过修改fstab挂载选项更通用,兼容所有系统。
1246 3
Linux系统禁用swap
|
Linux
Linux系统修改网卡名为eth0、eth1
在Linux系统中,可通过修改GRUB配置和创建Udev规则或使用systemd链接文件,将网卡名改为`eth0`、`eth1`等传统命名方式,适用于多种发行版并支持多网卡配置。
1832 3
|
Ubuntu Linux 网络安全
Linux系统初始化脚本
一款支持Rocky、CentOS、Ubuntu、Debian、openEuler等主流Linux发行版的系统初始化Shell脚本,涵盖网络配置、主机名设置、镜像源更换、安全加固等多项功能,适配单/双网卡环境,支持UEFI引导,提供多版本下载与持续更新。
1302 3
Linux系统初始化脚本
|
安全 Linux Shell
Linux系统提权方式全面总结:从基础到高级攻防技术
本文全面总结Linux系统提权技术,涵盖权限体系、配置错误、漏洞利用、密码攻击等方法,帮助安全研究人员掌握攻防技术,提升系统防护能力。
1396 1
|
人工智能 算法 调度
阿里云ACK托管集群Pro版共享GPU调度操作指南
本文介绍在阿里云ACK托管集群Pro版中,如何通过共享GPU调度实现显存与算力的精细化分配,涵盖前提条件、使用限制、节点池配置及任务部署全流程,提升GPU资源利用率,适用于AI训练与推理场景。
1064 1
|
存储 机器学习/深度学习 数据库
阿里云服务器X86/ARM/GPU/裸金属/超算五大架构技术特点、场景适配参考
在云计算技术飞速发展的当下,云计算已经渗透到各个行业,成为企业数字化转型的关键驱动力。选择合适的云服务器架构对于提升业务效率、降低成本至关重要。阿里云提供了多样化的云服务器架构选择,包括X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器以及高性能计算等。本文将深入解析这些架构的特点、优势及适用场景,以供大家了解和选择参考。
1856 61
|
人工智能 城市大脑 运维
喜讯!阿里云国产异构GPU云平台技术荣获“2025算力中国·年度重大成果”
2025年8月23日,在工业和信息化部新闻宣传中心、中国信息通信研究院主办的2025中国算力大会上,阿里云与浙江大学联合研发的“国产异构GPU云平台关键技术与系统”荣获「算力中国·年度重大成果」。该评选旨在选拔出算力产业具有全局性突破价值的重大成果,是业内公认的技术创新“风向标”。
1181 0
|
存储 机器学习/深度学习 人工智能
2025年阿里云GPU服务器租用价格、选型策略与应用场景详解
随着AI与高性能计算需求的增长,阿里云提供了多种GPU实例,如NVIDIA V100、A10、T4等,适配不同场景。2025年重点实例中,V100实例GN6v单月3830元起,适合大规模训练;A10实例GN7i单月3213.99元起,适用于混合负载。计费模式有按量付费和包年包月,后者成本更低。针对AI训练、图形渲染及轻量级推理等场景,推荐不同配置以优化成本和性能。阿里云还提供抢占式实例、ESSD云盘等资源优化策略,支持eRDMA网络加速和倚天ARM架构,助力企业在2025年实现智能计算的效率与成本最优平衡。 (该简介为原文内容的高度概括,符合要求的字符限制。)
|
存储 机器学习/深度学习 算法
阿里云X86/ARM/GPU/裸金属/超算等五大服务器架构技术特点、场景适配与选型策略
在我们选购阿里云服务器的时候,云服务器架构有X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器、高性能计算可选,有的用户并不清楚他们之间有何区别。本文将深入解析这些架构的特点、优势及适用场景,帮助用户更好地根据实际需求做出选择。

热门文章

最新文章