CUDA和显卡驱动以及pytorch版本的对应关系

简介: CUDA和显卡驱动以及pytorch版本的对应关系

1 支持CUDA 的GPU

 支持 CUDA 的 NVIDIA Quadro 和 NVIDIA RTX

CUDA GPU | NVIDIA Developer

您的 GPU 计算能力 您是否正在寻找 GPU 的计算能力然后查看以下表格。您可以在这里了解更多 计算能力 。 NVIDIA GPU 为全球数百万台台式机笔记本电脑工作站和超级计算机提供动力加速了消费者专业人士科学家和研究人员的计算密集型任务 开始使用 CUDA 和 GPU 计算并免费加入NVIDIA 开发者计划。

https://developer.nvidia.com/zh-cn/cuda-gpus#compute

9a370426d72546c69e54e8e5d49be7eb.png

2 怎么知道nvidia显卡该用什么CUDA版本呢?

在官网查询nvidia 显卡驱动,链接如下:

Official Drivers | NVIDIA

Download latest drivers for NVIDIA products including GeForce, TITAN, NVIDIA RTX, Data Center, GRID and more.

https://www.nvidia.com/download/index.aspx?lang=en-us

60e21edbfdf141b49321c196011386bb.png

 结果如下,下载对应版本的显卡驱动即可。

2829f581543b4a4f8f83c9d8645f9819.png

CUDA和GPU之间的版本对应关系

CUDA和GPU之间的版本对应关系 - 知乎

以前用cuda10开发的程序在新电脑上运行时会崩溃,检查后发现是cuda10只支持到RTX 2080,而新电脑显卡是RTX 3080 Ti,故而造成崩溃。解决方案:升级cuda到最新版。 下面列出CUDA支持的显卡型号: CUDA SDK 1.0 支持…

https://zhuanlan.zhihu.com/p/544337083

CUDA Toolkit Archive | NVIDIA Developer

Previous releases of the CUDA Toolkit, GPU Computing SDK, documentation and developer drivers can be found using the links below. Please select the release you want from the list below, and be sure to check www.nvidia.com/drivers for more recent production drivers appropriate for your hardware configuration.

https://developer.nvidia.com/cuda-toolkit-archive

3 GPU与CUDA的关系

GPU(Graphics Processing Unit)和CUDA(Compute Unified Device Architecture)

GPU是一种专门设计用于处理图形和并行计算任务的硬件设备。它由许多小型处理单元(称为流处理器或CUDA核心)组成,能够同时执行多个并行计算任务。GPU的并行计算能力使其在科学计算、机器学习、深度学习等领域中得到广泛应用。

CUDA是一种由NVIDIA开发的并行计算平台和编程模型。它允许开发人员利用GPU的并行计算能力,通过使用CUDA编程语言(基于C/C++)来编写并行计算任务。CUDA提供了一组库和工具,使开发人员能够有效地利用GPU的计算资源。

CUDA将计算任务划分为许多线程,并在GPU上同时执行这些线程。每个线程都由CUDA核心执行,并且可以通过使用CUDA编程模型中的特定功能来协调和同步线程之间的操作。

因此,GPU是执行计算任务的硬件设备,而CUDA是一种编程模型和平台,允许开发人员利用GPU的并行计算能力进行高性能计算。通过CUDA,开发人员可以编写并行计算任务,并在支持CUDA的GPU上运行这些任务,从而实现加速计算和提高计算性能的目标。

+------------------+
       |     CPU          |
       +------------------+
                |
                v
       +------------------+
       |     GPU          |
       +------------------+
                |
                v
+----------------------------------+
|          CUDA Runtime           |
|        (cudart library)         |
+----------------------------------+
                |
                v
+----------------------------------+
|    CUDA Compiler Toolchain      |
|       (nvcc, CUDA libraries)     |
+----------------------------------+

Nvidia显卡驱动与Cuda并不是一对一对应的关系,Nvidia显卡驱动只要满足Cuda版本的最低要求即可。

4. 显卡驱动版本和CUDA版本的对应

1在命令行中输入【nvidia-smi】可以查看当前显卡驱动版本和cuda版本。

一般来说都是为了安装CUDA才会来确定驱动版本。这里也会出现CUDA Version:11.4 这里指的是,电脑可以安装最高版本是11.4,我们可以安装低版本的CUDA的。

nvidia-smi

f5eb47716e1445438b2aa06ff2bf1126.png

具体版本与驱动版本对应关系如下:

CUDA 12.1 Update 1 Release Notes

The Release Notes for the CUDA Toolkit.

https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

842511f73ee242928d254fdb670c957f.png

784822e2a980420aad562dec0388d7c7.png

89fce60856f7490f99d681ecd86c9ef8.png

5 CUDA版本的升级和兼容

先查看确定硬件GPU相关是否被CUDA新版本兼容。

https://docs.nvidia.com/deploy/cuda-compatibility/index.html

https://docs.nvidia.com/deploy/cuda-compatibility/index.html

NVIDIA® CUDA® Toolkit是一款用于构建在桌面计算机、企业和数据中心到超大规模计算环境中使用NVIDIA GPU加速的计算应用程序的开发工具。

它包括CUDA编译器工具链,包括CUDA runtime(cudart)和各种CUDA库和工具。为了构建一个应用程序,开发人员只需安装CUDA Toolkit和必要的链接所需库。

为了运行CUDA应用程序,系统必须具备CUDA兼容的GPU以及与用于构建应用程序的CUDA Toolkit兼容的NVIDIA显示驱动程序。如果应用程序依赖于库的动态链接,那么系统还必须具备正确版本的这些库。CUDA组件如下:

169bfd07725645c6af5a420e72aa7b01.png

每个CUDA Toolkit都附带了一个NVIDIA显示驱动程序包,以方便使用。该驱动程序支持该版本CUDA Toolkit中引入的所有功能。需在官网查看工具包和驱动程序版本的映射关系。驱动程序包包括用户模式CUDA驱动程序(libcuda.so)和运行应用程序所需的内核模式组件。

通常升级CUDA Toolkit需要同时升级工具包和驱动程序,以获取最新的工具包和驱动程序功能。

CUDA升级路径如下:

d67a5038c5604588b5cf103042801f0f.png

6 CUDA对应的显卡驱动最低版本要求(同上第4)

9486c698ce354777bc77dccd6e655f8f.png

c56a678872724e71b08730301bf66982.png

更多版本参考: CUDA 12.1 Update 1 Release Notes

常说的cuda版本是什么

我们常说的cuda指的是 nvidia cuda toolkit 软件开发包,而不是不是GPU驱动…

相应的,cuda版本也即CUDA工具包的版本,而不是显卡驱动版本,请注意~~

运行cuda应用程序需要有两个前提:

①硬件:支持cuda的显卡, 很显然

②软件:与cuda toolkit兼容的显卡驱动程序

cuda每个版本都对应一个最低版本的显卡驱动程序

也就是说,cuda程序是向后兼容的,针对特定版本的 CUDA 编译的应用程序将继续在后续(以后)驱动程序版本上工作。

7  cuda与pytorch版本对应关系:

官网查询:

Previous PyTorch Versions | PyTorch

An open source machine learning framework that accelerates the path from research prototyping to production deployment.

https://pytorch.org/get-started/previous-versions/

c003dcdffa1449f2b0d45c12ddf720a3.png


相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
目录
相关文章
|
5月前
|
缓存 并行计算 PyTorch
PyTorch CUDA内存管理优化:深度理解GPU资源分配与缓存机制
本文深入探讨了PyTorch中GPU内存管理的核心机制,特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因,并通过实际案例(如Llama 1B模型训练)展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术,显著提升了内存使用效率,减少了系统调用开销。此外,文章还介绍了高级优化方法,包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。
998 0
|
5月前
|
机器学习/深度学习 并行计算 PyTorch
英伟达新一代GPU架构(50系列显卡)PyTorch兼容性解决方案
本文记录了在RTX 5070 Ti上运行PyTorch时遇到的CUDA兼容性问题,分析其根源为预编译二进制文件不支持sm_120架构,并提出解决方案:使用PyTorch Nightly版本、更新CUDA工具包至12.8。通过清理环境并安装支持新架构的组件,成功解决兼容性问题。文章总结了深度学习环境中硬件与框架兼容性的关键策略,强调Nightly构建版本和环境一致性的重要性,为开发者提供参考。
2714 64
英伟达新一代GPU架构(50系列显卡)PyTorch兼容性解决方案
|
11月前
|
PyTorch Linux 算法框架/工具
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
这篇文章是关于如何使用Anaconda进行Python环境管理,包括下载、安装、配置环境变量、创建多版本Python环境、安装PyTorch以及使用Jupyter Notebook的详细指南。
1355 1
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
|
11月前
|
并行计算 PyTorch TensorFlow
Ubuntu安装笔记(一):安装显卡驱动、cuda/cudnn、Anaconda、Pytorch、Tensorflow、Opencv、Visdom、FFMPEG、卸载一些不必要的预装软件
这篇文章是关于如何在Ubuntu操作系统上安装显卡驱动、CUDA、CUDNN、Anaconda、PyTorch、TensorFlow、OpenCV、FFMPEG以及卸载不必要的预装软件的详细指南。
10953 4
|
6月前
|
机器学习/深度学习 并行计算 PyTorch
Windows下CUDA+pytorch安装
以下是关于在Windows下安装CUDA和PyTorch的简要介绍及参考链接:
348 0
Windows下CUDA+pytorch安装
|
11月前
|
机器学习/深度学习 缓存 PyTorch
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)
这篇文章是关于如何下载、安装和配置Miniconda,以及如何使用Miniconda创建和管理Python环境的详细指南。
3705 0
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)
|
11月前
|
并行计算 Ubuntu 算法
Ubuntu18 服务器 更新升级CUDA版本 pyenv nvidia ubuntu1804 原11.2升级到PyTorch要求12.1 全过程详细记录 apt update
Ubuntu18 服务器 更新升级CUDA版本 pyenv nvidia ubuntu1804 原11.2升级到PyTorch要求12.1 全过程详细记录 apt update
358 0
|
9天前
|
机器学习/深度学习 数据采集 人工智能
PyTorch学习实战:AI从数学基础到模型优化全流程精解
本文系统讲解人工智能、机器学习与深度学习的层级关系,涵盖PyTorch环境配置、张量操作、数据预处理、神经网络基础及模型训练全流程,结合数学原理与代码实践,深入浅出地介绍激活函数、反向传播等核心概念,助力快速入门深度学习。
54 1
|
4月前
|
机器学习/深度学习 PyTorch API
PyTorch量化感知训练技术:模型压缩与高精度边缘部署实践
本文深入探讨神经网络模型量化技术,重点讲解训练后量化(PTQ)与量化感知训练(QAT)两种主流方法。PTQ通过校准数据集确定量化参数,快速实现模型压缩,但精度损失较大;QAT在训练中引入伪量化操作,使模型适应低精度环境,显著提升量化后性能。文章结合PyTorch实现细节,介绍Eager模式、FX图模式及PyTorch 2导出量化等工具,并分享大语言模型Int4/Int8混合精度实践。最后总结量化最佳策略,包括逐通道量化、混合精度设置及目标硬件适配,助力高效部署深度学习模型。
645 21
PyTorch量化感知训练技术:模型压缩与高精度边缘部署实践
|
9天前
|
机器学习/深度学习 存储 PyTorch
Neural ODE原理与PyTorch实现:深度学习模型的自适应深度调节
Neural ODE将神经网络与微分方程结合,用连续思维建模数据演化,突破传统离散层的限制,实现自适应深度与高效连续学习。
45 3
Neural ODE原理与PyTorch实现:深度学习模型的自适应深度调节

热门文章

最新文章

推荐镜像

更多