CuPy:将 NumPy 数组调度到 GPU 上运行

简介: CuPy:将 NumPy 数组调度到 GPU 上运行

提到 Python 的科学计算,必然离不开 NumPy 这个库,但 NumPy 在设计之初没有考虑对 GPU 的支持。正如 NumPy 的作者 Travis Oliphant 所说,如果当时给 NumPy 添加了 GPU 的支持,就没有后来的 Tensorflow、Torch 等深度学习框架什么事了。

但世间没有如果,当时的 NumPy 也不具备支持 GPU 的条件,不过时代已经变了,现在有 CuPy 了。

相信你已经知道 CuPy 是干什么的了,它和 NumPy 一样,都是用来创建数组(矩阵),然后对其进行运算的。但 NumPy 是通过 CPU 来计算的,而 CuPy 通过 GPU 来计算,并且是并行计算。最重要的是,CuPy 和 NumPy 提供的函数基本是一致的,毕竟 CuPy 就是为了让 NumPy 支持 GPU 而设计的。

import numpy as np
import cupy as cp

之前使用 np.xxx(),现在只需要将 np 换成 cp 即可,即 cp.xxx()。

然后还需要说明的是,CuPy 虽然在大型、高维数组/矩阵的计算方面非常非常快,但它在计算之前会涉及 GPU 的初始化,这个过程是需要时间的。因此当你决定使用 CuPy 时,要确保数组的维度和尺寸一定要足够大,不然还不如用 NumPy。

然后要避免 CPU 和 GPU 混合编程,因为数据在 CPU 和 GPU 之间传递等操作非常耗时,比如一会儿 CPU 计算,一会儿 GPU 计算,那么此时用 Cupy 反而会降低效率。

好,下面就来安装 CuPy。

首先你要去 https://developer.nvidia.cn/cuda-downloads 下载 CUDA 工具包,我这里下载的是最新版 12.2,操作系统是 Windows。

b0f95b04e8e9d6fa58471f654b3327e6.png

安装包大小是 3 个 G,下载完毕之后直接双击安装即可。但是注意:在安装的时候,要确保你的主机已经配备了 NVIDIA 显卡,无论是新款的 40 系,还是以前的 30 系、20 系等等都是可以的。

安装完之后,你的 C 盘应该会有这个目录:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2

8c39a2d91eec1c9307a3950852a3e79b.png

于我安装的 CUDA 工具包是 12.2 版本,所以路径的最后一个子目录是 v12.2,如果安装的是其它版本,比如 11.0,那么目录就是 v11.0。然后我们将该路径设置成环境变量,变量名称为 CUDA_HOME。

db46e1d38c3ad86dacddc6ce8f972a72.png

到此我们的准备工作就算完成了,然后正式安装 CuPy,而安装有两种方式。第一种是 pip install cupy,该方式安装的 CuPy 不依赖特定的 CUDA 版本,属于通用 CuPy。第二种是安装针对特定 CUDA 版本的 CuPy,我当前采用的是第二种。

eb62194821172481316e3e1d45aa7c30.png

我安装的 CUDA 版本是 12.2,所以安装命令是 pip install cupy-cuda12x。然后测试一下能不能用:

17a292a530320be805ff9415fb89638c.png

程序正常执行,说明 CuPy 安装成功,而且我们看到两者之间的计算速度真的是天壤之别,使用 GPU 快的太多了。

然后怎么学习 CuPy 呢?其实很简单,学习 NumPy,如果你会 NumPy,那么 CuPy 自然就会了。

import numpy as np
import cupy as cp
print(np.array([]).__class__)
print(cp.array([]).__class__)
"""
<class 'numpy.ndarray'>
<class 'cupy.ndarray'>
"""
np_arr = np.arange(1, 10)
cp_arr = cp.arange(1, 10)
print(np_arr)  # [1 2 3 4 5 6 7 8 9]
print(cp_arr)  # [1 2 3 4 5 6 7 8 9]

两者的类型都是 ndarray,所拥有的方法、一致模块提供的功能函数也是一致的。

如果你觉得 NumPy 的速度不够,那么就试试 CuPy 吧。

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
6天前
|
存储 Java 数据处理
(numpy)Python做数据处理必备框架!(一):认识numpy;从概念层面开始学习ndarray数组:形状、数组转置、数值范围、矩阵...
Numpy是什么? numpy是Python中科学计算的基础包。 它是一个Python库,提供多维数组对象、各种派生对象(例如掩码数组和矩阵)以及用于对数组进行快速操作的各种方法,包括数学、逻辑、形状操作、排序、选择、I/0 、离散傅里叶变换、基本线性代数、基本统计运算、随机模拟等等。 Numpy能做什么? numpy的部分功能如下: ndarray,一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组 用于对整组数据进行快速运算的标准数学函数(无需编写循环)。 用于读写磁盘数据的工具以及用于操作内存映射文件的工具。 线性代数、随机数生成以及傅里叶变换功能。 用于集成由C、C++
99 1
|
8月前
|
人工智能 Linux iOS开发
exo:22.1K Star!一个能让任何人利用日常设备构建AI集群的强大工具,组成一个虚拟GPU在多台设备上并行运行模型
exo 是一款由 exo labs 维护的开源项目,能够让你利用家中的日常设备(如 iPhone、iPad、Android、Mac 和 Linux)构建强大的 AI 集群,支持多种大模型和分布式推理。
1831 100
|
6月前
|
人工智能 自然语言处理 API
8.6K star!完全免费+本地运行+无需GPU,这款AI搜索聚合神器绝了!
FreeAskInternet是一款革命性的开源项目,它完美结合了多引擎搜索和智能语言模型,让你在不联网、不花钱、不暴露隐私的情况下,获得媲美ChatGPT的智能问答体验。这个项目最近在GitHub上狂揽8600+星,被开发者称为"本地版Perplexity"。
229 2
|
7月前
|
人工智能 自然语言处理 API
Proxy Lite:仅3B参数的开源视觉模型!快速实现网页自动化,支持在消费级GPU上运行
Proxy Lite 是一款开源的轻量级视觉语言模型,支持自动化网页任务,能够像人类一样操作浏览器,完成网页交互、数据抓取、表单填写等重复性工作,显著降低自动化成本。
503 11
Proxy Lite:仅3B参数的开源视觉模型!快速实现网页自动化,支持在消费级GPU上运行
|
10月前
|
计算机视觉 Python
PIL图像转换为Numpy数组:技术与案例详解
本文介绍了如何将PIL图像转换为Numpy数组,以便利用Numpy进行数学运算和向量化操作。首先简要介绍了PIL和Numpy的基本功能,然后详细说明了转换过程,包括导入库、打开图像文件、使用`np.array()`或`np.asarray()`函数进行转换,并通过打印数组形状验证转换结果。最后,通过裁剪、旋转和缩放等案例展示了转换后的应用,以及如何将Numpy数组转换回PIL图像。此外,还介绍了处理base64编码图像的完整流程。
336 4
|
机器学习/深度学习 并行计算 大数据
【Python篇】NumPy完整指南(上篇):掌握数组、矩阵与高效计算的核心技巧2
【Python篇】NumPy完整指南(上篇):掌握数组、矩阵与高效计算的核心技巧
343 10
|
12月前
|
Python
Numpy学习笔记(四):如何将数组升维、降维和去重
本文介绍了如何使用NumPy库对数组进行升维、降维和去重操作。
210 1
|
Python
使用 NumPy 进行数组操作的示例
使用 NumPy 进行数组操作的示例
185 2
|
12月前
|
Python
Numpy学习笔记(五):np.concatenate函数和np.append函数用于数组拼接
NumPy库中的`np.concatenate`和`np.append`函数,它们分别用于沿指定轴拼接多个数组以及在指定轴上追加数组元素。
543 0
Numpy学习笔记(五):np.concatenate函数和np.append函数用于数组拼接
|
索引 Python
【Python篇】NumPy完整指南(上篇):掌握数组、矩阵与高效计算的核心技巧1
【Python篇】NumPy完整指南(上篇):掌握数组、矩阵与高效计算的核心技巧
374 4

热门文章

最新文章