PyTorch学习系列教程：何为Tensor？-阿里云开发者社区

作为Tensor的入门介绍篇，本文主要探讨三大"哲学"问题：何为Tensor？Tensor如何创建？Tensor有哪些特性？

01 何为Tensor

什么是Tensor？Tensor英文原义是张量，在PyTorch官网中对其有如下介绍：

也就说，一个Tensor是一个包含单一数据类型的高维矩阵，简言之Tensor其实和Numpy里的array是一样的。那么，高维矩阵，几维算高维呢（类似于深度学习，多深的网络才算是深度的？）？一般而言，描述Tensor的高维特性通常用三维及以上的矩阵来描述，例如下图所示：单个元素叫标量（scalar），一个序列叫向量（vector），多个序列组成的平面叫矩阵（matrix），多个平面组成的立方体叫张量（tensor）。当然，就像矩阵有一维矩阵和二维矩阵乃至多维矩阵一样，张量也无需严格限制在三维以上才叫张量，在深度学习的范畴内，标量、向量和矩阵都统称为张量。

熟悉机器学习的都知道，有监督机器学习模型的标准输入通常是多个特征列组成的输入矩阵和单个特征列组成的标签向量（多输出时，标签也可以是二维矩阵），用sklearn的约定规范就是训练数据集为（X， y），其中大写X表示特征是一个二维的矩阵，小写y表示标签是一个一维的向量。那么，在深度学习领域中，为何要约定高维数组——Tensor呢？

其实这是出于应用方向的实际需要，以深度学习当前最成熟的两大应用方向莫过于CV和NLP两大领域，前者面向图像和视频，后者面向语音和文本，二者分别以卷积神经网络和循环水神经网络为核心基础模块。而在这两个应用方向中，标准的输入数据集都至少是三维以上，例如：

图像数据集至少包含三个维度：N×H×W，即样本数×图像高×图像宽；如果是彩色图像，那么还要增加一个通道C，变为N×C×H×W；如果是视频图像，那么可能还要再增加一个维度T；

文本数据集典型的输入包含三个维度：N×L×H，即样本数×序列长度×特征数；

源于这些应用的需要，所以深度学习模型的输入数据结构一般都要3维以上，这也就直接促使了Tensor的出现。更进一步的，Tensor也不是PyTorch特有的定义，而是众多深度学习框架广泛使用的数据结构，例如TensorFlow更是形象的将Tensor加入了框架的命名之中。

小结一下：

PyTorch中的Tensor是深度学习中广泛使用的数据结构，本质上就是一个高维的矩阵，甚至将其理解为NumPy中array的推广和升级也不为过。但由于其支持的一些特殊特性（详见后文第3小节），Tensor在用于支撑深度学习模型和训练时更为便利。

02 如何创建Tensor

前面介绍了何为Tensor，那么接下来就需要了解如何创建Tensor。一般而言，创建一个Tensor大体有三种方式：

从已有其他数据结构转化创建为Tensor
随机初始化一个Tensor
从已保存文件加载一个Tensor

当然，这大概也是一段计算机程序中所能创建数据的三种通用方式了，比如基于NumPy创建一个Array其实大体也是这三种方式。

下面依次予以介绍。

1.从已有其他数据结构转化创建为Tensor

这可能是实际应用中最常用的一种形式，比如从一个列表、从一个NumPy的array中读取数据，而后生成一个新的Tensor。为了实现这一目的，常用的有两种方式：

torch.tensor
torch.Tensor

没错，二者的区别就是前者用的是tensor函数（t是小写），后者用的是Tensor类（T是大写）。当然，二者也有一些区别，比如在创建Tensor的默认数据类型、支持传参以及个别细节的处理方面。举个例子，首先是创建的Tensor默认数据类型不同：

其次，应用Tensor类初始化输入一个整数将返回一个以此为长度的全零一维张量，而tensor函数则返回一个只有该元素的零维张量：

当然，上述有一个细节需要优先提及：应用Tensor类接收一个序列创建Tensor时，返回的数据类型为float型，这是因为Tensor是FloatTensor的等价形式，即除此之外还有ByteTensor，IntTensor，LongTensor以及DoubleTensor等不同的默认数据类型。

基于已有数据创建Tensor还有两个常用函数：

from_numpy
as_tensor

二者与上述方法最大的不同在于它们返回的Tensor与原有数据是共享内存的，而前述的tensor函数和Tensor类则是copy后创建一个新的对象。举个例子来说：

2.随机初始化一个Tensor

随机初始化也是一种常用的形式，比如在搭建一个神经网络模型中，其实在添加了一个模块的背后也自动随机初始化了该模块的权重。整体而言，这类方法大体分为两种形式：

torch.xxxx，创建一个特定类型的tensor，例如torch.ones，torch.randn等等
torch.xxx_liek，即根据一个已有Tensor创建一个与其形状一致的特定类型tensor，例如torch.ones_like，torch.randn_like等等

例如，随机构建一个PyTorch中的全连接单元Linear，其会默认创建相应的权重系数和偏置（注意，由于网络参数一般是需要参与待后续的模型训练，所以默认requires_grad=True）：

整体来看，这两类方法与NumPy中的相应方法特性几乎一致，基本可以从函数名中get到其相应的含义，这里也不再展开。

3.从已保存文件加载一个Tensor

文件作为交互数据的常用形式，PyTorch中自然也不会缺席。实际上，PyTorch不会刻意区分要保存和加载的对象是何种形式，可以是训练好的网络，也可以是数据，这在Python中就是pickle。实现这一对互逆功能的函数是torch.save和torch.load。另外，值得指出的是，保存后的文件没有明确的后缀格式要求，常用的后缀格式有三种：

.pkl
.pth
.pt

举个例子：

小结一下：

PyTorch中创建一个Tensor大体可分为三种方法，即：1）从一个已有数据结构转换为Tensor，2）随机初始化生成一个Tensor，3）将已保存的文件加载为Tensor。其中，第一种方法主要用于构建训练数据集，第二种方法隐藏于网络模块参数的初始化，而第三种方法则可用于大型数据集的保存和跨环境使用。

03 Tensor的特性

PyTorch之所以定义了Tensor来支持深度学习，而没有直接使用Python中的一个list或者NumPy中的array，终究是因为Tensor被赋予了一些独有的特性。这里，我也将Tensor的特性概括为三个方面：

丰富的常用操作函数
灵活的dtype和CPU/GPU自由切换存储

自动梯度求解

下面分别予以介绍。

1.丰富的常用函数操作

Tensor本质上是一个由数值型元素组成的高维矩阵，而深度学习的过程其实也就是各种矩阵运算的过程，所以Tensor作为其基础数据结构，自然也就需要支持丰富的函数操作。构建一个Tensor实例，通过Python中的dir属性获取tensor实例支持的所有API，过滤以"_"开头的系统内置方法外（例如"__str__"这种），剩余结果仍有567种，其支持的函数操作之丰富程度可见一斑。

这些函数有的是对自身进行操作，例如tensor.max(), tensor.abs()等等，有的是用于与其他tensor进行相关操作，例如tensor.add()用于与另一个tensor相加，tensor.mm()用于与另一个tensor进行矩阵乘法等等。当然，这里的相加和相乘对操作的两个tensor尺寸有所要求。

除了支持的函数操作足够丰富外，tensor的API函数还有另一个重要的便利特性：绝大多数函数都支持两个版本：带下划线版和不带下划线版，例如tensor.abs()和tensor.abs_()，二者均返回操作后的Tensor，但同时带下划线版本属于inplace操作，即调用后自身数据也随之改变

inplace版函数共有159种

2.灵活的dtype和CPU/GPU自由切换

前面在介绍Tensor的创建时已提到了dtype的概念，其类似于NumPy和Pandas中的用法，用于指定待创建Tensor的数据结构。PyTorch中定义了10种不同的数据结构，包括不同长度的整型、不同长度的浮点型，整个Tesor的所有元素必须数据类型相同，且必须是数值类型（NumPy中的array也要求数组中的元素是同质的，但支持字符串类型的）：