【深度学习】Pytorch Tensor 张量

简介: 【1月更文挑战第26天】【深度学习】Pytorch Tensor 张量

 目录

一、张量概述:

二、初始化张量:

直接使用Python列表转化为张量:

通过Numpy数组(ndarray)转换为张量:

通过已有的张量生成新的张量:

通过指定数据维度生成张量:

三、张量属性:

四、张量的运算:

1.张量的索引和切片:

2.张量的拼接:

3.张量的乘法和矩阵乘法:

乘法(点乘):

矩阵乘法(叉乘):

4.自动赋值运算:

五、Tensor和Numpy的相互转换:

1.由tensor转换为ndarray:

2.由Ndarray转换为Tensor:


        现在是凌晨12点,记录一下学习,重新复习一下Pytorch......好吧,其实也不算复习,之前也只是简单的了解了一下,仅此而已。但是!现在不一样,需要仔细的去学习!

       Let‘s do it !!!

       这只是一篇简单的学习笔记,仅此而已!!!


一、张量概述:

       一种特殊的数据结构,使用在深度学习的神经网络中,类似数组(多维度)和矩阵。神经网络的输入输出、网格参数都是使用张量来进行描述!

import torch
import numpy as np

image.gif


二、初始化张量:

       张量的初始化方式有多种,主要是根据数据来源选择不同的初始化方法:

直接使用Python列表转化为张量:

data = [[1, 2], [3, 4]]
x_data = torch.tensor(data)

image.gif

       使用torch库中的函数tensor将一个二维python列表转换为一个二维的张量。

通过Numpy数组(ndarray)转换为张量:

       ndarray和张量(tensor)之间是支持相互转换的

np_array = np.array(data)
x_np = torch.from_numpy(np_array)

image.gif

通过已有的张量生成新的张量:

       新的张量将会继承原有张量的数据属性(结构和类型),也可以重新指定新的数据属性。

x_ones = torch.ones_like(x_data)   # 保留 x_data 的属性
print(f"Ones Tensor: \n {x_ones} \n")
x_rand = torch.rand_like(x_data, dtype=torch.float)   # 重写 x_data 的数据类型int -> float
print(f"Random Tensor: \n {x_rand} \n")

image.gif

Ones Tensor:
 tensor([[1, 1],
         [1, 1]])
Random Tensor:
 tensor([[0.0381, 0.5780],
         [0.3963, 0.0840]])

image.gif

通过指定数据维度生成张量:

       使用shape元组指定生成的张量维度,将元组传递给torch函数创建不同的张量:

shape = (2,3,)
rand_tensor = torch.rand(shape)
ones_tensor = torch.ones(shape)
zeros_tensor = torch.zeros(shape)
print(f"Random Tensor: \n {rand_tensor} \n")
print(f"Ones Tensor: \n {ones_tensor} \n")
print(f"Zeros Tensor: \n {zeros_tensor}")

image.gif

Random Tensor:
 tensor([[0.0266, 0.0553, 0.9843],
         [0.0398, 0.8964, 0.3457]])
Ones Tensor:
 tensor([[1., 1., 1.],
         [1., 1., 1.]])
Zeros Tensor:
 tensor([[0., 0., 0.],
         [0., 0., 0.]])

image.gif


三、张量属性:

       通过张量的不同属性,可以知道张量的维度,张量的数据类型、张量的存储设备(物理设备)

tensor = torch.rand(3,4)
print(f"Shape of tensor: {tensor.shape}")
print(f"Datatype of tensor: {tensor.dtype}")
print(f"Device tensor is stored on: {tensor.device}")

image.gif

Shape of tensor: torch.Size([3, 4])   # 维数
Datatype of tensor: torch.float32     # 数据类型
Device tensor is stored on: cpu       # 存储设备

image.gif


四、张量的运算:

       检查当前运行环境是否支持Pytorch,检查代码:

# 判断当前环境GPU是否可用, 然后将tensor导入GPU内运行
if torch.cuda.is_available():
  tensor = tensor.to('cuda')

image.gif

1.张量的索引和切片:

       Python的切片,第一个参数是行操作,第二个参数是列操作。

tensor = torch.ones(4, 4)
tensor[:,1] = 0            # 将第1列(从0开始)的数据全部赋值为0
print(tensor)

image.gif

       所有的索引位置都是从0开始:

tensor([[1., 0., 1., 1.],
        [1., 0., 1., 1.],
        [1., 0., 1., 1.],
        [1., 0., 1., 1.]])

image.gif

2.张量的拼接:

       你可以通过torch.cat方法将一组张量按照指定的维度进行拼接, 也可以参考torch.stack方法。

t1 = torch.cat([tensor, tensor, tensor], dim=1)
print(t1)

image.gif

       注意这里的dim参数,这里是指定tensor拼接的维度,维度索引同样是从0开始,0表示第一维,1表示第二维,所以拼接在二维的情况是按照列拼接:

tensor([[1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.],
        [1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.],
        [1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.],
        [1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.]])

image.gif

       想知道有几个维度,数出有几层中括号就行,有几层中括号就有几维。而且,随着中括号由外向里走,维度依次增加:从 0 变为 1 变为 2

3.张量的乘法和矩阵乘法:

       简单区分一下乘法和矩阵乘法的区别:

    • 乘法:在矩阵上是两个shape相同的矩阵(就是需要满足矩阵的形状一致),对应位置上的元素相乘
    • 矩阵乘法:要求矩阵内联的维度一致,即(n,m)x (m,z)

    乘法(点乘):

    # 逐个元素相乘结果
    print(f"tensor.mul(tensor): \n {tensor.mul(tensor)} \n")
    # 等价写法:
    print(f"tensor * tensor: \n {tensor * tensor}")

    image.gif

    tensor.mul(tensor):
     tensor([[1., 0., 1., 1.],
            [1., 0., 1., 1.],
            [1., 0., 1., 1.],
            [1., 0., 1., 1.]])
    tensor * tensor:
     tensor([[1., 0., 1., 1.],
            [1., 0., 1., 1.],
            [1., 0., 1., 1.],
            [1., 0., 1., 1.]])

    image.gif

    矩阵乘法(叉乘):

    print(f"tensor.matmul(tensor.T): \n {tensor.matmul(tensor.T)} \n")
    # 等价写法:
    print(f"tensor @ tensor.T: \n {tensor @ tensor.T}")

    image.gif

    tensor.matmul(tensor.T):
     tensor([[3., 3., 3., 3.],
            [3., 3., 3., 3.],
            [3., 3., 3., 3.],
            [3., 3., 3., 3.]])
    tensor @ tensor.T:
     tensor([[3., 3., 3., 3.],
            [3., 3., 3., 3.],
            [3., 3., 3., 3.],
            [3., 3., 3., 3.]])

    image.gif

    4.自动赋值运算:

           自动赋值运算通常在方法后有 _ 作为后缀, 例如: x.copy_(y), x.t_()操作会改变 x 的取值。即将方法调用执行的结果重新赋值给调用方法的变量。

    print(tensor, "\n")
    tensor.add_(5)
    print(tensor)

    image.gif

    tensor([[1., 0., 1., 1.],
            [1., 0., 1., 1.],
            [1., 0., 1., 1.],
            [1., 0., 1., 1.]])
    tensor([[6., 5., 6., 6.],
            [6., 5., 6., 6.],
            [6., 5., 6., 6.],
            [6., 5., 6., 6.]])

    image.gif

    注意:自动赋值运算虽然可以节省内存, 但在求导时会因为丢失了中间过程而导致一些问题, 所以我们并不鼓励使用它。


    五、Tensor和Numpy的相互转换:

           张量和ndarray数组在CPU上可以共用一块内存区域,改变其中一个值,另一个也会发生改变。

    1.由tensor转换为ndarray:

           tensor直接调用numpy方法:

    t = torch.ones(5)
    print(f"t: {t}")
    n = t.numpy()
    print(f"n: {n}")

    image.gif

    t: tensor([1., 1., 1., 1., 1.])
    n: [1. 1. 1. 1. 1.]

    image.gif

           此时,如果修改张量tensor的值,那么对应的ndarray中的值也会发生改变,这里只是变量类型的改变,但是变量指向的内存地址是同一个内存空间:

    t.add_(1)
    print(f"t: {t}")
    print(f"n: {n}")

    image.gif

    t: tensor([2., 2., 2., 2., 2.])
    n: [2. 2. 2. 2. 2.]

    image.gif

    2.由Ndarray转换为Tensor:

    n = np.ones(5)
    t = torch.from_numpy(n)

    image.gif

           修改Numpy array数组的值,则张量值也会随之改变。

    np.add(n, 1, out=n)
    print(f"t: {t}")
    print(f"n: {n}")

    image.gif

    t: tensor([2., 2., 2., 2., 2.], dtype=torch.float64)
    n: [2. 2. 2. 2. 2.]

    image.gif

    相关文章
    |
    19天前
    |
    机器学习/深度学习 存储 PyTorch
    PyTorch基本数据类型tensor
    PyTorch基本数据类型tensor
    19 2
    |
    1月前
    |
    机器学习/深度学习 数据采集 PyTorch
    使用PyTorch解决多分类问题:构建、训练和评估深度学习模型
    使用PyTorch解决多分类问题:构建、训练和评估深度学习模型
    使用PyTorch解决多分类问题:构建、训练和评估深度学习模型
    |
    2天前
    |
    机器学习/深度学习 PyTorch API
    |
    26天前
    |
    存储 机器学习/深度学习 PyTorch
    PyTorch核心--tensor 张量 !!
    PyTorch核心--tensor 张量 !!
    30 1
    |
    1月前
    |
    数据可视化 PyTorch 算法框架/工具
    Pytorch中张量的高级选择操作
    在某些情况下,我们需要用Pytorch做一些高级的索引/选择,所以在这篇文章中,我们将介绍这类任务的三种最常见的方法:torch.index_select, torch.gather and torch.take
    38 0
    |
    2月前
    |
    机器学习/深度学习 PyTorch TensorFlow
    Python中的深度学习:TensorFlow与PyTorch的选择与使用
    Python中的深度学习:TensorFlow与PyTorch的选择与使用
    |
    2月前
    |
    机器学习/深度学习 PyTorch TensorFlow
    深度学习模型加速:Pytorch模型转TensorRT模型
    深度学习模型加速:Pytorch模型转TensorRT模型
    97 0
    |
    2月前
    |
    机器学习/深度学习 PyTorch 算法框架/工具
    PyTorch的10个基本张量操作
    PyTorch是一个基于python的科学计算包。它的灵活性允许轻松集成新的数据类型和算法,并且框架也是高效和可扩展的,下面我们将介绍一些Pytorch的基本张量操作。
    75 1
    |
    2月前
    |
    机器学习/深度学习 编解码 PyTorch
    Pytorch实现手写数字识别 | MNIST数据集(CNN卷积神经网络)
    Pytorch实现手写数字识别 | MNIST数据集(CNN卷积神经网络)
    |
    19天前
    |
    机器学习/深度学习 算法 PyTorch
    【PyTorch实战演练】深入剖析MTCNN(多任务级联卷积神经网络)并使用30行代码实现人脸识别
    【PyTorch实战演练】深入剖析MTCNN(多任务级联卷积神经网络)并使用30行代码实现人脸识别
    39 2

    相关实验场景

    更多