基于Pytorch之深度学习模型数据类型和维度转换个人总结

简介: 基于Pytorch之深度学习模型数据类型和维度转换个人总结

博主近期在学习深度学习模型时,发现这个数据类型转换和维度的重构既细节又容易出错,特总结此篇文章,用于自己回顾和分享给有需要的朋友,总结可能不是很全面,不足之处还望大家多多包涵!

一、数据类型基本主要是:整形、浮点型、字符串型、list列表格式、numpy数组格式、tensor张量格式等。数据类型之间的转换参考下面的代码:

  • 整型转浮点型
a =1
a = float(a) # 整型转浮点型
print(a)

  • 整型转字符串型
a =1
a = str(a) # 整型转字符串型
print(type(a))

  • 整型转tensor格式(包含先转numpy,原因是:若整型直接转换成tensor张量格式后会发生数值溢出,这是内存机制本身设计的问题
import numpy as np
import torch as t
a = 1
a = np.array(a, dtype=np.float32) # 整型转numpy
a = t.LongTensor(a) # numpy转tensor
print(a)

  • 浮点型转整型
a = 1.0
a = int(a) # 浮点型转整型
print(a)

  • 浮点型转字符串型
a = 1.0
a = str(a)  # 浮点型转字符串型
print(type(a))

  • 字符串转整型
s = '666'
s = int(s) # 字符串转整型
print(type(s))

  • 字符串转浮点型
s = '666.0'
s = float(s) # 字符串转浮点型
print(s)
print(type(s))

二、list列表格式、numpy数组格式、tensor格式数据维度之间的转换涉及多维度降维,因此比较容易出错,谨慎为上。

  • 列表list维度降维,下面以二维举例。
a = [[1,2,3],[6,8,5]] # 二维列表
a = [i for item in a for i in item] # 二维双层循环,三维三层循环
print(a)

  • numpy维度降维,分两种情况:(1)针对有维度为1的维度进行压缩实现降维,两种方式(2)针对无维度为1的维度进行重构造实现降维,下面以二维举例。
# 方式一
import numpy
a = numpy.array([[1],[2],[3]])
a = a.squeeze() # 针对有维度为1的维度进行压缩
print(a)

# 方式二
import numpy
a = numpy.array([[1],[2],[3]])
a = numpy.squeeze(a) # 针对有维度为1的维度进行压缩
print(a)

import numpy
a = numpy.array([[1,2],[2,4],[3,5]])
a = [i for item in a for i in item] # 针对无维度为1的维度进行重构造
print(a)

  • tensor维度降维,分两种情况:(1)针对有维度为1的维度进行压缩实现降维,点击打开《python以三维tensor为例详细理解unsqueeze和squeeze函数》文章 作为参考(2)针对无维度为1的维度进行重构造实现降维并转换为list,下面以二维举例。(还有一种方式用for循环结合torch.cat函数进行两个tensor拼接实现,注意:两个tensor除了要拼接的维度外,其他维度数值必须保持一致,否则会报错)
import torch
a = torch.LongTensor([[1,2,3],[6,8,5]])
a = [i.tolist() for item in a for i in item] # 针对无维度为1的维度进行重构造实现降维并转换为list
print(a)

三、总结

数据类型转换和维度降维是结合操作,博主分开阐述是方便大家理解,但在理解后要结合起来对数据进行适当的转换和操作达到自己数据预处理的目的。比如:数据集导入程序是list格式,但我们需要将数据集转换成tensor格式,最后算法模型输出对比时需要降维再对比等,这个例子具体内容详情可以参考博主的下一篇关于GCN(图卷积网络)3.0的文章。

文章知识点与官方知识档案匹配,可进一步学习相关知识

Python入门技能树科学计算基础软件包NumPyNumPy概述214084 人正在系统学习中


相关文章
|
24天前
|
机器学习/深度学习 自然语言处理 PyTorch
【PyTorch实战演练】基于AlexNet的预训练模型介绍
【PyTorch实战演练】基于AlexNet的预训练模型介绍
34 0
|
16天前
|
机器学习/深度学习 关系型数据库 MySQL
大模型中常用的注意力机制GQA详解以及Pytorch代码实现
GQA是一种结合MQA和MHA优点的注意力机制,旨在保持MQA的速度并提供MHA的精度。它将查询头分成组,每组共享键和值。通过Pytorch和einops库,可以简洁实现这一概念。GQA在保持高效性的同时接近MHA的性能,是高负载系统优化的有力工具。相关论文和非官方Pytorch实现可进一步探究。
39 4
|
1天前
|
机器学习/深度学习 存储 PyTorch
PyTorch深度学习基础:张量(Tensor)详解
【4月更文挑战第17天】本文详细介绍了PyTorch中的张量,它是构建和操作深度学习数据的核心。张量是多维数组,用于存储和变换数据。PyTorch支持CPU和GPU张量,后者能加速大规模数据处理。创建张量可通过`torch.zeros()`、`torch.rand()`或直接从Python列表转换。张量操作包括数学运算、切片和拼接。在深度学习中,张量用于神经网络模型的构建和训练。理解张量对于掌握PyTorch至关重要。
|
2天前
|
机器学习/深度学习 API 算法框架/工具
R语言深度学习:用keras神经网络回归模型预测时间序列数据
R语言深度学习:用keras神经网络回归模型预测时间序列数据
11 0
|
2天前
|
机器学习/深度学习 并行计算 算法
R语言深度学习不同模型对比分析案例
R语言深度学习不同模型对比分析案例
19 0
|
3天前
|
机器学习/深度学习 人工智能 分布式计算
R和Python机器学习:广义线性回归glm,样条glm,梯度增强,随机森林和深度学习模型分析
R和Python机器学习:广义线性回归glm,样条glm,梯度增强,随机森林和深度学习模型分析
|
4天前
|
机器学习/深度学习 并行计算 算法框架/工具
Anaconda+Cuda+Cudnn+Pytorch(GPU版)+Pycharm+Win11深度学习环境配置
Anaconda+Cuda+Cudnn+Pytorch(GPU版)+Pycharm+Win11深度学习环境配置
|
6天前
|
机器学习/深度学习 自然语言处理 算法
探索深度学习中的序列建模新范式:Mamba模型的突破与挑战
【4月更文挑战第13天】Mamba模型,一种新型序列建模架构,通过选择性状态空间提高处理长序列数据的效率,实现线性时间复杂度。在语言、音频和DNA序列建模中展现优秀性能,尤其在大规模预训练中超越Transformer。然而,面对连续信号数据时可能不及LTI模型,且模型参数优化及硬件实现具有挑战性。
23 5
探索深度学习中的序列建模新范式:Mamba模型的突破与挑战
|
8天前
|
机器学习/深度学习 PyTorch API
|
24天前
|
机器学习/深度学习 数据可视化 Linux
深度学习模型可视化工具——Netron使用介绍
深度学习模型可视化工具——Netron使用介绍
37 2

热门文章

最新文章