transforms机制与数据标准化

简介: transforms机制与数据标准化

文章和代码已经归档至【Github仓库:https://github.com/timerring/dive-into-AI 】或者公众号【AIShareLab】回复 pytorch教程 也可获取。

图像预处理 transforms

transforms运行机制

torchvision:计算机视觉工具包

  • torchvision.transforms

    常用的图像预处理方法,例如:

    • 数据中心化
    • 数据标准化
    • 缩放
    • 裁剪
    • 旋转
    • 翻转
    • 填充
    • 噪声添加
    • 灰度变换
    • 线性变换
    • 仿射变换
    • 亮度、饱和度及对比度变换

  • torchvision.datasets

    常用数据集的 dataset 实现, MNIST CIFAR 10 ImageNet 等

  • torchvision.model

    常用的模型预训练, AlexNet VGG ResNet GoogLeNet 等

transforms运行的机制

数据标准化transforms.normalize

transforms.Normalize

标准化的含义是将数据的均值变为0,标准差变为1。

功能:逐channel 的对图像进行标准化

output = (input - mean) / std

  • mean :各通道的均值
  • std :各通道的标准差
  • inplace :是否原地操作

对数据进行标准化后可以加快模型的收敛。通过比较不同的实验结果可知,一个好的数据分布更加利于模型的整体收敛。

目录
相关文章
|
3月前
|
机器学习/深度学习 缓存 数据处理
《零基础实践深度学习》2.3.3 校验数据有效性 基于飞桨Dataset和DataLoader API完成数据处理
这篇文章详细介绍了在深度学习任务中进行数据处理的步骤,包括数据校验、封装数据读取与处理函数、使用飞桨Dataset和DataLoader API完成数据加载,以及数据增强/增广的方法和实践,旨在确保数据的有效性和提高模型训练效果。
|
3月前
|
机器学习/深度学习 分布式计算 PyTorch
大规模数据集管理:DataLoader在分布式环境中的应用
【8月更文第29天】随着大数据时代的到来,如何高效地处理和利用大规模数据集成为了许多领域面临的关键挑战之一。本文将探讨如何在分布式环境中使用`DataLoader`来优化大规模数据集的管理与加载过程,并通过具体的代码示例展示其实现方法。
162 1
|
3月前
|
机器学习/深度学习 PyTorch 算法框架/工具
自定义 DataLoader 设计:满足特定需求的实现方案
【8月更文第29天】在深度学习中,数据加载和预处理是训练模型前的重要步骤。PyTorch 提供了 `DataLoader` 类来帮助用户高效地从数据集中加载数据。然而,在某些情况下,标准的 `DataLoader` 无法满足特定的需求,例如处理非结构化数据、进行复杂的预处理操作或是支持特定的数据格式等。这时就需要我们根据自己的需求来自定义 DataLoader。
66 1
|
3月前
|
机器学习/深度学习 PyTorch 数据处理
数据增强与 DataLoader:提升模型泛化能力的策略
【8月更文第29天】在深度学习中,数据的质量和数量对于模型的性能至关重要。数据增强是一种常用的技术,它通过对原始数据进行变换(如旋转、缩放、裁剪等)来生成额外的训练样本,从而增加训练集的多样性和规模。这有助于提高模型的泛化能力,减少过拟合的风险。同时,`DataLoader` 是 PyTorch 中一个强大的工具,可以有效地加载和预处理数据,并支持并行读取数据,这对于加速训练过程非常有帮助。
197 1
|
3月前
|
自然语言处理
评估数据集CGoDial问题之UniMSE框架将MSA和ERC统一的问题如何解决
评估数据集CGoDial问题之UniMSE框架将MSA和ERC统一的问题如何解决
|
4月前
|
数据采集 机器学习/深度学习 算法
深入Sklearn预处理技术:数据清洗与标准化实战
【7月更文第22天】在机器学习项目中,数据预处理是至关重要的一步,它直接影响到模型的性能和准确性。Scikit-learn(简称sklearn)作为Python中最受欢迎的机器学习库之一,提供了丰富的数据预处理工具。本文将深入探讨sklearn中的数据清洗与标准化技术,并通过实战代码示例展示如何应用这些技术提升模型效果。
605 2
|
物联网 PyTorch 算法框架/工具
数据增强之图像变换与自定义transforms
数据增强之图像变换与自定义transforms
130 0
|
6月前
|
机器学习/深度学习 PyTorch 算法框架/工具
【单点知识】基于实例讲解PyTorch中的transforms类
【单点知识】基于实例讲解PyTorch中的transforms类
84 0
|
机器学习/深度学习 算法 数据可视化
数据归一化:优化数据处理的必备技巧
数据归一化:优化数据处理的必备技巧
|
PyTorch 算法框架/工具
如何将x_data和y_data利用torch转换成小批量数据,并要求打乱数据,以及将数据标准化或者归一化,如何处理?
以上代码中,在定义预处理操作transform时,只在Normalize函数的第一个参数中传入x_data的均值和标准差,而在第二个参数中传入空元组,表示不对y_data进行标准化。 接着,将标准化后的x_data和原始的y_data转换为张量格式,并将它们合并为一个TensorDataset对象。最后,定义dataloader对象,设置batch_size和shuffle参数,并使用上述数据集对象作为输入数据。
320 0