transforms机制与数据标准化

简介: transforms机制与数据标准化

文章和代码已经归档至【Github仓库:https://github.com/timerring/dive-into-AI 】或者公众号【AIShareLab】回复 pytorch教程 也可获取。

图像预处理 transforms

transforms运行机制

torchvision:计算机视觉工具包

  • torchvision.transforms

    常用的图像预处理方法,例如:

    • 数据中心化
    • 数据标准化
    • 缩放
    • 裁剪
    • 旋转
    • 翻转
    • 填充
    • 噪声添加
    • 灰度变换
    • 线性变换
    • 仿射变换
    • 亮度、饱和度及对比度变换

  • torchvision.datasets

    常用数据集的 dataset 实现, MNIST CIFAR 10 ImageNet 等

  • torchvision.model

    常用的模型预训练, AlexNet VGG ResNet GoogLeNet 等

transforms运行的机制

数据标准化transforms.normalize

transforms.Normalize

标准化的含义是将数据的均值变为0,标准差变为1。

功能:逐channel 的对图像进行标准化

output = (input - mean) / std

  • mean :各通道的均值
  • std :各通道的标准差
  • inplace :是否原地操作

对数据进行标准化后可以加快模型的收敛。通过比较不同的实验结果可知,一个好的数据分布更加利于模型的整体收敛。

目录
相关文章
|
6月前
|
数据采集 机器学习/深度学习 资源调度
归一化和标准化
归一化和标准化
|
6月前
|
人工智能
【Mixup】探索数据增强技术:深入了解Mixup操作
【Mixup】探索数据增强技术:深入了解Mixup操作
635 0
|
3月前
|
机器学习/深度学习 PyTorch 算法框架/工具
自定义 DataLoader 设计:满足特定需求的实现方案
【8月更文第29天】在深度学习中,数据加载和预处理是训练模型前的重要步骤。PyTorch 提供了 `DataLoader` 类来帮助用户高效地从数据集中加载数据。然而,在某些情况下,标准的 `DataLoader` 无法满足特定的需求,例如处理非结构化数据、进行复杂的预处理操作或是支持特定的数据格式等。这时就需要我们根据自己的需求来自定义 DataLoader。
68 1
|
3月前
|
机器学习/深度学习 PyTorch 数据处理
数据增强与 DataLoader:提升模型泛化能力的策略
【8月更文第29天】在深度学习中,数据的质量和数量对于模型的性能至关重要。数据增强是一种常用的技术,它通过对原始数据进行变换(如旋转、缩放、裁剪等)来生成额外的训练样本,从而增加训练集的多样性和规模。这有助于提高模型的泛化能力,减少过拟合的风险。同时,`DataLoader` 是 PyTorch 中一个强大的工具,可以有效地加载和预处理数据,并支持并行读取数据,这对于加速训练过程非常有帮助。
213 1
|
3月前
|
机器学习/深度学习 分布式计算 PyTorch
大规模数据集管理:DataLoader在分布式环境中的应用
【8月更文第29天】随着大数据时代的到来,如何高效地处理和利用大规模数据集成为了许多领域面临的关键挑战之一。本文将探讨如何在分布式环境中使用`DataLoader`来优化大规模数据集的管理与加载过程,并通过具体的代码示例展示其实现方法。
174 1
|
3月前
|
机器学习/深度学习 PyTorch TensorFlow
ONNX 模型互操作性的最佳实践
【8月更文第27天】随着深度学习技术的发展,越来越多的框架被开发出来以满足不同的需求。然而,不同的框架之间缺乏互操作性可能会限制模型的部署和迁移能力。Open Neural Network Exchange (ONNX) 格式旨在解决这个问题,它提供了一种标准化的方法来表示机器学习模型,从而实现了不同框架之间的模型转换和共享。本文将探讨如何在不同的深度学习框架之间高效地转换和部署模型,并提供一些实际的代码示例。
148 1
|
4月前
|
数据采集 机器学习/深度学习 算法
深入Sklearn预处理技术:数据清洗与标准化实战
【7月更文第22天】在机器学习项目中,数据预处理是至关重要的一步,它直接影响到模型的性能和准确性。Scikit-learn(简称sklearn)作为Python中最受欢迎的机器学习库之一,提供了丰富的数据预处理工具。本文将深入探讨sklearn中的数据清洗与标准化技术,并通过实战代码示例展示如何应用这些技术提升模型效果。
622 2
|
物联网 PyTorch 算法框架/工具
数据增强之图像变换与自定义transforms
数据增强之图像变换与自定义transforms
132 0
|
6月前
|
机器学习/深度学习 PyTorch 算法框架/工具
【单点知识】基于实例讲解PyTorch中的transforms类
【单点知识】基于实例讲解PyTorch中的transforms类
86 0
|
6月前
|
机器学习/深度学习 数据可视化 计算机视觉
YOLOv5改进 | Conv篇 | 利用DualConv二次创新C3提出一种轻量化结构(降低参数30W)
YOLOv5改进 | Conv篇 | 利用DualConv二次创新C3提出一种轻量化结构(降低参数30W)
368 1