详解Batch Normalization并基于PyTorch实操(附代码)

简介: 详解Batch Normalization并基于PyTorch实操(附代码)

0. 前言

按照国际惯例,首先声明:本文只是我自己学习的理解,虽然参考了他人的宝贵见解,但是内容可能存在不准确的地方。如果发现文中错误,希望批评指正,共同进步。

本文初创于2022-02-27,由于存在纰漏,以及这一年多的持续学习有一丢丢积累,于2023-09-10进行大修。

本文将从Batch Normalization的数学定义入手,讲解Batch Normalization的计算过程,然后说明Batch Normalization在深度学习中的作用。

1. Batch Normalization的数学定义

1.1 Normalization的表达式

首先需要讲解Normalization的定义。Normalization是对矩阵(张量)的一种操作:这种操作会使原来的张量变成一个均值为0,方差为1的新的张量,其数学表达式为:

image.png

其中 x 为Normalization操作前的数据(原始数据),E [ x ] 为 x的平均值,Var [ x ]为 x 的平方差, y 为Normalization操作后的数据。

在工程上,为了避免Var [ x ] =0导致分母为0,还会在分母上加一个很小的值 ϵ(例如 10^{-5} ):

image.png

1.2 Batch Normalization的表达式

Batch Normalization在Normalization的基础上增加了缩放因子 γ 和偏移量 β,这样其数学表达式就变成了:

image.png

这里就出现了一个难点:缩放因子 γ 和偏移量 β如何计算?

其实缩放因子 γ 和偏移量 β都是可以学习的参数,其默认值为 γ = 1 , β = 0 ,即不进行缩放和偏移。

Pytorch源码注释 :math:\gamma and :math:\beta are learnable parameter vectors of size C (where C is the input size). By default, the elements of :math:\gamma are set to 1 and the elements

这样 γ和 β 可以看作是关于  x的变量,在反向传播时也要计算损失函数 L对 γ 和 β的偏导,并对其进行优化:

image.png

特殊地,如果 image.png ,那就等于是原始数据什么都没处理过,还是原来模样。

2. Batch Normalization的作用

Batch Normalization应用于深度学习模型中,它的作用大体可以包括以下几个方面:

  1. 改善梯度消失/爆炸问题:在深层神经网络中,前面层的梯度经过多次传递后会变得非常小或非常大,从而导致网络收敛速度慢或者不收敛。通过Batch Normalization,可以将每个特征值归一化到均值为0,方差为1的标准正态分布,从而避免梯度消失/爆炸问题。
  2. 加速网络收敛:Batch Normalization可以加速网络的收敛速度,因为它可以使得每个神经元的输入分布更加稳定,从而使得网络更容易学习有效的特征。
  3. 提高模型泛化能力:Batch Normalization可以减少由于数据分布的变化导致的模型性能下降,从而提高模型的泛化能力。
  4. 减少过拟合:Batch Normalization可以提高网络的鲁棒性,使得模型对输入的微小变化更加稳定,从而减少过拟合的风险。

3. PyTorch实战

我们可以计算如下简单矩阵的Batch Normalization操作后的数据。

image.png

在PyTorch中使用nn.BatchNorm2d方法完成矩阵的Batch Normalization操作,它的常用参数如下:

  • num_features: 输入特征的数量,通常为输入数据的通道数。
  • eps: 防止除以0的小值,缺省值为1e-5。
  • momentum: 动量,通常取较小的值(如0.1),用于计算滑动平均值。
  • affine: 是否对输出进行仿射变换,默认为True表示进行仿射变换。
  • track_running_stats: 是否在训练时计算并跟踪运行时统计量,缺省值为True。

一般在使用nn.BatchNorm2d时,通常只需要设置num_features参数即可,其他参数可以使用默认值。

import torch
a = torch.tensor([[[[1,1],
                  [-1,1]]]],dtype=torch.float32)
bn = torch.nn.BatchNorm2d(1) 
b = bn(a)
print(b)

输出为:

tensor([[[[ 0.5773,  0.5773],
          [-1.7320,  0.5773]]]], grad_fn=<NativeBatchNormBackward>)

与笔算结果一致:

image.png

这样,关于Batch Normalization就说明完了~


目录
打赏
0
2
2
0
19
分享
相关文章
PyTorch量化感知训练技术:模型压缩与高精度边缘部署实践
本文深入探讨神经网络模型量化技术,重点讲解训练后量化(PTQ)与量化感知训练(QAT)两种主流方法。PTQ通过校准数据集确定量化参数,快速实现模型压缩,但精度损失较大;QAT在训练中引入伪量化操作,使模型适应低精度环境,显著提升量化后性能。文章结合PyTorch实现细节,介绍Eager模式、FX图模式及PyTorch 2导出量化等工具,并分享大语言模型Int4/Int8混合精度实践。最后总结量化最佳策略,包括逐通道量化、混合精度设置及目标硬件适配,助力高效部署深度学习模型。
202 21
PyTorch量化感知训练技术:模型压缩与高精度边缘部署实践
9个主流GAN损失函数的数学原理和Pytorch代码实现:从经典模型到现代变体
生成对抗网络(GAN)的训练效果高度依赖于损失函数的选择。本文介绍了经典GAN损失函数理论,并用PyTorch实现多种变体,包括原始GAN、LS-GAN、WGAN及WGAN-GP等。通过分析其原理与优劣,如LS-GAN提升训练稳定性、WGAN-GP改善图像质量,展示了不同场景下损失函数的设计思路。代码实现覆盖生成器与判别器的核心逻辑,为实际应用提供了重要参考。未来可探索组合优化与自适应设计以提升性能。
248 7
9个主流GAN损失函数的数学原理和Pytorch代码实现:从经典模型到现代变体
提升模型泛化能力:PyTorch的L1、L2、ElasticNet正则化技术深度解析与代码实现
本文将深入探讨L1、L2和ElasticNet正则化技术,重点关注其在PyTorch框架中的具体实现。关于这些技术的理论基础,建议读者参考相关理论文献以获得更深入的理解。
54 4
提升模型泛化能力:PyTorch的L1、L2、ElasticNet正则化技术深度解析与代码实现
深入解析torch.compile:提升PyTorch模型性能、高效解决常见问题
PyTorch 2.0推出的`torch.compile`功能为深度学习模型带来了显著的性能优化能力。本文从实用角度出发,详细介绍了`torch.compile`的核心技巧与应用场景,涵盖模型复杂度评估、可编译组件分析、系统化调试策略及性能优化高级技巧等内容。通过解决图断裂、重编译频繁等问题,并结合分布式训练和NCCL通信优化,开发者可以有效提升日常开发效率与模型性能。文章为PyTorch用户提供了全面的指导,助力充分挖掘`torch.compile`的潜力。
158 17
基于昇腾用PyTorch实现CTR模型DIN(Deep interest Netwok)网络
本文详细讲解了如何在昇腾平台上使用PyTorch训练推荐系统中的经典模型DIN(Deep Interest Network)。主要内容包括:DIN网络的创新点与架构剖析、Activation Unit和Attention模块的实现、Amazon-book数据集的介绍与预处理、模型训练过程定义及性能评估。通过实战演示,利用Amazon-book数据集训练DIN模型,最终评估其点击率预测性能。文中还提供了代码示例,帮助读者更好地理解每个步骤的实现细节。
从零开始用Pytorch实现LLaMA 4的混合专家(MoE)模型
近期发布的LLaMA 4模型引入混合专家(MoE)架构,以提升效率与性能。尽管社区对其实际表现存在讨论,但MoE作为重要设计范式再次受到关注。本文通过Pytorch从零实现简化版LLaMA 4 MoE模型,涵盖数据准备、分词、模型构建(含词元嵌入、RoPE、RMSNorm、多头注意力及MoE层)到训练与文本生成全流程。关键点包括MoE层实现(路由器、专家与共享专家)、RoPE处理位置信息及RMSNorm归一化。虽规模小于实际LLaMA 4,但清晰展示MoE核心机制:动态路由与稀疏激活专家,在控制计算成本的同时提升性能。完整代码见链接,基于FareedKhan-dev的Github代码修改而成。
90 9
从零开始用Pytorch实现LLaMA 4的混合专家(MoE)模型
比扩散策略更高效的生成模型:流匹配的理论基础与Pytorch代码实现
扩散模型和流匹配是生成高分辨率数据(如图像和机器人轨迹)的先进技术。扩散模型通过逐步去噪生成数据,其代表应用Stable Diffusion已扩展至机器人学领域形成“扩散策略”。流匹配作为更通用的方法,通过学习时间依赖的速度场将噪声转化为目标分布,适用于图像生成和机器人轨迹生成,且通常以较少资源实现更快生成。 本文深入解析流匹配在图像生成中的应用,核心思想是将图像视为随机变量的实现,并通过速度场将源分布转换为目标分布。文中提供了一维模型训练实例,展示了如何用神经网络学习速度场,以及使用最大均值差异(MMD)改进训练效果。与扩散模型相比,流匹配结构简单,资源需求低,适合多模态分布生成。
157 13
比扩散策略更高效的生成模型:流匹配的理论基础与Pytorch代码实现
从零实现基于扩散模型的文本到视频生成系统:技术详解与Pytorch代码实现
本文介绍了一种基于扩散模型的文本到视频生成系统,详细展示了模型架构、训练流程及生成效果。通过3D U-Net结构和多头注意力机制,模型能够根据文本提示生成高质量视频。
114 1
从零实现基于扩散模型的文本到视频生成系统:技术详解与Pytorch代码实现

热门文章

最新文章

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等