不同的归一化方法
为了促进GN的表述，我们将首先看一下以前的一些标准化方法。
xᵢ ← (xᵢ - 𝜇ᵢ) / √(𝜎ᵢ² + 𝜀)
对于每个系数xᵢ输入特性。𝜇ᵢ和𝜎ᵢ²的均值和方差计算的集合Sᵢ系数,和𝜀是一个小的常数数值稳定,避免除零。唯一的区别是集Sᵢ是如何选择的。
为说明归一化方法的计算，我们考虑一批N = 3，输入特征a, b, c，它们有通道c = 4，高度H = 1，宽度W = 2:
a = [ [[2, 3]], [[5, 7]], [[11, 13]], [[17, 19]] ] b = [ [[0, 1]], [[1, 2]], [[3, 5]], [[8, 13]] ] c = [ [[1, 2]], [[3, 4]], [[5, 6]], [[7, 8]] ]
因此批将形状(N、C, H, W) =(3、4、1、2)。我们把𝜀= 0.00001。
Batch Normalization
BN规范化的渠道和计算𝜇ᵢ和𝜎ᵢ沿轴(N、H、W)。批次ᵢ系数被定义为一组的批处理xᵢ相同的频道。
第一系数的ᵢ= 2,i=(0,0,0),相应的𝜇ᵢ和𝜎ᵢ²系数的计算,b和c的第一个频道:
𝜇ᵢ = mean(2, 3, 0, 1, 1, 2) = 1.5
𝜎ᵢ² = var(2, 3, 0, 1, 1, 2) = 0.917
代入归一化公式，
aᵢ ← (2 - 1.5) / √(0.917 + 0.00001) = 0.522
计算a的所有系数
a ← [ [[0.522, 1.567]], [[0.676, 1.690]], [[1.071, 1.630]], [[1.066, 1.492]] ]
Layer Normalization
层归一化(LN)的设计是为了克服BN的缺点，包括它对批大小的限制。计算𝜇ᵢ和𝜎ᵢ沿着(C、H、W)轴,和Sᵢ定义为所有系数xᵢ属于相同的输入特性。因此，一个输入特征的计算完全独立于批处理中的其他输入特征。
所有的系数是由相同的归一化𝜇ᵢ和𝜎ᵢ²
𝜇ᵢ = mean(2, 3, 5, 7, 11, 13, 17, 19) = 9.625
𝜎ᵢ² = var(2, 3, 5, 7, 11, 13, 17, 19) = 35.734
计算a的所有系数
a ← [ [[-1.276, -1.108]], [[-0.773, -0.439]], [[0.230, 0.565]], [[1.234, 1.568]] ]
Instance Normalization
实例归一化(IN)可以看作是将BN公式单独应用到每个输入特性(又称实例)，就好像它是批处理中的唯一成员一样。更准确地说,在计算𝜇ᵢ和𝜎ᵢ沿轴(H, W)和Sᵢ的系数被定义为一组相同的输入特性和xᵢ也在同一个频道。
由于IN的计算与批大小为1时BN的计算相同，在大多数情况下，IN实际上会使情况变得更糟。而对于样式转换任务，IN在丢弃图像对比度信息方面优于BN。
第一系数aᵢ= 2,i=i(0,0,0),相应的𝜇ᵢ和𝜎ᵢ²只是
𝜇ᵢ = mean(2, 3) = 2.5 𝜎ᵢ² = var(2, 3) = 0.25 当 aᵢ ← (2 - 2.5) / √(0.25 + 0.00001) = -1.000 得到 a ← [ [[-1.000, 1.000]], [[-1.000, 1.000]], [[-1.000, 1.000]], [[-1.000, 1.000]] ]
Group Normalization
前面我们说过IN的计算与批大小为1时BN的计算相同，但是是针对对每个输入特性分别应用BN。注意，IN还可以看作是将LN单独应用于每个通道，就像通道的数量为1的LN一样。
组归一化(GN)是IN和LN的中间点。组织渠道分成不同的组,计算𝜇ᵢ和𝜎ᵢ沿着(H, W)轴和一组通道。批次ᵢ然后组系数,在相同的输入特性和同一组xᵢ渠道。
组的数量G是一个预定义的超参数，通常需要它来划分c。为了简单起见，我们将通道按顺序分组。所以频道1，…，C / G属于第一组，频道C / G + 1，…，2C / G属于第二组，以此类推。当G = C时，即每组只有1个信道，则GN变为IN。另一方面，当G = 1时，GN变成LN。因此G控制了IN和LN之间的插值。
在我们的例子中，考虑G = 2。规范化的第一个系数aᵢ = 2,i=(0,0,0),我们使用的系数在4 / 2 = 2通道
𝜇ᵢ = mean(2, 3, 5, 7) = 4.25 𝜎ᵢ² = var(2, 3, 5, 7) = 3.687 代入归一化公式， aᵢ ← (2 - 4.25) / √(3.687 + 0.00001) = -1.172 对于a的其他系数，计算方法相似: a ← [ [[-1.172, -0.651]], [[0.391, 1.432]], [[-1.265, -0.633]], [[0.633, 1.265]] ]
归一化方法比较
蓝色的区域对应的集Sᵢ计算𝜇ᵢ和𝜎ᵢ,然后用来正常化任何系数在蓝色区域。
从这个图中我们可以看到，GN如何在IN和LN之间插入。GN优于IN，因为GN可以利用跨渠道的依赖关系。它也比LN好，因为它允许对每一组通道学习不同的分布。
当批大小较小时，GN始终优于BN。但是，当批处理大小非常大时，GN的伸缩性不如BN，可能无法匹配BN的性能。
引用
- A. Kolesnikov, L. Beyer, X. Zhai, J. Puigcerver, J. Yung, S. Gelly, and N. Houlsby. Big Transfer (BiT): General Visual Representation Learning (2019), arXiv preprint.
- S. Qiao, H. Wang, C. Liu, W. Shen, and A. Yuille. Weight Standardization (2019), arXiv preprint.
- S. Santurkar, D. Tsipras, A. Ilyas, and A. Madry. How Does Batch Normalization Help Optimization? (2018), NIPS 2018.
- Y. Wu, and K. He. Group Normalization (2018), ECCV 2018.
