前言

  神经网络中的激活函数是神经网络中至关重要的一环，它们决定了神经网络的非线性特性，能够让神经网络学习非常复杂的函数。激活函数的种类也非常丰富，从最早的sigmoid、tanh，到后来的ReLU、LeakyReLU、ELU等，再到最近的GELU、SE-ReLU、SiLU等，每种激活函数都有其独特的优点和适用场景。

  在本篇博客中，我们将对神经网络中常见的激活函数进行总结和介绍，同时也会介绍一些新兴的激活函数，帮助读者了解它们的特点和使用方法，以便在实际应用中能够选择合适的激活函数来提升神经网络的性能。

概述

  神经网络中的激活函数是非常重要的组成部分，它的作用是将神经元的输入信号转换为输出信号，从而实现神经网络的非线性映射。激活函数的意义在于它能够引入非线性特性，使得神经网络可以拟合非常复杂的函数，从而提高了神经网络的表达能力和预测性能。

  具体来说，激活函数的作用有以下几个方面：

1. 引入非线性特性：激活函数能够将神经元的输入信号转换为输出信号，从而引入非线性特性，使得神经网络可以拟合非常复杂的函数。
2. 压缩输出范围：激活函数能够将神经元的输出范围压缩到一定的范围内，这有助于防止神经元输出的值过大或过小，从而提高了神经网络的稳定性和泛化性能。
3. 增加网络深度：激活函数能够增加神经网络的深度，从而提高了神经网络的表达能力和预测性能。
4. 改善梯度消失问题：激活函数能够改善神经网络中的梯度消失问题，从而提高了神经网络的训练效率和收敛速度。

特性

1. sigmoid函数

  sigmoid函数是神经网络中最早也是最常用的激活函数之一，它的特点是将输入值映射到0到1之间的连续范围内，输出值具有良好的可解释性，但是它在梯度消失和输出饱和等问题上表现不佳。

python

复制代码

def sigmoid(x):
    return 1. / (1. + np.exp(-x))

2. ReLU函数

  ReLU函数是当前最常用的激活函数之一，它的特点是简单、快速，并且在许多情况下表现出色。ReLU函数将负数输入映射到0，将正数输入保留不变，因此在训练过程中可以避免梯度消失的问题。但是ReLU函数在输入为负数时输出为0，这可能导致神经元死亡，因此后续的改进版本LeakyReLU得到了广泛的应用。

python

复制代码

def ReLU(x):
    return np.maximum(0, x)

3. LeakyReLU函数

  LeakyReLU函数是ReLU函数的改进版本，它在输入为负数时输出一个小的负数，从而避免了ReLU函数可能导致神经元死亡的问题。LeakyReLU函数的优点是简单、快速，并且在许多情况下表现出色，但是其超参数需要手动调整，因此在实际应用中需要进行一定的调试。

python

复制代码

def LeakyReLU(x, alpha=0.1):
    return np.maximum(alpha*x, x)

4. Tanh函数

  Tanh函数是一种具有S形状的激活函数，其特点是将输入值映射到-1到1之间的连续范围内，输出值也具有良好的可解释性。Tanh函数在某些情况下可以表现出色，但是它也存在梯度消失和输出饱和等问题，因此在深度神经网络中使用并不广泛。

python

复制代码

def Tanh(x):
    return np.tanh(x)

5. Softmax函数

  Softmax函数是一种常用于多分类问题的激活函数，它将输入值映射到0到1之间的概率分布，可以将神经网络的输出转换为各个类别的概率值。Softmax函数的优点是简单、易于理解，并且在多分类问题中表现出色，但是它也存在梯度消失和输出饱和等问题。

ini

复制代码

def Softmax(x):
    exp_x = np.exp(x)
    return exp_x / np.sum(exp_x, axis=0, keepdims=True)

6. GELU函数

  GELU函数是一种近年来提出的激活函数，它的特点是在ReLU函数的基础上引入了高斯误差线性单元，从而在某些情况下能够表现出色。GELU函数具有平滑的非线性特性，可以避免ReLU函数可能导致的神经元死亡问题。

arduino

复制代码

def GELU(x):
    cdf = 0.5 * (1.0 + np.tanh((np.sqrt(2 / np.pi) * (x + 0.044715 * np.power(x, 3)))))
    return x * cdf

7. SE_ReLU函数

  SE_ReLU函数是一种近年来提出的激活函数，它的特点是在ReLU函数的基础上引入了Sigmoid函数和Exponential函数，从而能够增加神经元的表达能力。SE_ReLU函数具有非常好的平滑性和可解释性。

scss

复制代码

def SE_ReLU(x, alpha=0.1, beta=10):
    return np.where(x > 0, x + alpha * x * np.exp(-beta * x), x)

8. SiLU函数

  SiLU函数是一种近年来提出的激活函数，它的特点是在sigmoid函数的基础上引入了自身的输入，从而能够表现出更好的非线性特性。SiLU函数具有非常好的平滑性和可解释性。

scss

复制代码

def SE_ReLU(x, alpha=0.1, beta=10):
    return np.where(x > 0, x + alpha * x * np.exp(-beta * x), x)

9.  DynamicShiftMax & DynamicReLU_A & DynamicReLU_B函数 DynamicShiftMax函数是一种近年来提出的激活函数，它的特点是在ReLU函数的基础上引入了动态偏移量，从而能够增加神经元的表达能力。

ini

复制代码

def DynamicShiftMax(x, alpha=0.1):
    return np.maximum(x, x + alpha * np.max(x, axis=0, keepdims=True))
def DynamicReLU_A(x, alpha=0.1):
    return np.maximum(x, x + alpha * np.mean(x, axis=0, keepdims=True))
def DynamicReLU_B(x, alpha=0.1):
    return np.maximum(x, x + alpha * np.std(x, axis=0, keepdims=True))

性能测试

  我们采用控制变量法进行激活函数的推理速度测试，x为输入，范围为-1到1之间的十万个数据，运行次数为100计算激活函数的计算耗时

ini

复制代码

if __name__ == "__main__":
    x = np.linspace(-1, 1, 100000)
    t1 = time.time()
    for i in range(100):
        y = sigmoid(x)
    t2 = time.time()
    print(float(t2 - t1))