机器学习常用激活函数
摘要： 激活函数就是神经网络输出端的一个节点，来连接两个神经网络。本文主要介绍激活函数的功能以及激活函数类型。
什么是激活函数？
激活函数就是神经网络输出端的一个节点，来连接两个神经网络。
为什么要在神经网络中使用激活函数
激活函数用来确定神经网络的输入，比如“是”或“否”，将结果映射为[0，1]或[-1，1]之间，根据函数的曲线，可分为两种类型：线性激活函数、非线性激活函数。
1.线性激活函数（恒等激活函数）
如下图所示，函数是线性的，函数的输出范围为（-∞，+∞）。
线性激活函数
方程式：f(x) = x
取值范围：（-∞，+∞）
2.非线性激活函数
非线性激活函数是最常用的激活函数，其曲线如下图所示：
非线性激活函数
使用非线性激活函数，模型可以更容易进行自我调整，并区分不同的输出。非线性激活函数中的主要术语有：
1.导数或微分：y轴随x轴的变化，称为斜率。
2.单调函数：完全递增或完全递减的函数。
根据取值范围，非线性激活函数可分为以下几种：Sigmoid激活函数、Tanh激活函数、ReLU激活函数、
1.Sigmoid激活函数（Logistic激活函数）
Sigmoid激活函数的曲线呈“S”形。
Sigmoid激活函数
sigmoid函数很受大众的欢迎，其主要原因是：它的输出处于[0,1]范围内，特别适用于输出概率的模型。由于任何概率的取值在0和1范围之间，因此，sigmoid激活函数是最好的选择。
该函数是可微的，也就是说，我们可以得到“S”曲线上任意两点之间的斜率。这个函数是单调的，但是其导数不是，sigmoid 激活函数可能会导致神经网络在训练的时候卡住。
Softmax函数是一种更通用的逻辑激活函数，用于多类分类。
2.Tanh激活函数
tanh激活函数和sigmoid激活函数类似，但是要比sigmoid激活函数好。tanh激活函数的取值范围是（-1,1），曲线也呈“S”形。
sigmoid激活函数和tanh激活函数
tanh激活函数的优点在于，如果输入为负数，则输出也为负数，输入为0，则输出也近似为0。
该函数是可微分、单调的，但其导数不单调。tanh激活函数主要用于分类。
tanh和sigmoid激活函数都可用于前馈网络。
3.ReLU激活函数(Rectified Linear Unit)
在神经网络中，使用最多的激活函数是ReLU激活函数，它几乎可用于所有卷积神经网络或深度学习中。
ReLU激活函数和Sigmoid激活函数
如上图所示，在ReLU激活函数中，当z<0时，f(z)=0；当z>0时，f(z)=z。取值范围为[0,+∞]
ReLU激活函数及其导数都是单调的。
但这存在一个问题：当输入为负值时，输出立刻变为0，这就降低了模型拟合或训练数据的能力。反过来说，为了不影响结果，就不能映射负值输入。
4. Leaky ReLU激活函数
Leaky ReLU激活函数的出现，试图解决ReLU激活函数中出现的死亡问题。
ReLU激活函数和Leaky ReLU激活函数
Leaky ReLU激活函数扩大了ReLU激活函数的取值范围，如上图所示，通常，a的值为0.01左右。取值范围：（-∞，+∞）。
当a不是0.01时，该函数称为Randomized ReLU。
本质上来说，Leaky ReLU函数和Randomized ReLU函数都是单调的。 而且，它们的导数也单调。
为什么要使用导数和微分？
在更新曲线时，我们要知道哪个方向上会发生变化，或者是根据斜率来更新曲线。这就是我们要在机器学习和深度学习的每个部分都使用微分的原因。
激活函数汇总
激活函数的导数曲线图汇总
