tanh函数

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
简介: 本文探讨了高等数学中的tanh函数,即双曲正切函数,其定义为 $\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$,导数为 $1 - \tanh^2(x)$。tanh函数广泛适用于各类场景,并在神经网络中有重要应用。提供的Python代码绘制了tanh函数及其导数的图像。

本文介绍高等数学中的tanh函数,以及在神经网络中的应用。

函数原型

tanh函数又称双曲正切函数

$tanh(x) = \frac{sinh(x)}{cosh(x)} = \frac{\frac{e^x-e^{-x}}{2}}{\frac{e^x+e^{-x}}{2}} = \frac{e^x - e^{-x}}{e^x + e^{-x}}$

导数的函数原型

$(tanh(x))' = 1 - tanh^2(x)$

适用范围

几乎所有场景

函数图像

tanh函数

Python代码实现

def main():
    x = np.arange(-10, 10, 0.01)
    y = (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))

    plt.figure(figsize=(6, 4))
    plt.title('tanh function')
    plt.xlabel('x', loc='left')
    plt.ylabel('y', loc='bottom')
    # tanh函数图像
    plt.plot(x, y, label='tanh function')

    # tanh导数图像
    der_y = 1-np.square(y)
    plt.plot(x, der_y, label='tanh derivative function')

    plt.xticks(np.arange(-10, 11, 1))
    plt.yticks(np.arange(0, 1.1, 0.1))

    plt.legend()
    plt.grid(True, color='b', linewidth='0.5', linestyle='dashed')
    plt.tight_layout()
    plt.show()
目录
相关文章
|
5月前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解(附源码)
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解(附源码)
227 0
WK
|
24天前
|
机器学习/深度学习 算法
为什么Sigmoid函数比Tanh函数更好
在神经网络中,Sigmoid和Tanh函数各有优劣,选择取决于具体应用场景。Sigmoid函数输出范围为(0,1),适合二分类问题,但存在梯度消失和非零中心化的问题;Tanh函数输出范围为(-1,1),以0为中心,有利于加速收敛,但同样涉及较大的计算复杂度。两者均存在梯度消失风险,但在多数情况下,Tanh梯度问题较轻。随着技术发展,ReLU等新型激活函数因能有效缓解梯度消失并提高计算效率,已成为许多任务的首选。因此,不能简单地说Sigmoid比Tanh更好,需依据任务需求和网络结构进行选择。
WK
53 1
WK
|
24天前
|
机器学习/深度学习
实际应用场景下Tanh和Sigmoid哪个更常用
在实际应用中,Tanh和Sigmoid函数的选择受多种因素影响。Sigmoid函数常用于二分类问题的输出层,因其输出范围在(0, 1)内,适合表示概率;但在隐藏层中较少使用,因为它会导致梯度消失和非零中心化问题。Tanh函数输出范围在(-1, 1),以0为中心,适用于隐藏层,有助于加快收敛速度,但也存在梯度消失问题。随着深度学习技术的发展,ReLU及其变体因计算效率高和梯度消失问题较轻而逐渐成为主流选择。因此,选择激活函数需综合考虑任务需求和网络结构特点。
WK
27 2
WK
|
26天前
|
机器学习/深度学习 算法
什么是Sigmoid函数
Sigmoid函数是在机器学习及统计学中广泛应用的一种数学模型,尤其适用于逻辑回归与神经网络中的激活场景。该函数能将任意实数映射至(0,1)区间,象征概率或事件发生可能性。其S型曲线特性使其在二分类问题中表现出色,同时具备连续平滑与中心对称的特点,利于采用如梯度下降等优化算法。然而,Sigmoid函数在极端输入值下会出现梯度消失的问题,影响模型训练效果。尽管有此局限性,它在特定应用场景中依然重要,例如需要输出概率值的情况。
WK
13 0
|
3月前
ReLU函数
【7月更文挑战第24天】ReLU函数。
57 1
|
2月前
|
机器学习/深度学习
Softmax 和 ReLU 函数的效用
【8月更文挑战第23天】
80 0
|
4月前
|
机器学习/深度学习 Python
sigmoid函数
本文探讨了高等数学中的sigmoid函数,它在神经网络中的应用,特别是在二分类问题的输出层。sigmoid函数公式为 $\frac{1}{1 + e^{-x}}$,其导数为 $sigmoid(x)\cdot(1-sigmoid(x))$。文章还展示了sigmoid函数的图像,并提供了一个使用Python绘制函数及其导数的代码示例。
102 2
|
4月前
|
机器学习/深度学习
函数求导
本文概述了高等数学中函数求导的基本规则,包括常数、幂函数、求和、乘积、商、复合函数、指数函数及三角函数的导数。这些规则是微积分的基础,用于求解各种函数的导数。例如,常数的导数是0,$(x^n)' = n \cdot x^{n-1}$,$(e^x)' = e^x$,$\frac{d}{dx}\sin(x) = \cos(x)$。更复杂的函数可能需要使用隐函数或参数方程求导等高级技术。
84 1
|
机器学习/深度学习 资源调度
深度学习基础入门篇[四]:激活函数介绍:tanh、sigmoid、ReLU、PReLU、ELU、softplus、softmax、swish等
深度学习基础入门篇[四]:激活函数介绍:tanh、sigmoid、ReLU、PReLU、ELU、softplus、softmax、swish等
深度学习基础入门篇[四]:激活函数介绍:tanh、sigmoid、ReLU、PReLU、ELU、softplus、softmax、swish等
plt画图(sigmoid、relu、softmax)
plt画图(sigmoid、relu、softmax)
87 0
下一篇
无影云桌面