ReLU

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
实时计算 Flink 版,5000CU*H 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
简介: 本文探讨了高等数学中ReLU(修正线性单元)在神经网络的应用。ReLU函数定义为f(x)=max(0,x),其导数为1x0)或0x<0)。适用于除二分类问题外的其他问题。Python代码展示了ReLU及其导数的图形绘制。

本文介绍高等数学中的ReLU,以及在神经网络中的应用。

函数原型

ReLU(Rectified Linear Unit 修正的线性单元)

f(x)=max(0,x)={x,if x00,if x<0

导数的函数原型

f(x)={1,if x00,if x<0

适用范围

二分类问题选择sigmoid,余下的问题ReLU是默认的选择

函数图像

ReU函数

Python代码实现

def main():
    x = np.arange(-10, 10, 0.01)
    y = list(map(lambda x: x if x > 0 else 0, x))

    plt.figure(figsize=(6, 4))
    plt.title('ReU function')
    plt.xlabel('x', loc='left')
    plt.ylabel('y', loc='bottom')
    # ReU图像
    plt.plot(x, y, label='ReU function')

    # ReU导数图像
    der_y = list(map(lambda x: 1 if x>0 else 0,x))
    plt.plot(x, der_y, label='ReU derivative function')

    plt.xticks(np.arange(-10, 11, 1))
    plt.yticks(np.arange(-1, 10, 1))

    plt.legend()
    plt.grid(True, color='b', linewidth='0.5', linestyle='dashed')
    plt.tight_layout()
    plt.show()
AI 代码解读
目录
打赏
0
1
1
0
12
分享
相关文章
深度学习笔记(三):神经网络之九种激活函数Sigmoid、tanh、ReLU、ReLU6、Leaky Relu、ELU、Swish、Mish、Softmax详解
本文介绍了九种常用的神经网络激活函数:Sigmoid、tanh、ReLU、ReLU6、Leaky ReLU、ELU、Swish、Mish和Softmax,包括它们的定义、图像、优缺点以及在深度学习中的应用和代码实现。
354 0
深度学习笔记(三):神经网络之九种激活函数Sigmoid、tanh、ReLU、ReLU6、Leaky Relu、ELU、Swish、Mish、Softmax详解
激活函数与神经网络------带你迅速了解sigmoid,tanh,ReLU等激活函数!!!
激活函数与神经网络------带你迅速了解sigmoid,tanh,ReLU等激活函数!!!
tf.keras.layers.Conv2D
【8月更文挑战第20天】tf.keras.layers.Conv2D。
73 2
|
6月前
tf.keras.layers.Dense
【8月更文挑战第20天】tf.keras.layers.Dense。
116 2
|
7月前
ReLU函数
【7月更文挑战第24天】ReLU函数。
151 1
Dropout和R-Dropout的使用技巧
【8月更文挑战第4天】Dropout及其扩展R-Dropout在机器学习中的应用,包括Dropout解决过拟合问题的方法、最佳实践技巧以及R-Dropout如何通过两次前向传播和损失函数正则化来提高模型的泛化能力。
88 0
leaky ReLU
本文探讨了高等数学中的leaky ReLU激活函数,其在神经网络中的应用。函数定义为:当x0时,f(x)=x;当x&lt;0时,f(x)=λx,其中λ(0,1)是泄露率。导数为:x0时,f&#39;(x)=1x&lt;0时,f&#39;(x)=\lambda。文中还提供了leaky ReLU的Python实现和图像展示。
116 2

热门文章

最新文章