leaky ReLU

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,1000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 本文探讨了高等数学中的leaky ReLU激活函数,其在神经网络中的应用。函数定义为:当$x\geq0$时,$f(x)=x$;当$x<0$时,$f(x)=\lambda x$,其中$\lambda\in(0,1)$是泄露率。导数为:$x\geq0$时,$f'(x)=1$;$x<0$时,$f'(x)=\lambda$。文中还提供了leaky ReLU的Python实现和图像展示。

本文介绍高等数学中的leaky ReLU,以及在神经网络中的应用。

函数原型

leaky ReLU(带泄露的ReLU)

$$ f(x) = \begin{cases} x, & \text{if } x \geq 0 \\ \lambda x, & \text{if } x < 0 \end{cases} $$

其中$\lambda$为泄露率,取 $(0,1) 内的数$

导数的函数原型

$$ f(x)' = \begin{cases} 1, & \text{if } x \geq 0 \\ \lambda, & \text{if } x < 0 \end{cases} $$

适用范围

默认全部

函数图像

leaky ReU函数

Python代码实现

def main():
    x = np.arange(-10, 10, 0.01)
    lambda1 = 0.5
    y = list(map(lambda x: x if x > 0 else lambda1 * x, x))

    plt.figure(figsize=(6, 4))
    plt.title('leaky ReU function')
    plt.xlabel('x', loc='left')
    plt.ylabel('y', loc='bottom')
    # ReU图像
    plt.plot(x, y, label='leaky ReU function')

    # ReU导数图像
    der_y = list(map(lambda x: 1 if x > 0 else lambda1, x))
    plt.plot(x, der_y, label='leaky ReU derivative function')

    plt.xticks(np.arange(-10, 11, 1))
    plt.yticks(np.arange(-1, 10, 1))

    plt.legend()
    plt.grid(True, color='b', linewidth='0.5', linestyle='dashed')
    plt.tight_layout()
    plt.show()
目录
相关文章
|
JavaScript 前端开发 数据库
测试开发之路--Flask 之旅 (三):数据库
本文介绍了在 Flask 应用中实现权限管理的过程,包括使用 Flask-SQLAlchemy、Flask-MySQLdb、Flask-Security 和 Flask-Login 等扩展模块进行数据库配置与用户权限设置。首先创建数据库并定义用户、环境和角色模型,接着通过 Flask-Security 初始化用户和角色,并展示了如何便捷地管理权限。后续将深入探讨权限控制的具体应用。
247 4
测试开发之路--Flask 之旅 (三):数据库
|
安全 搜索推荐 Java
SpringSecurity扩展用户身份信息(UserDetails)的方式
通过上述步骤,你就能在Spring Security中扩展 `UserDetails`,进而实现更加个性化和复杂的用户认证和授权机制。记住,在添加更多字段时,保持系统安全性的同时,也需要考虑到用户隐私的保护。
1227 1
|
机器学习/深度学习 数据采集 算法
Python实现DBSCAN膨胀聚类模型(DBSCAN算法)项目实战
Python实现DBSCAN膨胀聚类模型(DBSCAN算法)项目实战
|
存储 监控 安全
深聊性能测试,从入门到放弃之:如何对IO进行性能调优
深聊性能测试,从入门到放弃之:如何对IO进行性能调优
421 0
|
存储 监控 安全
对称加密在生产环境下的实践与注意事项
对称加密实践中,选择AES作为安全高效的算法,如在银行系统中。管理密钥要谨慎,避免硬编码,可借助KMS。使用如AES-CBC模式增强安全性,加盐哈希确保认证和完整性,如HMAC在API通信中的应用。注意性能优化,如并行处理和硬件加速在大数据场景。监控系统,适应新威胁,确保信息安全。【6月更文挑战第18天】
253 3
|
存储 PyTorch 定位技术
Transformers 4.37 中文文档(六十六)(4)
Transformers 4.37 中文文档(六十六)
174 0
|
消息中间件 小程序 Java
暹罗点餐开源啦,一款java多门店点餐系统-连锁门店如蜜雪冰城瑞幸咖啡
暹罗点餐是一款Java餐饮点餐系统,适用于多门店的连锁品牌,对标蜜雪冰城、瑞幸咖啡。系统包含用户端、商家端、配送端以及总管理后台; * 前端使用uni-app开发,可打包部署到微信小程序、APP、H5 * Web端使用vue + Element开发 * 服务端使用java语言开发,技术栈:Spring Boot + Redis + RocketMQ + WebSocket + ElasticSearch + ELK + SpringBoot Admin
833 1
暹罗点餐开源啦,一款java多门店点餐系统-连锁门店如蜜雪冰城瑞幸咖啡
|
前端开发
Color Space -- 在线调色神器,解决你的配色问题
Color Space -- 在线调色神器,解决你的配色问题
1694 0
|
Java Maven
Maven标准目录结构介绍
src/main/java:源代码目录 src/main/resources:资源文件目录 src/test/java:测试代码目录 src/test/resources:测试资源文件目录 这里只是部分结构,像jar或者war工程如果有源代码的一般是这个结构,但这个结构也不是必须的,不同的项目不同的需求也可以有不同的结构。
788 0
Maven标准目录结构介绍