kears一些常用的函数笔记

简介: kears一些常用的函数笔记

正则化



L1 L2正则项的使用


`kernel_regularizer`:施加在权重上的正则项,为`keras.regularizer.Regularizer`对象
    `bias_regularizer`:施加在偏置向量上的正则项,为`keras.regularizer.Regularizer`对象
`activity_regularizer`:施加在输出上的正则项,为`keras.regularizer.Regularizer`对象
L1正则化可以产生稀疏权重矩阵,即大部分w为0,只有少数w非0,可以用于特征选择
L2正则化可以防止模型过拟合 是个方差
keras.regularizers.l1(0.0003)
keras.regularizers.l2(0.0003)
keras.regularizers.l1_l2(0.0003)
Dense(units=10,bias_initializer='zeros',activation='softmax',kernel_regularizer=keras.regularizers.l2(0.0003)
复制代码


dropout 正则使用


主要是剔除一些神经元
model.add(Dropout(0.25))
复制代码


初始化权重


API文档


通常关键字为 kernel_initializer bias_initializer
kernel_initializer默认值为'glorot_uniform',对应的实例是keras.initializers.glorot_uniform(seed=None)
bias_initializer默认值为'zeros',对应的实例是keras.initializers.Zeros()
model.add(Dense(64, kernel_initializer='random_uniform', bias_initializer='zeros'))
均匀分布初始化 *minval:均匀分布下边界* maxval:均匀分布上边界 * seed:随机数种子
keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)
截尾高斯分布初始化,该初始化方法与RandomNormal类似,但位于均值两个标准差以外的数据将会被丢弃并重新生成,形成截尾分布。该分布是神经网络权重和滤波器的推荐初始化方法。
keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)
复制代码


学习率



调整学习率需要在model.fit中的callbacks回调函数中实现。

LearningRateScheduler


schedule:函数,该函数以epoch号为参数(从0算起的整数),返回一个新学习率(浮点数)
keras.callbacks.LearningRateScheduler(schedule)
复制代码


ReduceLROnPlateau


-   monitor:被监测的量
-   factor:每次减少学习率的因子,学习率将以`lr = lr*factor`的形式被减少
-   patience:当patience个epoch过去而模型性能不提升时,学习率减少的动作会被触发
-   mode:‘auto’,‘min’,‘max’之一,在`min`模式下,如果检测值触发学习率减少。在`max`模式下,当检测值不再上升则触发学习率减少。
-   epsilon:阈值,用来确定是否进入检测值的“平原区”
-   cooldown:学习率减少后,会经过cooldown个epoch才重新进行正常操作
-   min_lr:学习率的下限
reduce_lr = ReduceLROnPlateau(monitor='val_loss', factor=0.2, patience=5, min_lr=0.001) 
model.fit(X_train, Y_train, callbacks=[reduce_lr])
复制代码


Optimizers 优化器


Optimizers API


keras 中也有 SGD,RMSprop,Adagrad,Adadelta,Adam,Adamax,Nadam 等
例子learning_rate 学习率
sgd = SGD(learning_rate=0.01, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy', optimizer=sgd,metrics=['accuracy'])
复制代码


**如果数据是稀疏的,就用自适用方法,即 Adagrad, Adadelta, RMSprop, Adam。**
**RMSprop, Adadelta, Adam 在很多情况下的效果是相似的。**
**Adam 就是在 RMSprop 的基础上加了 bias-correction 和 momentum,**
**随着梯度变的稀疏,Adam 比 RMSprop 效果会好。**
整体来讲,**Adam 是最好的选择**。
很多论文里都会用 SGD,没有 momentum 等。**SGD 虽然能达到极小值,但是比其它算法用的时间长,而且可能会被困在鞍点**。
如果需要更快的收敛,或者是训练更深更复杂的神经网络,需要用一种自适应的算法


目录
打赏
0
0
0
0
2
分享
相关文章
【AI超级美发师】深度学习算法打造染发特效(附代码)
如今,在类似天天P图、美图秀秀等手机APP中,给指定照片或视频中的人物更换头发颜色已经是再正常不过的事情了。那么本文便介绍了该功能背后如AI头发分割模块、头发换色、颜色增强与修正模块等技术原理(附代码)。
3731 0
让容器跑得更快:CPU Burst 技术实践
让人讨厌的 CPU 限流影响容器运行,有时人们不得不牺牲容器部署密度来避免 CPU 限流出现。我们设计的 CPU Burst 技术既能保证容器运行服务质量,又不降低容器部署密度。CPU Burst 特性已合入 Linux 5.14,Anolis OS 8.2、Alibaba Cloud Linux2、Alibaba Cloud Linux3 也都支持 CPU Burst 特性。
让容器跑得更快:CPU Burst 技术实践
再生龙(CloneZilloa)使用指南
再生龙(CloneZilloa)使用指南
644 0
再生龙(CloneZilloa)使用指南
阿里云心选!「DataFlux」云时代的数据监控横空出世
IT发展以来,从个人电脑到云计算,唯一没有缺席的一个技术就是监控,当我们打开Windows任务管理器的时候看到CPU、内存就是监控,到我们今天大部分工程师打开云的控制台,大部分情况也是想要看对应产品的监控。
2260 0
阿里云心选!「DataFlux」云时代的数据监控横空出世
Redis 混合存储最佳实践指南
Redis 混合存储实例是阿里云自主研发的兼容Redis协议和特性的云数据库产品,混合存储实例突破 Redis 数据必须全部存储到内存的限制,使用磁盘存储全量数据,并将热数据缓存到内存,实现访问性能与存储成本的完美平衡。
MangoDB的用户有福了!阿里云宣布开源MongoShake 支持跨机房容灾
阿里云宣布正式开源MongoDB容灾和多活解决方案MongoShake
10454 1
阿里云Hi拼团的提货券是什么,有什么用,如何使用提货券(新手用户须知)
通过阿里云Hi拼团购买阿里云服务器的用户会发现,Hi拼团不同于阿里云其他活动是直接开通阿里云服务器的方式,Hi拼团将以提货券的形式发放至用户对应的阿里云账号,那么很多新手用户可能就会疑问了,提货券是什么,如何使用呢? 提货券是什么?阿里云提货券是用于提取阿里云指定规格云产品的一种票据凭证的产品,每个提货券都对应着云产品的不同规格配置。
使用系统文件检查器工具修复丢失或损坏的系统文件win10、win7
以管理员运行CMD命令行 sfc /scannow 流程结束后,你可能收到以下消息之一: Windows 资源保护找不到任何完整性冲突。这表示您没有任何丢失或损坏的系统文件。Windows 资源保护无法执行请求的操作。
1925 0
SpringBoot使用WebSocket(一)
springboot使用websocket群发消息
6327 0
深度揭秘“蚂蚁双链通”
目前,市场上基于区块链的供应链金融基本上是从应收账款切入的。蚂蚁区块链做到了应收账款确认、流转、融资、清分的全生命周期上链,资产的确权和流转以链上为准,而不是简单的业务存证。
7871 0

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问