案例代码注意点|学习笔记

简介: 快速学习案例代码注意点

开发者学堂课程【深度学习框架 TensorFlow 入门案例代码注意点学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/773/detail/13547


案例代码注意点


内容介绍:  

一、学习率的设置、步数的设置与梯度爆炸

二、变量的trainable设置观察


一、学习率的设置、步数的设置与梯度爆炸

学习率越大,训练到较好结果的步数越小;学习率越小,训练到较好结果的步数越大。

但是学习过大会出现梯度爆炸现象。关于梯度爆炸/梯度消失?

在极端情况下。权重的值变得非常大,以至于溢出,导致 NaN 值

如何解决梯度爆炸问题(深度神经网络当中更容易出现)

1、重新设计网络

2、调整学习率

3、使用梯度戳断(在训练过程中检查和限制梯度的大小

4、使用激活函数


二、变量的 trainable 设置观察

trainable 的参数作用,指定是否训练

weights=tf.Variable(initial_value=tf.random_normal( shape=[1, 1]),trainable=False)

相关文章
|
5月前
|
算法 网络协议 新制造
在电子墨水屏标签领域,如何选择一款好的处理器?
电子墨水屏是近些年由台湾 eInk公司发展起来的一种超低功耗的数字显示技术,不同于传统的LCD,LED等主动发光的电子屏幕技术,墨水屏是一种被动式发光技术,这种屏幕仅在画面刷新过程中消耗很低的电流,在刷新完成之后屏幕完全不需要电力供应,可以实现零功耗。
|
前端开发
前端学习案例1-实战例子的介绍
前端学习案例1-实战例子的介绍
85 0
前端学习案例1-实战例子的介绍
|
人工智能 达摩院 物联网
应用案例|学习笔记
快速学习应用案例
104 0
应用案例|学习笔记
|
SQL 安全 Java
案例介绍|学习笔记
快速学习案例介绍
案例介绍|学习笔记
|
开发者
案例_1|学习笔记
快速学习案例_1
案例_1|学习笔记
|
缓存 网络架构 开发者
案例_2|学习笔记
快速学习案例_2
案例_2|学习笔记
|
分布式计算 Spark 开发者
SearchType 案例_演示 | 学习笔记
快速学习 SearchType 案例_演示
SearchType 案例_演示 | 学习笔记
|
SQL 分布式计算 HIVE
SearchType 案例演示|学习笔记
快速学习 SearchType 案例演示。
|
SQL HIVE 开发者
SearchType 案例介绍|学习笔记
快速学习 SearchType 案例介绍。
下一篇
无影云桌面