深度学习调参和炼丹 1

简介: 深度学习调参和炼丹

1 调参

今天我们以著名的Tensorflow游乐场为例,体验“调参侠”的“快乐”!

参考链接:Tensflow游乐场

码住,我们先了解一下网站是干嘛的:

我们先选择第三个数据集,调参模拟训练一下:

训练结果:

我们再试一个圈圈数据集:

我们思考,它需要几个神经元呢?

我们定性分析一下,还是看图说话,一个神经元是一条直线,三个神经元形成三条直线刚好形成闭合的形状。

如此看来,我们需要三个神经元作为一层隐藏层,然后把三个神经元的计算结果通过一个输出层神经元汇合,通过sigmoid函数修饰一下,就可以了。

果然,最后的输出结果:等高线完美的分割了这两类豆豆

我们再来试试第二个数据集:

这个数据集其实是感知器最初发展阶段,困扰研究人员很多年的一个问题:

但现在我们知道只需要三个神经元即可分割:

我们再来看最后一个蚊香一样的螺旋形数据集:

很明显,只有一层三个神经元的隐藏层的神经网络,在这种复杂的数据集上表现十分疲软,那我们就用更深、神经元数量也更多的网络来尝试一下。

我们增加到三层隐藏层,每层有四个神经元:

然而训练结果,动也不动,这是因为我们的老伙计“sigmoid”激活函数的问题。

我们之前说过之所以选择sigmoid函数作为激活函数,那是因为相比于阶跃函数处处可导,且导数处处不为0,这样我们反向传播算法,梯度下降求导很是方便

但我们发现一旦原离中心点,虽然仍旧可导,导数不为0,但是导数却及其的小,这样梯度下降就很难进行。

所以我们一般使用relu算法


目录
相关文章
|
7月前
|
机器学习/深度学习
深度学习模型调参技巧分享 视频讲解代码实战
深度学习模型调参技巧分享 视频讲解代码实战
49 0
|
9月前
|
机器学习/深度学习
深度学习调参和炼丹 2
深度学习调参和炼丹
68 0
|
29天前
|
机器学习/深度学习 算法 数据挖掘
深度学习调参tricks总结
深度学习调参tricks总结
45 1
深度学习调参tricks总结
|
机器学习/深度学习 人工智能 TensorFlow
谷歌大脑深度学习调参(炼丹)指南出炉,Hinton点赞,一天收获1500星
谷歌大脑深度学习调参(炼丹)指南出炉,Hinton点赞,一天收获1500星
170 0
|
机器学习/深度学习 算法 数据可视化
深度学习如炼丹,你有哪些迷信做法?网友:Random seed=42结果好
深度学习如炼丹,你有哪些迷信做法?网友:Random seed=42结果好
|
机器学习/深度学习 自动驾驶 算法
为什么你的模型效果这么差,深度学习调参有哪些技巧?
为了防止这些错误发生,Josh给出的建议是:尽可能减少代码的行数,使用现成的组件,然后再构建复杂的数据pipeline。
为什么你的模型效果这么差,深度学习调参有哪些技巧?
|
机器学习/深度学习 数据采集 资源调度
深度学习炼丹-数据预处理和增强
在工业界,数据预处理步骤对模型精度的提高的发挥着重要作用。对于机器学习任务来说,广泛的数据预处理一般有四个阶段(视觉任务一般只需 Data Transformation): 数据清洗(Data Cleaning)、数据整合(Data Integration)、数据转换(Data Transformation)和数据缩减(Data Reduction)。
619 0
|
机器学习/深度学习 存储 算法
深度学习炼丹-超参数设定和模型训练
所谓超参数,即不是通过学习算法本身学习出来的,需要作者手动调整(可优化参数)的参数(理论上我们也可以设计一个嵌套的学习过程,一个学习算法为另一个学习算法学出最优超参数),卷积神经网络中常见的超参数有: 优化器学习率、训练 Epochs 数、批次大小 batch_size 、输入图像尺寸大小。
1198 0
|
机器学习/深度学习 数据采集 算法
深度学习炼丹-不平衡样本的处理
数据层面的处理方法总的来说分为数据扩充和数据采样法,数据扩充会直接改变数据样本的数量和丰富度,采样法的本质是使得输入到模型的训练集样本趋向于平衡,即各类样本的数目趋向于一致。
477 0
|
机器学习/深度学习 数据可视化
深度学习如何调参,LRN全称为Local Response Normalization,Dropout叫作随机失活
调参就是trial-and-error. 没有其他捷径可以走. 唯一的区别是有些人盲目的尝试, 有些人思考后再尝试. 快速尝试, 快速纠错这是调参的关键.
140 0