fast.ai 深度学习笔记:第一部分第四课-阿里云开发者社区

开发者社区> apachecn_飞龙> 正文

fast.ai 深度学习笔记:第一部分第四课

简介: 原文:Deep Learning 2: Part 1 Lesson 4 作者:Hiromi Suenaga 课程论坛 学生的文章: 改善学习率的方式 循环学习率技术 探索带有重启动的随机梯度下降(SGDR) 使用差异学习率的迁移学习 让计算机看得比人类更好 Dropout [04:59] learn = ConvLearner.pretrained(arch, data, ps=0.5, precompute=True) precompute=True :预计算来自最后一个卷积层的激活。
+关注继续查看

原文:Deep Learning 2: Part 1 Lesson 4

作者:Hiromi Suenaga

学生的文章:

image.png

Dropout [04:59]

learn = ConvLearner.pretrained(arch, data, ps=0.5, precompute=True) 

  • precompute=True :预计算来自最后一个卷积层的激活。 请记住,激活是一个数字,它是根据构成内核/过滤器的一些权重/参数计算出来的,它们会应用于上一层的激活或输入。
learn 

Sequential(
  (0): BatchNorm1d(1024, eps=1e-05, momentum=0.1, affine=True)
  (1): Dropout(p=0.5)
  (2): Linear(in_features=1024, out_features=512)
  (3): ReLU()
  (4): BatchNorm1d(512, eps=1e-05, momentum=0.1, affine=True)
  (5): Dropout(p=0.5)
  (6): Linear(in_features=512, out_features=120)
  (7): LogSoftmax()
)

learn - 这将显示我们最后添加的层。 这些是我们在precompute=True时训练的层

(0),(4): BatchNorm将在上一课中介绍

(1),(5):Dropout

(2): Linear层仅仅是矩阵乘法。 这是一个包含 1024 行和 512 列的矩阵,因此它将接受 1024 个激活并输出 512 个激活。

(3): ReLU - 只是用零替换负数

(6): Linear - 第二个线性层,从前一个线性层获取 512 个激活并将它们乘以 512 乘 120 的新矩阵并输出 120 个激活

(7): Softmax - 激活函数,返回最大为 1 的数字,每个数字在 0 和 1 之间:

image.png

出于较小的数值精度原因,事实证明最好直接使用 softmax 的 log 而不是 softmax [15:03]。这就是为什么当我们从模型中得到预测时,我们必须执行np.exp(log_preds)

阅读更多

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
什么是机器学习?机器变得越来越聪明,不再是科幻电影
机器学习(ML)是教导计算机系统根据一组数据进行预测的过程。通过为系统提供一系列的试验和错误场景,机器学习研究人员致力于创建 可以分析数据,回答问题并自行做出决定的人工智能系统。
1502 0
阿里云实践训练营第一天——Class1打造专属云笔记
阿里云实践训练营第一天——Class1打造专属云笔记
112 0
BOOST ASIO 学习专贴
本文已于20170903更新完毕,所有boost asio 代码均为本人手抄。编译器为vs2013,并且所有代码已经上传,本文下方可下载源码       为了学习boost asio库,我是从boost的官方boost asio的教程学起的。
1164 0
ECS训练营打卡第一天(打造专属笔记)---北宸@
ECS训练营打卡第一天(打造专属笔记)
164 0
动态 | 从零开始快速入门深度强化学习,OpenAI 发布学习资源 Spinning Up
资源包含了易懂的深度强化学习代码示例、习题、文档和教程。
264 0
深度学习入门笔记系列 ( 一 )
本系列将分为 8 篇 。今天是第一篇 ,工欲善其事必先利其器 ,先简单讲讲当前的主流深度学习框架 TensorFlow 及其安装方法 。
2157 0
+关注
apachecn_飞龙
Github:@wizardforcel 简书:@ApacheCN_飞龙 微博:@龙雀 CSDN:@wizardforcel ApacheCN 官网:apachecn.org 机器学习交流群:629470233
719
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载