开发者社区> 技术小能手> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

深度神经网络基本问题的原理详细分析和推导

简介: rt,深度神经网络基本问题的原理详细分析和推导
+关注继续查看

目录
神经网络算法的直观了解
21 表征假设和激活函数
1 神经网络过程描述
2 神经网络相关的几个问题
22 结构设计Architecture Design
23 代价函数Cost Function和优化目标Optimization objective
24 如何进行优化
3 参考资料
前馈传播和结构设计
11 本章节说明
12 通用逼近定理的严谨表述
12 从非线性讲起为什么使用激活函数
13 前馈网络拟合函数过程
2 前馈网络进行逼近的拟合过程
121 来自Approximation by Superpositions of a Sigmoidal Function这篇论文的观点
121 来自On the Number of Linear Regions of Deep Neural Networks这篇论文的观点
11 以sigmoid为例
11 ReLU的拟合
1 通用逼近性质理论Universal Approximation PropertiesTheorem神经网络可以逼近任意函数
3 关于通用逼近定理的补充说明
4 参考资料
目标优化
11 从单变量函数开始
12 多元函数的梯度下降
2 学习率learning rate的选择
1 基于梯度的目标优化
3 其他优化算法
4 参考资料
基于梯度的神经网络优化
31 BP算法的定义理解误区
32 预备知识
33 深度神经网络中递归使用链式法则
34 反向传播算法的伪代码
35 补充基于计算图的更通用的反向传播伪代码
361 反向传播过程
321 张量tensor
322 微积分中的链式法则和其在高维度的推广
341 基于全连接的多层感知机的伪代码
351 上一节的代码的改进空间
351 计算图Computational Graphs
352 举例说明
21 广义线性模型generalized linear model GLM
22 广义线性模型
23 伯努利分布Bernoulli Distributions和Sigmoid 函数单元
24 其他输出层的激活函数单元
241 多项分布和广义线性模型
242 其他分布和对应单元
25 本节其他参考资料
211 指数族Exponential family or Exponential class
221 广义线性模型的直观解释从线性模型讲起
222 数学定义
231 伯努利分布和广义线性模型
232 sigmoid为激活函数的交叉熵代价函数的推导后续
233 梯度下降法的进一步推导交叉熵解决函数饱和saturates问题
11 极大似然法和交叉熵Maximum Likelihood Estimation
12 交叉熵cross-entropy error代价函数
122 交叉熵代价函数
123 交叉熵代价函数的好处
13 本节其他参考资料
111概率统计知识总体样本随机变量独立同分布参数估计
112 极大思然估计
121 交叉熵相对熵KL散度的概念
1 目标函数的表达式模型的确定
2 选择概率分布模型和对应的输出单元
3 多层网络的梯度如何获得
4 参考资料
前馈传播过程隐藏层激活函数
31 logistic Sigmoid
32 双曲切线函数tanh
21 ReLu
22 ReLU的扩展
23 ReLU的设计原则
1 激活函数期待具有的性质
11 非线性
12 只有有限个离散点不可微non-differentiability
13 有限范围
14 接近恒等函数
2 线性整流单元Rectified Linear Units和其衍生单元
3 Logistic Sigmoid 和 Hyperbolic Tangent
4 参考资料

__20180730104523
__20180730104535
__20180730104547
__20180730104555


原文发布时间为:2018-07-30
本文作者:大数据挖掘DT机器学习
本文来自云栖社区合作伙伴“大数据挖掘DT机器学习”,了解相关信息可以关注“大数据挖掘DT机器学习”。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
面试必备基本知识HTTPS 原理分析
随着 HTTPS 建站的成本下降,现在大部分的网站都已经开始用上 HTTPS 协议。大家都知道 HTTPS 比 HTTP 安全,也听说过与 HTTPS 协议相关的概念有 SSL 、非对称加密、 CA证书等,但对于以下灵魂三拷问可能就答不上了: 1.为什么用了 HTTPS 就是安全的? 2.HTTPS 的底层原理如何实现? 3.用了 HTTPS 就一定安全吗? 本文将层层深入,从原理上把 HTTPS 的安全性讲透。
1438 0
MapReduce原理分析之MapTask读取数据
通过前面的内容介绍相信大家对于MapReduce的操作有了一定的了解,通过客户端源码的分析也清楚了split是逻辑分区,记录了每个分区对应的是哪个文件,从什么位置开始到什么位置介绍,而且一个split对应一个Map Task任务,而MapTask具体是怎么读取文件的呢?本文来具体分析下。
31 0
解读神经形态计算:从基本原理到实验验证
长期以来,人脑一直给研究者们提供着灵感,因为它从某种程度上以有效的生物能量支持我们的计算能力,并且以神经元作为基础激发单位。受人脑的低功耗和快速计算特点启发的神经形态芯片在计算界已经不是一个新鲜主题了。由于复杂算法和架构的快速发展,散热已经成为了一个重大挑战。神经形态计算或许会是超大规模机器和人工智能应用(例如自动驾驶)未来的基石。
121 0
WDA原理分析
1、什么是WDA WebDriverAgent是Facebook 在17年的 SeleniumConf 大会上推出了一款新的iOS移动测试框架。 下面摘录一段官方对于WebDriverAgent的介绍字段:(官方文档:https://github.com/facebook/WebDriverAgent) WebDriverAgent 在 iOS 端实现了一个 WebDriver server ,借助这个 server 我们可以远程控制 iOS 设备。
9633 0
编译原理实验2-递归下降分析法
#include <stdio.h> #include <string.h> #include <stdlib.h> char prog[80],token[8]; char ch; int syn=-1,p,t; void scanner(); void statement(); void expression_r(); void term(); v
1324 0
+关注
技术小能手
云栖运营小编~
7194
文章
9
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载