1.2 常见激活函数

sigmoid tanh ReLU ELU

1.3 感知机

单层感知机是多个M-P神经元模型的组合,神经网络的初级模型

两层神经网络(多层感知器MLP),一个输入层一个输出层中间还有一个隐藏层,全连接层

多层前馈神经网络

反馈神经网络 输出还会接入到自身的输入  代表网络:HopField网络

1.4 神经网络的概念层次

1. 神经网络

1. 人工神经网络 ANN

1. 前馈神经网络

1. 单层
2. 两层
3. 多层

1. DNN
2. DBN
3. CNN

2. 反馈神经网络

2. 生物神经网络

2. 深度学习概念和方法

2.1 概念

输入层

输出层

隐藏层

One-Hot编码(数据离散化) 离散化之后可以使用欧式距离计算公式计算两点间距离

正向传播

反向传播

损失函数 mse

2.2 方法

1. 连接主义: 构建网络

1. 确定输入层和输出层的神经元格数
2. 确定隐藏层的个数
3. 隐藏层的激活函数

2. 确定损失函数
3. 优化算法

1. 批量梯度下降算法
2. 随机梯度下降算法
3. mini梯度下降算法
4. ...

4. 训练
5. 获取模型
6. 预测

3.常见的深度神经网络

1. DNN

1. MLP
2. CNN 卷积

1. 卷积运算
2. 局部感知
3. 权值共享
4. 下采样
5. 图像领域

3. RNN 循环

1. 文本语音 适用于与时间序列有关的样本

4. GAN 对抗

1. 生成器
2. 判别器
3. 无监督算法

5. Auto-encoder 自编码器网络

1. 无监督算法
2. 有损算法
3. 

4.深度学习编程实战

4.1 基础知识

1. python
2. python相关数据预处理包,sklearn机器学习包
3. 深度学习编程框架 tensorflow pytorch pytorch lighting keras
4. 深度学习理论