华为ICT——第一章-神经网络基础 私人笔记

1.1机器学习方法分类 1：监督 2：无监督 3：自监督  

机器学习整体步骤：

2.

生物神经网络：

3.宽度=个数

4.

人工神经网络：

5.

输入层——隐藏层——输出层

6.深度学习发展史：

7.

大模型核心：Transformer

损失函数：

经验值：

真实值与预测值的差距：小-准确。相反。最小值（最小化）

梯度下降：增长的最快

反向传播：

更新参数：

均方差损失函数：（主要用于回归问题）

交叉熵损失函数：（主要用于分类问题）

梯度下降法：

小批量梯度下降Mbgd（一般都用）：

 

优化器：

 SGD：随机优化器随机梯度下降（SGD）与其他优化器的比较 - 知乎

动量优化器（惯性）：

 

一直到全局最优值

Aagrad优化器：

为不同的参数设置不同的学习率，而且学习率会随着模型训练不断变化----Adagrad

Adam：为每个待训练的参数，同时考虑了珂调节的动量项以及可调节的学习率

神经网络的架构设计

深度：隐藏层

RMSE（均方根误差）指标越小越好

 

1：训练时间过长（误差变高了。）

2：梯度消失

第一章笔记就结束啦，不懂的欢迎私聊up主