一:绪论
人工智能:使一部机器人像人一样进行感知、认知、决策、执行的人工程序或系统。
标志事件表:
人工智能诞生:1956年的达特茅斯会议
三个层面:目前处于第二个
分类:
三起两落:
其中第一次是感知机的出现,第二次是BP的出现,第三次是包括是三个,分别是:逐层预训练算法、深度学习算法在ImageNet以及2016年的AlphaGo。
二:基础知识
1.机器学习三要素:模型、学习准则、优化算法。
模型:映射函数。
学习准则:经验风险最小化。
优化算法:梯度下降。
2.神经网络
一般是非凸函数
3.梯度下降
随机梯度下降—SGD
批量梯度下降
小批量梯度下降
4.范数
向量:
L1范数:各个元素的绝对值之和。
L2范数:每个数的平方的和,然后再开方。
L无穷:向量中最大值。
矩阵:
L范数:每个数的p次方,然后累加,然后再开p次方
5.感知机
阶跃激活函数,没有隐藏层。算机器学习的一个第一个阶段。