5 贝叶斯(计算)
贝叶斯定理
贝叶斯定理中:先验概率、似然函数和后验概率。举例:在丛林发现某一生物(假设两类:人A或者猩猩B)有长长的手臂C,
先验概率:在丛林中出现猩猩的概率更大,即设是猩猩的概率p(B)为0.7,可得P(A)=0.3;(通过生活中的一些经验得到的,可轻易得到的)
似然函数为p(C|B),即猩猩表现为手臂较长的可能性(似然)较大;
后验概率为p(B|C),即通过手臂较长这个条件判断该生物为猩猩的概率。
所以贝叶斯定理的核心思想是:通过先验概率和似然函数最终求得后验概率。
举例
6 BP(原理、应用)
全连接前馈网络
4x20+20+20x3+3
7 训练技巧(Batch,lr,…)
伪代码
INPUT:数据集 D = {(xi,yi)}(i:1~N) 数据划分:训练集 D1 = {(xi,yi)}(i:1~m) 测试集 D2= {(xi,yi)}(i:1~p) 训练阶段: 定义学习率 η 在(0,1)内初始化神经元的连接权值和阈值; REPEAT FOR ALL (xk,yk)IN D1 根据当前样本的数据计算神经网络输出; 计算神经网络输出与标签值的误差; 根据误差计算各个参数的下降梯度; 根据下降梯度更新参数; END UNTIL 达到迭代次数 OUTPUT = BP神经网络 测试阶段: 输入:所有(xk,yk)IN D2 根据D2样本的数据计算神经网络的输出; 输出预测准确率;
8 CNN(参数、特征图)
CNN
卷积操作
举例
假设输入的图像为100*100像素(RGB)的图像, 且使用了卷积层进行处理, 其包括100个过滤器,每个的尺寸为5*5,则这个隐藏层需要多少参数(包括偏置参数)? 100*(5*5*3+1)=7600
池化操作
池化操作没有学习的参数
VGG16