为什么卷积神经网络不是全连接
卷积有池化进行维度压缩导致压缩去的点就不进行连接；
卷积：特征提取
池化：压缩维度，降低运算复杂度
激活：放大特征，防止梯度消失；
损失函数：梯度下降，寻找最优
卷积，池化，激活，损失函数
卷积
CNN提取局部信息的方式是通过卷积来实现的。
池化
池化层的主要作用是压缩特征，或者说是降低维度。当数据的维度比较高时，计算难度会急剧上升，可以通过降低维度的方法来降低所需算力。
步骤：
- 选择窗口大小 (usually 2 or 3).
- 选择间隔 (usually 2).
- 使用窗口遍历特征图.
- 每个窗口取最大值.
激活
激活层的作用是微调数据，避免梯度消失。
eg: ReLU()
卷积神经网络是干嘛的其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征
卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)，因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks, SIANN)”。
对卷积神经网络的研究始于二十世纪80至90年代，时间延迟网络和LeNet-5是最早出现的卷积神经网络;在二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域。
卷积神经网络仿造生物的视知觉(visual perception)机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程(feature engineering)要求。
