6.25 日落的教训
前一代神经网络是联结主义开创性工作的延伸。这种神经网络能逐渐改变每一个突触连接的数值，这些数值代表了连接的强度，即一个神经元有多大可能性能将一个信号传递给另一个神经元。深度学习网络所使用的算法，在每次观察到新图像时都会轻微改变这些值。每个这些值都会逐渐接近能让该神经网络更好预测图像内容的值。
为了达到最好效果，当前的学习算法需要人类的密切参与。这些算法中大部分都使用监督式学习，其中每一个样本都有人类制作的关于其学习内容的标签——比如，一张日落的照片会和“日落”的标题相关联。在这个例子中，监督式学习算法的目标是拍摄一张照片作为输入，然后得出图像中关键对象名称的输出。这个输入到输出的数学转换过程被称为函数（function）。得出这一函数的那些数值——比如突触强度——对应着一个解决该学习任务的方案。
通过死记硬背的学习方式得到正确答案会很容易，但却没什么用。我们希望教会该算法理解“日落”是什么，然后，让其可以识别任何日落图像，甚至是那些其从未在训练中遇到过的图像。这种辨别任何日落景象的能力——换句话说，超越特定样本的概括性学习的能力——是所有机器学习算法的主要目标。事实上，任何网络训练质量的评估方式，都是使用其之前从未见过的样本对其进行测试。对新样本进行正确归纳有很大的难度，因为对应于任何分类（如日落）的可能变化的集合都几乎是无限的。
为了从众多被观察样本中进行成功归纳，用在深度学习网络中的学习算法所需的不仅仅是样本本身，还依赖于关于数据的假设以及对于一个特定问题可能的解决方案的假设。一个构建于软件中的典型假设可能会假定：如果特定函数的数据输入是相似的，那么，输出也不应该出现彻底的改变——改变一张猫图像上的几个像素不应该将被识别的动物变成狗。
一种整合了对图像的假设的神经网络被称为卷积 神 经 网 络（convolutional neural network），它已经变成了助力人工智能复兴的关键技术。深度学习所采用的卷积神经网络，有许多层按某种方式组织起来的神经元，这样可以降低输出对变化图像中的主要对象的敏感度，比如，当其位置轻微移动时——一个训练良好的网络可能能从不同照片中的不同角度识别一张脸。卷积网络的设计灵感来自多层结构的视觉皮层——我们大脑中接收眼睛输入的部分。卷积神经网络中许多层的虚拟神经元是让网络“（具有）深度”的原因，也因此能让其更好地理解周围的世界。
