神经网络

生物神经网络（Biological Neural Networks）：一般指生物的大脑神经元、细胞、触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。生物神经细胞功能比较简单，需要通过很多神经元一起协作完成复杂功能，通过一定的连接方式或信息传递方式进行协作的神经元可以看做是一个网络，就是神经网络。
人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。
人工神经网络，简称神经网络（Artificial Neural Network，ANN）：是由人工神经元互连组成的网络，它是从微观结构和功能上对人脑的抽象、简化，是模拟人类智能的一条重要途径，反映了人脑功能的若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等。
1957：Frank Rosenblatt 提出感知机
1969：Minsky和Papert提出感知机无法解决XOR问题
1980：多层感知机被提出
1986：Hinton提出反向传播算法
1989：George Cybenko提出万能逼近定理（为什么要这么多隐藏层呢？ ）
2006：Hinton推广受限玻尔兹曼机
2009：GPU被用于训练神经网络
2011：神经网络在语音识别任务中被广泛使用
2012：Hinton团队在ILSVRC比赛中提出的AlexNet赢得冠军后，卷积神经网络飞速发展
2016：AlphaGo以4:1击败了围棋世界冠军李世石，之后深度学习飞速发展