开发者学堂课程【神经网络概览及算法详解：人工神经网络概述】学习笔记与课程紧密联系，让用户快速学习知识
课程地址：https://developer.aliyun.com/learning/course/40/detail/915
人工神经网络概述
内容介绍
一、前言
二、智能
三、人工智能
四、人工神经网络
一、前言
在机器学习中有一个非常重要的算法，就是人工神经网络，目前所熟知的人工智能应用，里面有相当一部分都是通过人工神经网络或者延伸算法来实现的。
二、智能
1.智能的概念
首先看一下智能（ Intelligence ），是个体有目的的行为，合理的思维以及有效的适用环境的综合能力，或者说智能是个体认识客体事物和运用知识解决问题的能力。通常会理解成在一个复杂的环境中，随着环境的变化，我们能产生一些有效的反应能力。
2.智能的能力
通常认为智能包含以下方面的能力：
（1）感知与认识客观事物、客观世界和自我的能力，这是人类生存最基本的能力，感知是智能的基础。
（2）通过学习取得知识与积累经验的能力，这是人类能够持续发展的最基本的能力。
（3）理解知识，运用知识经验去分析、解决问题的能力，这是智能的高级形式，是人类改造世界的基本能力。
（4）拥有联想、推理、判断和决策的能力，是智能的高级形式，用于人类对未来和未来的预测，属于应对能力。
（5）运用语言进行抽象、概括的能力，这是形象化描述的基础。
（6）拥有发现、发明、创造和创新的能力，这是第三种能力的高级体现。
（7）拥有实时、迅速、合理地应付复杂环境的能力，是实时反应能力，也是人类生存的基本能力。
（8）拥有预测、洞察事物发展、变化的能力，是根据历史信息和经验判断事物未来的发展。
三、人工智能
1.人工智能的概念
人工智能（ Artificial Intelligence，AI ），最初在1956年被引入，它主要研究怎样让计算机模仿人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。简单的讲，人工智能就是研究如何让计算机模仿人脑进行工作。
2.人工智能的流派
由于研究的出发点、方法学以及应用领域的不同，有多个代表性的流派：
（1）符号主义学派，代表人物是 Newell 和 Simon ，人工智能的概念也由这个学派提出。他们认为人工智能源于数学逻辑，通过数学逻辑来描述智能行为，后来发展了启发式算法->专家系统->知识工程的理论。在较长时间内，专家系统还是比较成功的。
（2）联接主义学派，代表人物是 McCulloch 和 Pitts ，他们认为人工智能源于仿生学，特别是人脑的研究并提出了 MP 模型，后来基于该模型衍生出人工神经网络等。
（3）行为主义学派，他们认为人工智能源于控制论， Wiener 等人。提出的控制论和自组织系统等，立足于模拟人在控制过程中的智能行为和作用，如自组织、自寻优、自适应、自学习等。控制论的核心是试图研究在一个动态系统中如何保持稳定的一个学科。
四、人工神经网络
1.人工神经网络的概念
人工神经网络（ Artificial Neural Network ， ANN ），是一种旨在模仿人脑结构及其功能的脑式智能信息处理系统。通常以数学和物理的方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型。
简单的讲，它是一种数学模型，可以用电子线路来实现，也可以通过计算机程序来模拟，是人工智能的一种研究方法。在后面的学习中可以发现，人工神经网络源于仿生，即要想模拟人脑，首先要了解人脑是怎么工作的，然后就发现人脑由很多神经元组成，他们之间存在一些工作机制。在研究过程中就会尝试去模拟这些工作机制，从而尝试实现人工智能。
2.人工神经网络的发展史
萌芽期是到了1949年，1943年心理学家 McCulloch 和数学家 Pitts 根据神经元提出 MP 模型，该模型对人脑中的神经元做了一个简化，为神经网络打下了坚实的基础。1949年心理学家 Hebb 提出了人工神经网络的学习规则，称为模型的训练算法的起点。
第一高潮期是在1950年到1968年期间。在这个期间出现了单层感知器，研究者可以通过一个电子线路或者计算机去实现单层感知器，包括 Minsky 、 Rosenblatt 等，被用于各种问题的求解，甚至在某个阶段内，被乐观的认为找到了智能的根源。
反思期存在于1969年到1981年。1969年， Minsky 和 Papert 发表论文《 Perceptron 》，从理论上严格证明了单层感知器无法解决异或问题，从而引申到无法解决线性不可分的问题，由于大部分问题都是线性不可分的，所以单层感知器的能力有限，人们对 ANN 的研究进入反思期，认为神经网络的作用可能没有理想中的好。
与此同时，也取得了一些积极成果，如说 Arbib 的竞争模型、 Kohonen 的自组织映射、以及 Grossberg 的自适应共振模型（ ATT ）、 Rumellhart 等人的并行分布式处理模型（ PDP ）等。
第二高潮期是1982年到90年代之间。1982年 Hopfield 提出了循环网络，在1984年时研制了 Hopfield 网络，解决了 TSP 问题。这两种网络一个是连续的，一个是离散的。1985年，美国加州大学圣地亚哥分校的 Hinton 、 Rumellhart 提出了 Boltzmann 机。1986年， Rumellhart 等人提出了用于多层网络训练的 BP 算法，对 ANN 起到了重大的推动作用。方便在神经网络中获得并确定多个参数。1987年，第一届神经网络国际会议在加州举行，有超过1600人。1990年12月，国内第一届神经网络会议在北京举行。
新时期是从90年代至今。神经网络已经成为涉及神经生理科学、认知科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、生物电子学等多学科交叉、综合的前沿学科，它的应用已经渗透到模式识别、图像处理、非线性优化、语音处理、自然语言理解、自动目标识别、机器人、专家系统等领域，并取得了令人瞩目的成果，有关它的各种会议、论坛、刊物、活动等也越来越多，除了神经研究本身的突破和进展之外，相关的领域也取得了长足的发展。
随着大数据时代的来临，使得原有的浅层神经网络无法满足需要，深度学习（多隐层、抽象）的概念和应用逐步为人工智能带来了机会，现阶段主要体现在文本、图像和语音识别这三个方面。主要的代表人物有 Jeffrey Hinton ，他被称为神经网络之父，在2006年提出了 Deep Learning （ DL ），提出在神经网络技术上增加更多的隐藏层。 Andrew Ng 和 Jeff Dean ，他们主导了 Google Brain ，是 Google 内部用于训练大规模深度神经网络的框架，最多的时候超过16000核。 Yann Lecun 基于深度学习创建了 deepface 项目，用于人脸识别，在2014年时，它的识别率已经达到97.25%。如果使用人工来识别，识别率可能还没有这么高。
3.人工神经网络的基本特征
首先是结构特点，包括：
（1）信息处理的并行性。单个单元处理较简单，能大规模并行处理，可以通过扩展资源快速实现完全训练或数据预测，有较快的处理速度。
（2）信息存储的分布性。信息不是存储在网络中的局部，而是分布在网络所有的连接权中。建立模型后，所有的模型信息都分布在整个网络中，比如说网络结构、权重、阈值等。
（3）信息处理单元的互联性。处理单元之间互联，呈现出丰富的功能。理论上讲，人工神经网络可以无限逼近任意曲线。
（4）结构的可塑性。连接方式多样，结构可塑。实际上有各种各样的连接形式。
接下来是性能特点，包括：
（1）它有高度的非线性。多个单元链接，体现出非线性。
（2）它有良好的容错性。分布式存储的结构特点是容错性更好。
（3）它有计算的非精确性。当输入模糊信息时，通过处理连续的模拟信号及不精确的信息逼近最优解而非精确解。
然后是能力特征，它拥有自学习、自组织与自适应性，根据外部环境变化，通过训练或感知，能调节参数适应变化（自学习），并可按输入刺激调整构建神经网络（自组织）。简单地说，它可以通过调节网络中的各个参数，来适应变化，即自学习。它也可以按照输入的不同来调节自身的网络结构，即自组织。
4.人工神经网络的应用
人工神经网络的应用范围非常广泛，比如可用于联想记忆（可以通过书的一部分信息来联想到整个的信息）、非线性映射、分类识别（图片或语音识别）、优化计算（ TSP 优化求解）和知识处理（相对较高级的应用）。
主要的应用领域有信息领域，可用于信号处理、模式识别、数据压缩等；自动化领域，可用于系统辨识、神经控制器、智能检测等；工程领域，可用于汽车工程、军事工程、化学工程、水利工程等；医学领域，可用于检测数据分析、生物活性研究、医学专家系统等；经济领域，可用于信贷分析、市场预测、监督管理等，它的应用非常的广泛。
