开发者学堂课程【机器学习算法 ：人工神经网络概述】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7226
人工神经网络概述
内容介绍
一、人工神经网络及人工智能
二、人工神经网络的发展历史
三、ANN 与大数据
四、ANN 的基本特征
五、ANN 的基本功能
六、ANN 的应用领域
一、人工神经网络及人工智能
1. 智能（intelligence）
是个体有目的的行为，合理的思维以及有效的适应环境的综合能力。或者说智能是个体认识客观事物和运用知识解决问题的能力。
2. 人工智能（Artificial Intelligence,AI）
最初在1956年被引入，它主要研究怎样让计算机模仿人脑从事推理，设计，思考，学习等思维活动，以解决和处理较复杂的问题。简单的讲，人工智能就是研究如何让计算机模仿人脑进行工作。
3. 人工神经网络（Artificial Neural Network,ANN）
是一种旨在模仿人脑结构及其功能的脑式智能信息处理系统。通常以数学和物理的方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型。简单的讲，它是一种数学模型，可以用电子线路来实现，也可以通过计算机程序来模拟，是人工智能的一种重要的研究方法。
4. 智能（intelligence）
是个体有目的的行为，合理的思维以及有效的适应环境的综合能力。或者说智能是个体认识客观事物和运用知识解决问题的能力。
通常认为智能包含以下方面能力：
（1）感知与认识客观事物，客观世界和自我的能力：人类生存最基本的能力，感知是智能的基础
（2）通过学习取得知识与积累经验的能力：人类能够持续发展的最基本的能力
（3）理解知识，运用知识经验去分析，解决问题的能力：智能的高级形式，人类改造世界的基本能力
（4）联想，推理，推断和决策的能力：智能的高级形式，人类对未来和未知的预测，应对能力
运用语言进行抽象，概括的能力：是形式化描述的基础
发现，发明，创造和创新的能力：是第三种能力的高级体现
实时，迅速合理地应对复杂环境的能力：实时反应能力，也是人类生存的基本能力
预测，洞察事物发展，变化的能力：根据历史信息和经验，判断事物未来的发展
人工智能（Artificial Intelligence,AI）最初在1956年被引入，它主要研究怎样让计算机模仿人脑从事推理，设计，思考，学习等思维活动，以解决和处理较复杂的问题。简单的讲，人工智能就是研究如何让计算机模仿人脑进行工作。
由于研究的出发点，方法学以及应用领域的不同，有多个代表性的流派：
符号主义学派：Newell和Simon在1967年提出的假说，认为人工智能源于数学逻辑，通过数学逻辑来描述智能行为，后来发展了启发式算法->专家系统->知识工程的理论。
联想主义学派：代表人物为McCulloch和Pitts，认为人工智能源于仿生学，特别是人脑的研究，并提出MP模型，后来基于该模型衍生出人工神经网络等。
行为主义学派：认为人工智能源于控制论，Wiener等提出的控制论和自组织系统等，立足于模拟人在控制过程中的智能行为和作用，如自组织，自寻优，自适应，自学习等。试图研究在动态系统中保持稳定的方法。
二、人工神经网络（Artificial Neural Network,ANN）的发展历史
萌芽期（？-1949）：
1943年，心理学家 McCulloch 和数学家 Pitts 根据神经元提出 M-P 模型，打下坚实基础
1949年，心理学家 Hebb 提出了人工神经网络的学习规则，称为模型的训练算法的起点
第一高潮期（1950-1968）：
单层感知器：研究者通过电子线路或者计算机去实现单层感知器，包括 Minsky,Rosenblatt 等，被用于各种问题求解，甚至某个阶段内被乐观的认为找到了智能的根源。
反思期（1969-1981）：
1969年，Minsky 和 Papert 发表论文《Percertron》,从理论上严格证明了单层感知器无法解决异或问题，从而引申到无法解决线性不可分的问题，由于大部分问题都是线性不可分的，所以单层感知器的能力有限，人们对ANN的研究进入反思期。
积极成果，如 Arbib 的竞争模型，Kohonen 的自组织映射，Grossberg 的自适应共振模型（ART）,Rumellhart 等人的并行分布处理模型（PDP）等。
第二高潮期（1982-90年代）：
1982年，Hopfield 提出了循环网络，1984年研制了 Hopfiled 网络，解决了 TSP 问题
1985年，美国加州大学圣地亚哥分校的 Hinton,Rumellhart 等提出了 Boltzmann 机
1986年，Rumellhart 等人提出了用于多层网络训练的BP算法，对 ANN 起到了重大的推动作用
1987年，第一届神经网络会议在加州举办，1600+人参加，1990年12月，国内第一届在北京举行
新时期（90年代至今）：
神经网络已经成为涉及神经生理科学，认知科学，数理科学，心理学，信息科学，计算机科学，微电子学，光学，生物电子学等多学科交叉，综合的前沿学科。
神经网络的应用已经渗透到模式识别，图像处理，非线性优化，语音处理，自然语言理解，自动目标识别，机器人，专家系统等领域，并取得了令人瞩目的成果。
各种会议，论坛，刊物，活动等越来越多。
除了神经研究本身的突破和进展之外，相关的领域也都取得了长足的发展
三、ANN 与大数据
大数据时代来临，使得原有的浅层神经网络无法满足需要，深度学习（多隐层，抽象）的概念和应用逐步为人工智能带来了机会。现阶段主要体现在三个方面：文本，图像和语音识别。
Jeffery Hinton 神经网络之父，2006年，提出 DL，深度学习的概念，在神经网络基础上增加更多隐藏层。
Andrew Ng 和 Jeff Dean主导了 Google Brain，Google 内部用于训练大规模深度神经网络的框架，16000核。
Yann Lecun 基于深度学习的 Facebook 的人脸识别 deepface 在2014年识别率达到了97.25%。
四、ANN 的基本特征
结构特点：
信息处理的并行性：单个单元处理简单，可以大规模并行处理，有较快的速度
信息存储的分布性：信息不是存储在网络中的局部，而是分布在网络所有的连接权中
信息处理单元的互联性：处理单元之间互联，呈现出丰富的功能
结构的可塑性：连接方式多样，结构可塑
性能特点：
高度的非线性：多个单元链接，体现出非线性
良好的容错性：分布式存储结构的结构特点使容错性好
计算的非精确性：当输入模糊信息时，通过处理连续的模拟信号及不精确的信息逼近解而非精确解
能力特征
自学习，自组织与自适应性：根据外部环境变化通过训练或感知，能调节参数适应变化（自学习），并可按输入刺激调整构建神经网络（自组织）
五、ANN 的基本功能：
联想记忆，非线性映射，分类识别，优化计算，知识处理
六、ANN 的应用领域
信息领域：信号处理，模式识别，数据压缩
自动化领域：系统辨识，神经控制器，智能检测
工程领域：汽车工程，军事工程，化学工程，水利工程
医学领域：检测数据分析，生物活性研究，医学专家系统
经济领域：信贷分析，市场监测，监督管理
