人工神经网络概述| 学习笔记

简介: 快速学习人工神经网络概述。

开发者学堂课程【机器学习算法 :人工神经网络概述】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/535/detail/7226


人工神经网络概述

 

内容介绍

一、人工神经网络及人工智能

二、人工神经网络的发展历史

三、ANN 与大数据

四、ANN 的基本特征

五、ANN 的基本功能

六、ANN 的应用领域

 

一、人工神经网络及人工智能

1. 智能(intelligence)

是个体有目的的行为,合理的思维以及有效的适应环境的综合能力。或者说智能是个体认识客观事物和运用知识解决问题的能力。

2. 人工智能(Artificial Intelligence,AI)

最初在1956年被引入,它主要研究怎样让计算机模仿人脑从事推理,设计,思考,学习等思维活动,以解决和处理较复杂的问题。简单的讲,人工智能就是研究如何让计算机模仿人脑进行工作。

3. 人工神经网络(Artificial Neural Network,ANN)

是一种旨在模仿人脑结构及其功能的脑式智能信息处理系统。通常以数学和物理的方法以及信息处理的角度对人脑神经网络进行抽象,并建立某种简化模型。简单的讲,它是一种数学模型,可以用电子线路来实现,也可以通过计算机程序来模拟,是人工智能的一种重要的研究方法。

4. 智能(intelligence)

是个体有目的的行为,合理的思维以及有效的适应环境的综合能力。或者说智能是个体认识客观事物和运用知识解决问题的能力。

通常认为智能包含以下方面能力:

(1)感知与认识客观事物,客观世界和自我的能力:人类生存最基本的能力,感知是智能的基础

(2)通过学习取得知识与积累经验的能力:人类能够持续发展的最基本的能力

(3)理解知识,运用知识经验去分析,解决问题的能力:智能的高级形式,人类改造世界的基本能力

(4)联想,推理,推断和决策的能力:智能的高级形式,人类对未来和未知的预测,应对能力

运用语言进行抽象,概括的能力:是形式化描述的基础

发现,发明,创造和创新的能力:是第三种能力的高级体现

实时,迅速合理地应对复杂环境的能力:实时反应能力,也是人类生存的基本能力

预测,洞察事物发展,变化的能力:根据历史信息和经验,判断事物未来的发展

人工智能(Artificial Intelligence,AI)最初在1956年被引入,它主要研究怎样让计算机模仿人脑从事推理,设计,思考,学习等思维活动,以解决和处理较复杂的问题。简单的讲,人工智能就是研究如何让计算机模仿人脑进行工作。

由于研究的出发点,方法学以及应用领域的不同,有多个代表性的流派:

符号主义学派:Newell和Simon在1967年提出的假说,认为人工智能源于数学逻辑,通过数学逻辑来描述智能行为,后来发展了启发式算法->专家系统->知识工程的理论。

联想主义学派:代表人物为McCulloch和Pitts,认为人工智能源于仿生学,特别是人脑的研究,并提出MP模型,后来基于该模型衍生出人工神经网络等。

行为主义学派:认为人工智能源于控制论,Wiener等提出的控制论和自组织系统等,立足于模拟人在控制过程中的智能行为和作用,如自组织,自寻优,自适应,自学习等。试图研究在动态系统中保持稳定的方法。

 

二、人工神经网络(Artificial Neural Network,ANN)的发展历史

萌芽期(?-1949):

1943年,心理学家 McCulloch 和数学家 Pitts 根据神经元提出 M-P 模型,打下坚实基础

1949年,心理学家 Hebb 提出了人工神经网络的学习规则,称为模型的训练算法的起点

第一高潮期(1950-1968):

单层感知器:研究者通过电子线路或者计算机去实现单层感知器,包括 Minsky,Rosenblatt 等,被用于各种问题求解,甚至某个阶段内被乐观的认为找到了智能的根源。

反思期(1969-1981):

1969年,Minsky 和 Papert 发表论文《Percertron》,从理论上严格证明了单层感知器无法解决异或问题,从而引申到无法解决线性不可分的问题,由于大部分问题都是线性不可分的,所以单层感知器的能力有限,人们对ANN的研究进入反思期。

积极成果,如 Arbib 的竞争模型,Kohonen 的自组织映射,Grossberg 的自适应共振模型(ART),Rumellhart 等人的并行分布处理模型(PDP)等。

第二高潮期(1982-90年代):

1982年,Hopfield 提出了循环网络,1984年研制了 Hopfiled 网络,解决了 TSP 问题

1985年,美国加州大学圣地亚哥分校的 Hinton,Rumellhart 等提出了 Boltzmann 机

1986年,Rumellhart 等人提出了用于多层网络训练的BP算法,对 ANN 起到了重大的推动作用

1987年,第一届神经网络会议在加州举办,1600+人参加,1990年12月,国内第一届在北京举行

新时期(90年代至今):

神经网络已经成为涉及神经生理科学,认知科学,数理科学,心理学,信息科学,计算机科学,微电子学,光学,生物电子学等多学科交叉,综合的前沿学科。

神经网络的应用已经渗透到模式识别,图像处理,非线性优化,语音处理,自然语言理解,自动目标识别,机器人,专家系统等领域,并取得了令人瞩目的成果。

各种会议,论坛,刊物,活动等越来越多。

除了神经研究本身的突破和进展之外,相关的领域也都取得了长足的发展

 

三、ANN 与大数据

大数据时代来临,使得原有的浅层神经网络无法满足需要,深度学习(多隐层,抽象)的概念和应用逐步为人工智能带来了机会。现阶段主要体现在三个方面:文本,图像和语音识别。

Jeffery Hinton 神经网络之父,2006年,提出 DL,深度学习的概念,在神经网络基础上增加更多隐藏层。

Andrew Ng 和 Jeff Dean主导了 Google Brain,Google 内部用于训练大规模深度神经网络的框架,16000核。

Yann Lecun 基于深度学习的 Facebook 的人脸识别 deepface 在2014年识别率达到了97.25%。

 

四、ANN 的基本特征

结构特点:

信息处理的并行性:单个单元处理简单,可以大规模并行处理,有较快的速度

信息存储的分布性:信息不是存储在网络中的局部,而是分布在网络所有的连接权中

信息处理单元的互联性:处理单元之间互联,呈现出丰富的功能

结构的可塑性:连接方式多样,结构可塑

性能特点:

高度的非线性:多个单元链接,体现出非线性

良好的容错性:分布式存储结构的结构特点使容错性好

计算的非精确性:当输入模糊信息时,通过处理连续的模拟信号及不精确的信息逼近解而非精确解

能力特征

自学习,自组织与自适应性:根据外部环境变化通过训练或感知,能调节参数适应变化(自学习),并可按输入刺激调整构建神经网络(自组织)

 

五、ANN 的基本功能:

联想记忆,非线性映射,分类识别,优化计算,知识处理

 

六、ANN 的应用领域

信息领域:信号处理,模式识别,数据压缩

自动化领域:系统辨识,神经控制器,智能检测

工程领域:汽车工程,军事工程,化学工程,水利工程

医学领域:检测数据分析,生物活性研究,医学专家系统

经济领域:信贷分析,市场监测,监督管理

相关文章
|
2月前
|
Ubuntu 网络安全 图形学
Ubuntu学习笔记(二):ubuntu20.04解决右上角网络图标激活失败或者消失,无法连接有线问题。
在Ubuntu 20.04系统中解决网络图标消失和无法连接有线网络问题的方法,其中第三种方法通过检查并确保Windows防火墙中相关服务开启后成功恢复了网络连接。
561 0
Ubuntu学习笔记(二):ubuntu20.04解决右上角网络图标激活失败或者消失,无法连接有线问题。
|
2月前
|
机器学习/深度学习 数据可视化 Linux
Seaborn可视化学习笔记(一):可视化神经网络权重分布情况
这篇文章是关于如何使用Seaborn库来可视化神经网络权重分布的教程,包括函数信息、测试代码和实际应用示例。
47 0
|
2月前
|
机器学习/深度学习 存储 自然语言处理
深度学习入门:循环神经网络------RNN概述,词嵌入层,循环网络层及案例实践!(万字详解!)
深度学习入门:循环神经网络------RNN概述,词嵌入层,循环网络层及案例实践!(万字详解!)
|
2月前
|
机器学习/深度学习 PyTorch API
深度学习入门:卷积神经网络 | CNN概述,图像基础知识,卷积层,池化层(超详解!!!)
深度学习入门:卷积神经网络 | CNN概述,图像基础知识,卷积层,池化层(超详解!!!)
|
4月前
|
存储 网络协议 安全
WK
|
3月前
|
机器学习/深度学习 自然语言处理 算法
PSO算法和人工神经网络有什么不同
PSO算法(粒子群优化)与人工神经网络(ANN)在原理、应用及优化方式上差异显著。PSO模拟鸟群行为,通过粒子协作在解空间中搜索最优解;而ANN模仿大脑神经元结构,通过训练学习输入输出映射,适用于模式识别、图像处理等领域。PSO主要用于优化问题,实时性高,结果直观;ANN则在处理复杂非线性关系方面更强大,但结构复杂,训练耗时长,结果解释性较差。实际应用中需根据需求选择合适技术。
WK
26 0
|
3月前
|
Linux 调度 Docker
容器网络概述
【9月更文挑战第9天】容器技术利用如命名空间(namespace)和控制组(cgroup)等技术创建隔离环境,实现资源限制与独立运行。命名空间避免命名冲突,cgroup则能对CPU、内存等资源进行限制。容器状态可通过镜像保存并标准化,确保在任何环境中都能复现相同状态。
|
4月前
|
存储 运维 监控
|
7天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的知识,并提供一些实用的技巧和建议,帮助读者更好地保护自己的网络安全和信息安全。
|
6天前
|
安全 算法 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在当今数字化时代,网络安全和信息安全已经成为了全球关注的焦点。随着技术的发展,网络攻击手段日益狡猾,而防范措施也必须不断更新以应对新的挑战。本文将深入探讨网络安全的常见漏洞,介绍加密技术的基本概念和应用,并强调培养良好安全意识的重要性。通过这些知识的分享,旨在提升公众对网络安全的认识,共同构建更加安全的网络环境。