人工神经网络概述|学习笔记

简介: 快速学习人工神经网络概述

开发者学堂课程【神经网络概览及算法详解人工神经网络概述】学习笔记与课程紧密联系,让用户快速学习知识

课程地址https://developer.aliyun.com/learning/course/40/detail/915


人工神经网络概述

 

内容介绍

一、前言

二、智能

三、人工智能

四、人工神经网络

 

一、前言

机器学习中有一个非常重要的算法就是人工神经网络目前所熟知的人工智能应用,里面有相当一部分都是通过人工神经网络或者延伸算法来实现的。

 

二、智能

1.智能的概念

首先看一下智能( Intelligence ),是个体有目的的行为合理的思维以及有效的适用环境的综合能力,或者说智能是个体认识客体事物和运用知识解决问题的能力。通常会理解在一个复杂的环境中,随着环境的变化我们能产生一些有效的反应能力

2.智能的能力

通常认为智能包含以下方面的能力:

1)感知与认识客观事物、客观世界和自我的能力,这是人类生存最基本的能力,感知是智能的基础。

2)通过学习取得知识与积累经验的能力,这是人类能够持续发展的最基本的能力。

3)理解知识,运用知识经验去分析、解决问题的能力,这是智能的高级形式,是人类改造世界的基本能力。

4)拥有联想、推理、判断和决策的能力,是智能的高级形式,用于人类对未来和未来的预测,属于应对能力。

5)运用语言进行抽象、概括的能力,这是形象化描述的基础。

6)拥有发现、发明、创造和创新的能力,这是第三种能力的高级体现。

7)拥有实时、迅速、合理地应付复杂环境的能力,是实时反应能力,也是人类生存的基本能力。

8)拥有预测、洞察事物发展、变化的能力,是根据历史信息和经验判断事物未来的发展。

 

三、人工智能

1.人工智能的概念

人工智能( Artificial IntelligenceAI ),最初在1956年被引入,它主要研究怎样让计算机模仿人脑从事推理、设计、思考、学习等思维活动,以解决和处理较复杂的问题。简单的讲,人工智能就是研究如何让计算机模仿人脑进行工作。

2.人工智能的流派

由于研究的出发点、方法学以及应用领域的不同,有多个代表性的流派:

1)符号主义学派,代表人物是 NewellSimon ,人工智能的概念也由这个学派提出。他们认为人工智能源于数学逻辑,通过数学逻辑来描述智能行为,后来发展了启发式算法->专家系统->知识工程的理论。在较长时间内,专家系统还是比较成功的。

2)联接主义学派,代表人物是 McCullochPitts ,他们认为人工智能源于仿生学,特别是人脑的研究并提出了 MP 模型,后来基于该模型衍生出人工神经网络等。 

3)行为主义学派,他们认为人工智能源于控制论, Wiener 等人。提出的控制论和自组织系统等,立足于模拟人在控制过程中的智能行为和作用,如自组织、自寻优、自适应、自学习等。控制论的核心是试图研究在一个动态系统中如何保持稳定的一个学科。

 

四、人工神经网络

1.人工神经网络的概念

人工神经网络 Artificial Neural NetworkANN ),是一种旨在模仿人脑结构及其功能的脑式智能信息处理系统。通常以数学和物理的方法以及信息处理的角度对人脑神经网络进行抽象,并建立某种简化模型。

简单的讲,它是一种数学模型,可以用电子线路来实现,也可以通过计算机程序来模拟,是人工智能的一种研究方法。在后面的学习中可以发现,人工神经网络源于仿生,即要想模拟人脑,首先要了解人脑是怎么工作的,然后就发现人脑由很多神经元组成,他们之间存在一些工作机制。在研究过程中就会尝试去模拟这些工作机制,从而尝试实现人工智能。

2.人工神经网络的发展史

萌芽期是到了1949年,1943年心理学家 McCulloch 和数学家 Pitts 根据神经元提出 MP 模型,该模型对人脑中的神经元做了一个简化,为神经网络打下了坚实的基础。1949年心理学家 Hebb 提出了人工神经网络的学习规则,称为模型的训练算法的起点。

第一高潮期是在1950年到1968年期间。在这个期间出现了感知器,研究者可以通过一个电子线路或者计算机去实现单层感知器 MinskyRosenblatt 等,用于各种问题的求解,甚至在某个阶段内,被乐观的认为找到了智能的根源。

反思期存在于1969年到1981年。1969年MinskyPapert 发表论文《 Perceptron 》,从理论上严格证明了单层感知器无法解决异或问题,从而引申到无法解决线性不可分的问题,由于大部分问题都是线性不可分的所以单层感知器的能力有限人们 ANN 的研究进入反思期,认为神经网络的作用可能没有理想中的好。

与此同时,也取得了一些积极成果,如说 Arbib竞争模型 Kohonen 的自组织映射、以及 Grossberg自适应共振模型 ATT )、 Rumellhart 等人的并行分布式处理模型( PDP )等。

第二高潮期是1982年到90年代之间。1982年 Hopfield 提出了循环网络,在1984年时研制了 Hopfield 网络,解决了 TSP 问题。这两种网络一个是连续的,一个是离散的。1985年,美国加州大学圣地亚哥分校的 HintonRumellhart 提出了 Boltzmann 机。1986年, Rumellhart 等人提出了用于多层网络训练的 BP 算法,对 ANN 起到了重大的推动作用。方便在神经网络中获得并确定多个参数。1987年,第一届神经网络国际会议在加州举行,有超过1600人。1990年12月,国内第一届神经网络会议在北京举行。

时期是从90年代至今。神经网络已经成为涉及神经生理科学、认知科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、生物电子学等多学科交叉、综合的前沿学科,它的应用已经渗透到模式识别、图像处理、非线性优化、语音处理、自然语言理解、自动目标识别、机器人、专家系统等领域,并取得了令人瞩目的成果,有关它的各种会议、论坛、刊物、活动等也越来越多,除了神经研究本身的突破和进展之外,相关的领域也取得了长足的发展。

随着大数据时代的来临,使得原有的浅层神经网络无法满足需要,深度学习(多隐层、抽象)的概念和应用逐步为人工智能带来了机会,现阶段主要体现在文本、图像和语音识别这三个方面。主要的代表人物有 Jeffrey Hinton ,他被称为神经网络之父,在2006年提出了 Deep LearningDL ),提出在神经网络技术上增加更多的隐藏层。 Andrew NgJeff Dean ,他们主导了 Google Brain ,是 Google 内部用于训练大规模深度神经网络的框架,最多的时候超过16000核。 Yann Lecun 基于深度学习创建了 deepface 项目,人脸识别,在2014年时,它的识别率已经达到97.25%。如果使用人工来识别,识别率可能还没有这么高。

3.人工神经网络的基本特征

首先是结构特点,包括:

1)信息处理的并行性。单个单元处理较简单,能大规模并行处理,可以通过扩展资源快速实现完全训练或数据预测,有较快的处理速度。

2)信息存储的分布性。信息不是存储在网络中的局部,而是分布在网络所有的连接权中。建立模型后,所有的模型信息都分布在整个网络中,比如说网络结构、权重、阈值等。

3)信息处理单元的互联性。处理单元之间互联,呈现出丰富的功能。理论上讲,人工神经网络可以无限逼近任意曲线。

4)结构的可塑性。连接方式多样,结构可塑。实际有各种各样的连接形式

接下来是性能特点,包括:

1)它有高度的非线性。多个单元链接,体现出非线性。

2)它有良好的容错性。分布式存储的结构特点是容错性更好。

3)它有计算的非精确性。当输入模糊信息时,通过处理连续的模拟信号及不精确的信息逼近最优解而非精确解。

然后是能力特征,它拥有自学习、自组织与自适应性,根据外部环境变化,通过训练或感知,能调节参数适应变化(自学习),并可按输入刺激调整构建神经网络(自组织)。简单地说,它可以通过调节网络中的各个参数,来适应变化,即自学习。它也可以按照输入的不同来调节自的网络结构,即自组织

4.人工神经网络的应用

人工神经网络的应用范围非常广泛比如可用于联想记忆(可以通过书的一部分信息来联想到整个的信息)、非线性映射、分类识别(图片或语音识别)、优化计算( TSP 优化求解)和知识处理(相对较高级的应用)。

image.png

主要的应用领域信息领域用于信号处理模式识别数据压缩等;自动化领域,可用于系统辨识神经控制器、智能检测等;工程领域用于汽车工程军事工程化学工程水利工程等;医学领域,可用于检测数据分析生物活性研究医学专家系统等经济领域,可用于信贷分析市场预测监督管理等,它的应用非常的广泛

相关文章
|
2月前
|
Ubuntu 网络安全 图形学
Ubuntu学习笔记(二):ubuntu20.04解决右上角网络图标激活失败或者消失,无法连接有线问题。
在Ubuntu 20.04系统中解决网络图标消失和无法连接有线网络问题的方法,其中第三种方法通过检查并确保Windows防火墙中相关服务开启后成功恢复了网络连接。
646 0
Ubuntu学习笔记(二):ubuntu20.04解决右上角网络图标激活失败或者消失,无法连接有线问题。
|
2月前
|
机器学习/深度学习 数据可视化 Linux
Seaborn可视化学习笔记(一):可视化神经网络权重分布情况
这篇文章是关于如何使用Seaborn库来可视化神经网络权重分布的教程,包括函数信息、测试代码和实际应用示例。
52 0
|
2月前
|
机器学习/深度学习 存储 自然语言处理
深度学习入门:循环神经网络------RNN概述,词嵌入层,循环网络层及案例实践!(万字详解!)
深度学习入门:循环神经网络------RNN概述,词嵌入层,循环网络层及案例实践!(万字详解!)
|
2月前
|
机器学习/深度学习 PyTorch API
深度学习入门:卷积神经网络 | CNN概述,图像基础知识,卷积层,池化层(超详解!!!)
深度学习入门:卷积神经网络 | CNN概述,图像基础知识,卷积层,池化层(超详解!!!)
|
4月前
|
存储 网络协议 安全
WK
|
3月前
|
机器学习/深度学习 自然语言处理 算法
PSO算法和人工神经网络有什么不同
PSO算法(粒子群优化)与人工神经网络(ANN)在原理、应用及优化方式上差异显著。PSO模拟鸟群行为,通过粒子协作在解空间中搜索最优解;而ANN模仿大脑神经元结构,通过训练学习输入输出映射,适用于模式识别、图像处理等领域。PSO主要用于优化问题,实时性高,结果直观;ANN则在处理复杂非线性关系方面更强大,但结构复杂,训练耗时长,结果解释性较差。实际应用中需根据需求选择合适技术。
WK
27 0
|
3月前
|
Linux 调度 Docker
容器网络概述
【9月更文挑战第9天】容器技术利用如命名空间(namespace)和控制组(cgroup)等技术创建隔离环境,实现资源限制与独立运行。命名空间避免命名冲突,cgroup则能对CPU、内存等资源进行限制。容器状态可通过镜像保存并标准化,确保在任何环境中都能复现相同状态。
|
4月前
|
存储 运维 监控
|
4天前
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将介绍网络安全的重要性,分析常见的网络安全漏洞及其危害,探讨加密技术在保障网络安全中的作用,并强调提高安全意识的必要性。通过本文的学习,读者将了解网络安全的基本概念和应对策略,提升个人和组织的网络安全防护能力。
|
5天前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将从网络安全漏洞、加密技术和安全意识三个方面进行探讨,旨在提高读者对网络安全的认识和防范能力。通过分析常见的网络安全漏洞,介绍加密技术的基本原理和应用,以及强调安全意识的重要性,帮助读者更好地保护自己的网络信息安全。
22 10