生物神经网络（Biological Neural Networks）：一般指生物的大脑神经元、细胞、触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。生物神经细胞功能比较简单，需要通过很多神经元一起协作完成复杂功能，通过一定的连接方式或信息传递方式进行协作的神经元可以看做是一个网络，就是神经网络。
人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。
人工神经网络，简称神经网络（Artificial Neural Network，ANN）：是由人工神经元互连组成的网络，它是从微观结构和功能上对人脑的抽象、简化，是模拟人类智能的一条重要途径，反映了人脑功能的若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等。
1957：Frank Rosenblatt 提出感知机
1969：Minsky和Papert提出感知机无法解决XOR问题
1980：多层感知机被提出
1986：Hinton提出反向传播算法
1989：George Cybenko提出万能逼近定理（为什么要这么多隐藏层呢？ ）
2006：Hinton推广受限玻尔兹曼机
2009：GPU被用于训练神经网络
2011：神经网络在语音识别任务中被广泛使用
2012：Hinton团队在ILSVRC比赛中提出的AlexNet赢得冠军后，卷积神经网络飞速发展
2016：AlphaGo以4:1击败了围棋世界冠军李世石，之后深度学习飞速发展
神经网络
2024-06-14
48
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
【6月更文挑战第14天】神经网络。
目录
相关文章
|
机器学习/深度学习
网络架构
神经网络4
与单层神经网络不同。理论证明，两层神经网络可以无限逼近任意连续函数。
这是什么意思呢？也就是说，面对复杂的非线性分类任务，两层（带一个隐藏层）神经网络可以分类的很好。
下面就是一个例子（此两图来自colah的博客），红色的线与蓝色的线代表数据。而红色区域和蓝色区域代表由神经网络划开的区域，两者的分界线就是决策分界。
可以看到，这个两层神经网络的决策分界是非常平滑的曲线，而且分类的很好。有趣的是，前面已经学到过，单层网络只能做线性分类任务。而两层神经网络中的后一层也是线性分类层，应该只能做线性分类任务。为什么两个线性分类任务结合就可以做非线性分类任务？
我们可以把输出层的决策分界单独拿出来看一下
72
0
0
|
2月前
|
机器学习/深度学习
自动驾驶
搜索推荐
深度学习之探索神经网络、感知器与损失函数
在当今的数字化时代，深度学习作为一种强大的机器学习技术，正在迅速改变着我们的生活方式。无论是智能推荐系统、自动驾驶车辆还是语音识别应用，深度学习都在背后默默地发挥作用。
47
1
1
|
5月前
|
机器学习/深度学习
存储
算法
简单的神经网络
softmax激活函数将多个未归一化的值转换为概率分布，常用于多分类问题。交叉熵损失函数，特别是与softmax结合时，是评估分类模型性能的关键，尤其适用于多分类任务。它衡量模型预测概率与实际标签之间的差异。在PyTorch中，`nn.CrossEntropyLoss`函数结合了LogSoftmax和负对数似然损失，用于计算损失并进行反向传播。通过`loss.backward()`，模型参数的梯度被计算出来，然后用优化器如`SGD`更新这些参数以减小损失。
115
3
3
|
5月前
|
机器学习/深度学习
什么是神经网络？
神经网络是一种深度学习方法，源自人类大脑生物神经网络的概念。它由大量相互连接的人工神经元（也称为节点或单元）组成，每个神经元接收输入，进行简单处理后生成输出，并将结果传递给下一层的神经元。
86
2
2
|
5月前
|
机器学习/深度学习
算法
数据可视化
感知机和神经网络
**神经网络**是模仿生物神经元结构的数学模型，用于处理复杂关系和模式识别。它由输入层、隐藏层（可能多层）和输出层组成，其中隐藏层负责信息处理。随着层数增加（深度学习），网络能处理更多信息。基本模型包括感知机，仅输入和输出层，用于线性划分；而**BP神经网络**有多个隐藏层，通过反向传播和梯度下降优化参数，避免局部最小值。训练过程中，神经元通过激励函数响应并调整权重，以提高预测准确性。
48
3
3
|
5月前
|
机器学习/深度学习
算法
PyTorch
神经网络反向传播算法
神经网络中的反向传播算法是用于训练的关键步骤，通过计算损失函数梯度更新权重。它始于前向传播，即输入数据通过网络得出预测输出，接着计算预测与实际值的误差。反向传播利用链式法则从输出层开始逐层计算误差，更新每一层的权重和偏置。例如，一个包含隐藏层的网络，初始权重随机设定，通过反向传播计算损失函数梯度，如sigmoid激活函数的网络，调整权重以减小预测误差。在Python的PyTorch框架中，可以使用`nn.Linear`定义层，`optimizer`进行参数优化，通过`backward()`计算梯度，`step()`更新参数。
61
2
2
|
6月前
|
机器学习/深度学习
编解码
计算机视觉
|
机器学习/深度学习
算法
PyTorch
|
机器学习/深度学习
算法
自动驾驶
神经网络5
4.训练
下面简单介绍一下两层神经网络的训练。
在Rosenblat提出的感知器模型中，模型中的参数可以被训练，但是使用的方法较为简单，并没有使用目前机器学习中通用的方法，这导致其扩展性与适用性非常有限。从两层神经网络开始，神经网络的研究人员开始使用机器学习相关的技术进行神经网络的训练。例如用大量的数据（1000-10000左右），使用算法进行优化等等，从而使得模型训练可以获得性能与数据利用上的双重优势。
机器学习模型训练的目的，就是使得参数尽可能的与真实的模型逼近。具体做法是这样的。首先给所有参数赋上随机值。我们使用这些随机生成的参数值，来预测训练数据中的样本。样本的预测目标为yp，真实目标
84
0
0
|
机器学习/深度学习
自然语言处理
算法
热门文章
最新文章
1
Java 生成 UUID
2
一文读懂 Serverless 的起源、发展和落地实践
3
Fiddler抓包：下载、安装及使用
4
用CodeViz绘制函数调用关系图(call graph)
5
阿里AI上岗双11服装车间，能识别头发丝直径十分之一的瑕疵
6
SpringBoot开发案例之整合Dubbo提供者(一)
7
Dubbo架构介绍
8
警惕垃圾邮件借加沙新闻进行钓鱼攻击
9
美国博客刊文发布NetApp StoreVault停产通知
10
IntelliJ IDEA 12 创建Web项目 教程 超详细版
1
通义灵码与云计算平台的融合：基础与概述
36
2
《深度解析：死锁的“前世今生”与防范之道》
29
3
《探秘程序崩溃：核心转储（Core Dump）分析全攻略》
34
4
今日 AI 开源｜共 12 项｜开源的DIY健康追踪项目，基于低成本的智能戒指构建私人的健康监测应用
37
5
Open Interpreter：AI 赋能终端！在终端中对话AI模型进行编程，通过运行代码来完成各种计算机操作任务
29
6
「Mac畅玩鸿蒙与硬件15」鸿蒙UI组件篇5 - Slider 和 Progress 组件
39
7
ai断点怎么做?
15
8
AI Shell：在命令行里“对话” AI ，微软推出将 AI 助手引入命令行的 CLI 工具，打造对话式交互命令行
19
9
ai怎么设计迷宫字体效果?
15
10
「Mac畅玩鸿蒙与硬件14」鸿蒙UI组件篇4 - Toggle 和 Checkbox 组件
29