【Pytorch神经网络理论篇】 06 神经元+神经网络模型+全连接网络模型

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 神经网络:一种人工模仿动物中枢系统的数学模型,用于对函数进行近似估计

同学你好!本文章于2021年末编写,获得广泛的好评!


故在2022年末对本系列进行填充与更新,欢迎大家订阅最新的专栏,获取基于Pytorch1.10版本的理论代码(2023版)实现,


Pytorch深度学习·理论篇(2023版)目录地址为:


CSDN独家 | 全网首发 | Pytorch深度学习·理论篇(2023版)目录


本专栏将通过系统的深度学习实例,从可解释性的角度对深度学习的原理进行讲解与分析,通过将深度学习知识与Pytorch的高效结合,帮助各位新入门的读者理解深度学习各个模板之间的关系,这些均是在Pytorch上实现的,可以有效的结合当前各位研究生的研究方向,设计人工智能的各个领域,是经过一年时间打磨的精品专栏!

https://v9999.blog.csdn.net/article/details/127587345

欢迎大家订阅(2023版)理论篇

以下为2021版原文~~~~

a7166a6196c84f0fb88758d31232be32.png



1 神经元


1.1 概述


1.1.1 神经网络


神经网络:一种人工模仿动物中枢系统的数学模型,用于对函数进行近似估计


1.1.2 神经元


神经网络的基本单位是神经元。


神经元是一种处理单元,是对人脑组织的神经元的某种抽象、简化和模拟。通过神经元,人工神经网络可以以数学模型模拟人脑神经元活动,继而进行高效的计算以及其他处理。


20201124220901360.jpg


1.2 计算机中的神经元系统


1.2.1 简单的神经元系统


神经元模型便是模拟大脑神经元的运行过程,其包含输入,输出与计算功能,输入可以类比为神经元的树突,而输出可以类比为神经元的轴突,计算则可以类比为细胞核。下图是一个典型的神经元模型:包含有m个输入,1个输出,以及2个计算功能。


20171024104555158.jpg


1.2.2 一句话理解神经网络


所以一句话理解就是:制造一个神经网络就是在定义一个函数集合。而训练一个神经网络就是在这个函数集合中找到 唯一一个函数。这个函数代表了训练样本的共性特征。这种共性特征称为目标。


一个神经元的功能是求得输入向量与权向量的内积后,经一个非线性传递函数得到一个标量结果。

1.2.3 神经网络的形成


当前主要使用反向传播的算法将模型的误差作为刺激的信号,并沿着神经元处理信号的反方向进行逐层传播,并更新当前层中节点的权重。


1.2.4 神经网络的特点


神经网络的结构与功能,使得其天生具有编程与实现各种高级功能的能力,只不过该编程不需要通过人脑拟合现实来实现,而是通过模型学习的方式,通过现实的表象来优化其所需要的结构。


1.3 深度学习中的基础神经网络模型


  • 全连接神经网络:用来处理与数值相关的任务
  • 卷积神经网络:用来处理与计算机视觉相关的任务
  • 循环神经网络:用来处理与序列相关的任务


1.4 神经网络(深度学习)到底是在干什么


1.4.1 玩色子


应该都接触过摇色子赌大小得游戏,微信表情包就有这个,总共有六个点数,如下:


20210424182313245.png


一般电视剧里用两只碗扣在一块,里面有三个色子,最大是18点,最小是3点,所以这里暂且以11为中位数,大于等于11的为大,小于11的为小,刚好8个大点、8个小点。


1.4.2 建模型


神经网络包括三个部分——输入层、隐藏层和输出层。我们建立一个神经网络模型来让机器识别我们摇出来的点数是大还是小。


先摇三个点。。。


20210424183609347.png


很明显的是1+3+4 = 8 <11,


问题是隐藏层 “20210424183742964.png ”到底做了什么?该怎么做?


1.4.3 出结果


其实这个隐藏层的函数(或者叫矩阵)就是三个值为1的常数函数。


20210424184055914.png


计算方式为点对点相乘然后相加(相当于深度学习里面的全连接层)

1×1+3×1+4×1 = 8 < 11,然后只需要一个判断函数就可以将“小”作为结果输出。


同样:


20210424184528430.png


3×1+5×1+6×1 = 14 >11,输出“大”。


当然了,这个只是一个很简单的分类模型,而且只有两个分类结果。


一般用于实现数字识别或者图像识别的隐藏层比较复杂,甚至需要很多个隐藏层,分别命名为卷积层(一个模型中可能会多次使用)、池化层(一个模型中可能会多次使用)、全连接层,还会有对应的激活函数。


看吧,其实就是一个很简单的模型而已,只是名字唬人罢了。


2 全连接神经网络,又称作多层感知机(MLP)


2.1 网络结构


20200731145415163.png


  • 输入层:[特征维度,n]
  • 隐含层:权重矩阵 [输出维度,输入维度] 或者说  [这层维度,上层维度]
  • 输出层:[类别数,n]


2.1.1 全连接层的本质


① 全连接神经网络的本质是将低维数据向高维数据的映射,通过增加数据所在的维度空间,使得数据变得线性可分


② 可以对任何数据进行分类,缺点是需要更多的参数进行训练。但更多的参数参与运算,将会导致训练过程难以收敛


2.2 全连接神经网络的设计思想


2.2.1 输入节点根据外部的特征数据来确定


2.2.2 隐藏层的节点数,隐藏层的数量都是可以自定义设计的,但需要遵循以下两个原则


2.2.3 设计原则


  • 隐藏层的节点数决定模型的拟合能力,但是过多的节点带了拟合能力的同时,也会使得模型的泛化能力下降。
  • 隐藏层的层数决定模型的泛化能力,层数越多,模型的推理能力越强,但是随着层数的变多,会对拟合效果产生影响


2.3 全连接神经网络在模型中的位置


一般处于整个深层模型的最后部分,由其具有的调节维度的作用,通过指定输入层与输出层的节点数,就可以实现从原维度向任意维度的变化,一般前后层的维度控制在5倍以内。


2.3.1 小技巧


搭建多层全连接神经网络时,对隐藏层的节点设计,应遵循先将维度扩大再缩小的方式进行,会使得模型的拟合效果更好。

目录
相关文章
|
14天前
|
机器学习/深度学习 人工智能 算法
鸟类识别系统Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+ResNet50算法模型+图像识别
鸟类识别系统。本系统采用Python作为主要开发语言,通过使用加利福利亚大学开源的200种鸟类图像作为数据集。使用TensorFlow搭建ResNet50卷积神经网络算法模型,然后进行模型的迭代训练,得到一个识别精度较高的模型,然后在保存为本地的H5格式文件。在使用Django开发Web网页端操作界面,实现用户上传一张鸟类图像,识别其名称。
60 12
鸟类识别系统Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+ResNet50算法模型+图像识别
|
6天前
|
机器学习/深度学习 数据采集 网络安全
使用Python实现深度学习模型:智能网络安全威胁检测
使用Python实现深度学习模型:智能网络安全威胁检测
26 5
|
4天前
|
机器学习/深度学习 算法 搜索推荐
图神经网络综述:模型与应用
图神经网络综述:模型与应用
|
9天前
|
存储 机器人 Linux
Netty(二)-服务端网络编程常见网络IO模型讲解
Netty(二)-服务端网络编程常见网络IO模型讲解
|
22天前
|
机器学习/深度学习 人工智能 TensorFlow
神经网络深度剖析:Python带你潜入AI大脑,揭秘智能背后的秘密神经元
【9月更文挑战第12天】在当今科技飞速发展的时代,人工智能(AI)已深入我们的生活,从智能助手到自动驾驶,从医疗诊断到金融分析,其力量无处不在。这一切的核心是神经网络。本文将带领您搭乘Python的航船,深入AI的大脑,揭秘智能背后的秘密神经元。通过构建神经网络模型,我们可以模拟并学习复杂的数据模式。以下是一个使用Python和TensorFlow搭建的基本神经网络示例,用于解决简单的分类问题。
38 10
|
24天前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习模型之深度神经网络的特点
深度神经网络(Deep Neural Networks, DNNs)是一类机器学习模型,通过多个层级(层)的神经元来模拟人脑的工作方式,从而实现复杂的数据处理和模式识别任务。
32 1
|
4月前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】26.卷积神经网络之AlexNet模型介绍及其Pytorch实现【含完整代码】
【从零开始学习深度学习】26.卷积神经网络之AlexNet模型介绍及其Pytorch实现【含完整代码】
|
4月前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】28.卷积神经网络之NiN模型介绍及其Pytorch实现【含完整代码】
【从零开始学习深度学习】28.卷积神经网络之NiN模型介绍及其Pytorch实现【含完整代码】
|
2月前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch代码实现神经网络
这段代码示例展示了如何在PyTorch中构建一个基础的卷积神经网络(CNN)。该网络包括两个卷积层,分别用于提取图像特征,每个卷积层后跟一个池化层以降低空间维度;之后是三个全连接层,用于分类输出。此结构适用于图像识别任务,并可根据具体应用调整参数与层数。
|
2月前
|
机器学习/深度学习 数据可视化 Python
如何可视化神经网络的神经元节点之间的连接?附有Python预处理代码
该博客展示了如何通过Python预处理神经网络权重矩阵并将其导出为表格,然后使用Chiplot网站来可视化神经网络的神经元节点之间的连接。
40 0
如何可视化神经网络的神经元节点之间的连接?附有Python预处理代码
下一篇
无影云桌面