深度学习McCulloch-Pitts模型

简介: 深度学习McCulloch-Pitts模型

1 McCulloch-Pitts模型

1943年,神经学家McCulloch和数学家Pitts共同提出了McCulloch-Pitts模型,这个模型是对生物神经元的一种相当简化的模仿。这个模型认为,树突输入的电信号相当于函数中的自变量,轴突输出的电信号相当于函数中的因变量,一个神经元有几个树突,表征这个神经元直觉活动(意识是人脑特有的机能,故此处不用高级的意识活动,而使用更加原始的直觉活动)的数学函数也就有几个自变量。


9ee9536e279d426d9810aca0e84d910b.png


2 应用场景

下面假定一个场景,一个生物,其食物是一种有毒的豆子,并且毒性仅与豆子的体积成正比。那么根据McCulloch-Pitts模型,可以构建一个一元函数来模拟这个生物关于是否进食的直觉过程,不妨设这个函数为y=wx,其中w为任意常数。当y大于或小于某一临界值,则表示事物毒性过大,不宜食用,反之则是安全的。


若毒性不仅与豆子的体积有关,还与豆子的颜色有关。那么根据McCulloch-Pitts模型,可以构建一个二元函数来模拟这个生物关于是否进食的直觉过程,不妨设这个函数为y=w1x1+w2x2,其中w1、w2为任意常数。当y大于或小于某一临界值,则表示事物毒性过大,不宜食用,反之则是安全的。


以此类推,可以根据不同的情况设出与之对应的n元函数。


自变量前的常数称其为“权值”,记作w,其表征不同因素(自变量)对结果(因变量)起到影响的大小程度。


权值设定为多少以及怎么设定是个问题。


|w|的值过大,则会使得事物来源变少,不利于个体的生存;|w|的值过小,则容易误食毒性过强的食物,从而也不利于个体的生存。可见,权值应当处于一个合适的区间。


McCulloch-Pitts模型的基本思想时抽象和简化生物神经元的特征性成分。这个模型不需要捕捉神经元的所有属性和行为,但要足以捕获他执行计算的方式。McCulloch-Pitts模型的六个特点中前面4点和之前总结的生物神经元一致,具体对应请看下图:


1、每一个神经元都是多输入单输出的信息处理单元


2、神经元输入兴奋输入和抑制性输入两种类型


3、神经元具有空间整合性和阈值特性


4、神经元输入与输出间有固定的时滞,主要取决于突触延搁


5、忽略时间整合作用和不应期


6、神经元本身是非时变的,即其突触时延和突触强度均为常数


3 实现原理

36e73e7ccc5c40998a41406a8346114b.png


这发生在1940年代。


f4d431d8373f4b66b999ca07decdfe3f.png

这个现在的神经网络基本一样,看起来已经很高级了。不过其最大的局限性应该在于思想上,当时还没有训练的概念,也就是说那些权重、阈值、激活函数都需要提前手算好。


比如用以上MP模型,完成一些逻辑运算。

fd92f86851fe47c48be2e20737c31680.png


注意:以上情况指定不需要激活函数。


2021051114560849.png

目录
相关文章
|
2月前
|
机器学习/深度学习 数据采集 算法
构建高效图像分类模型:深度学习在处理大规模视觉数据中的应用
随着数字化时代的到来,海量的图像数据被不断产生。深度学习技术因其在处理高维度、非线性和大规模数据集上的卓越性能,已成为图像分类任务的核心方法。本文将详细探讨如何构建一个高效的深度学习模型用于图像分类,包括数据预处理、选择合适的网络架构、训练技巧以及模型优化策略。我们将重点分析卷积神经网络(CNN)在图像识别中的运用,并提出一种改进的训练流程,旨在提升模型的泛化能力和计算效率。通过实验验证,我们的模型能够在保持较低计算成本的同时,达到较高的准确率,为大规模图像数据的自动分类和识别提供了一种有效的解决方案。
|
2月前
|
机器学习/深度学习 数据采集 PyTorch
使用PyTorch解决多分类问题:构建、训练和评估深度学习模型
使用PyTorch解决多分类问题:构建、训练和评估深度学习模型
使用PyTorch解决多分类问题:构建、训练和评估深度学习模型
|
2天前
|
机器学习/深度学习 算法 TensorFlow
TensorFlow 2keras开发深度学习模型实例:多层感知器(MLP),卷积神经网络(CNN)和递归神经网络(RNN)
TensorFlow 2keras开发深度学习模型实例:多层感知器(MLP),卷积神经网络(CNN)和递归神经网络(RNN)
|
3天前
|
机器学习/深度学习 监控 数据可视化
【日常聊聊】解决深度学习模型挑战:解释性与鲁棒性的平衡
【日常聊聊】解决深度学习模型挑战:解释性与鲁棒性的平衡
|
13天前
|
机器学习/深度学习 API 算法框架/工具
R语言深度学习:用keras神经网络回归模型预测时间序列数据
R语言深度学习:用keras神经网络回归模型预测时间序列数据
20 0
|
13天前
|
机器学习/深度学习 并行计算 算法
R语言深度学习不同模型对比分析案例
R语言深度学习不同模型对比分析案例
27 0
|
14天前
|
机器学习/深度学习 人工智能 分布式计算
R和Python机器学习:广义线性回归glm,样条glm,梯度增强,随机森林和深度学习模型分析
R和Python机器学习:广义线性回归glm,样条glm,梯度增强,随机森林和深度学习模型分析
17 0
|
17天前
|
机器学习/深度学习 自然语言处理 算法
探索深度学习中的序列建模新范式:Mamba模型的突破与挑战
【4月更文挑战第13天】Mamba模型,一种新型序列建模架构,通过选择性状态空间提高处理长序列数据的效率,实现线性时间复杂度。在语言、音频和DNA序列建模中展现优秀性能,尤其在大规模预训练中超越Transformer。然而,面对连续信号数据时可能不及LTI模型,且模型参数优化及硬件实现具有挑战性。
64 6
探索深度学习中的序列建模新范式:Mamba模型的突破与挑战
|
4月前
|
机器学习/深度学习 搜索推荐 算法
推荐系统算法的研究与实践:协同过滤、基于内容的推荐和深度学习推荐模型
推荐系统算法的研究与实践:协同过滤、基于内容的推荐和深度学习推荐模型
236 1
|
2月前
|
机器学习/深度学习 数据可视化 Linux
深度学习模型可视化工具——Netron使用介绍
深度学习模型可视化工具——Netron使用介绍
50 2