图灵机就是深度学习最热循环神经网络RNN?1996年论文就已证明(2)

简介: 图灵机就是深度学习最热循环神经网络RNN?1996年论文就已证明

3.2 矩阵制定

上述构造也可以以矩阵的形式实现。

基本思想是将变量值和「程序计数器」存储在进程状态s中,并让状态转换矩阵A代表节点之间的链接。

矩阵结构的运算可以定义为一个离散时间的动态过程

其中非线性向量值函数现在按元素定义,如(2)中所示。状态转移矩阵A的内容很容易从网络公式中解码出来——矩阵元素是节点之间的权重。该矩阵公式类似于[3]中提出的「概念矩阵」框架。

4 例子

假设要实现一个简单的函数y=x,也就是说,输入变量x的值应该传递给输出变量y。使用语言可以将其编码为(让「入口点」现在不是第一行而是第三行):生成的感知器网络如图2所示。实线代表正连接(权重为1),虚线代表负连接(权重-1)。与图1相比,重新绘制了网络结构,并通过在节点中集成延迟元件来简化网络结构。

图2 简单程序的网络实现在矩阵形式中,上面的程序看起来像矩阵A中的前两行/列对应于连接到代表两个变量Y和X的节点的链接,接下来的三行代表三个程序行(1、2和3),最后两个代表分支指令所需的附加节点(3'和3'')。然后是初始(迭代前)和最终(迭代后,找到固定点时)的状态如果变量节点的值将严格保在0和1之间,则动态系统(3)的操作将是线性的,该函数根本没有影响。原则上,然后可以在分析中使用线性系统理论。例如,在图3中,示出了状态转移矩阵A的特征值。即使在上面的例子中单位圆外有特征值,非线性使得迭代总是稳定的。事实证明,迭代总是在步骤之后收敛,其中

图3 简单程序的「特征值」

5 讨论

5.1 理论方面

结果表明,图灵机可以编码为感知器网络。根据定义,所有可计算函数都是图灵可计算的——在可计算性理论的框架内,不存在更强大的计算系统。这就是为什么,可以得出结论——

循环感知器网络(如上所示)是图灵机的(又一种)形式。

这种等价的好处是可计算性理论的结果很容易获得——例如,给定一个网络和一个初始状态,就不可能判断这个过程最终是否会停止。上述理论等价性并没有说明计算效率的任何信息。与传统的图灵机实现(实际上是今天的计算机)相比,网络中发生的不同机制可以使一些功能在这个框架中更好地实现。 至少在某些情况下,例如,一个算法的网络实现可以通过允许snapshot向量中的多个「程序计数器」来被并行化。网络的运行是严格本地的,而不是全局的。一个有趣的问题出现了,例如,是否可以在网络环境中更有效地攻击NP完全问题!与语言相比,网络实现具有以下「扩展」

变量可以是连续的,而不仅仅是整数值。实际上,呈现实数的(理论)能力使网络实现比语言更强大,所有以语言呈现的数字都是有理数。

可以同时存在各种「程序计数器」,并且控制的转移可能是「模糊的」,这意味着指令节点提供的程序计数器值可能是非整数。

一个较小的扩展是可自由定义的程序入口点。这可能有助于简化程序——例如,变量的复制在上面的三个程序行中完成,而名义解决方案(参见[1])需要七行和一个额外的局部变量。

与原始程序代码相比,矩阵公式显然是比程序代码更「连续」的信息表示形式——可以(经常)修改参数,而迭代结果不会突然改变。这种「冗余」也许可以在某些应用中使用。例如,当使用遗传算法(GA)进行结构优化时,可以使遗传算法中使用的随机搜索策略更加高效:在系统结构发生变化后,可以搜索连续成本函数的局部最小值使用一些传统技术(参见[4])。通过示例学习有限状态机结构,如[5]中所述,可以知道:在这种更复杂的情况下也采用迭代增强网络结构的方法。不仅神经网络理论可能受益于上述结果——仅看动态系统公式(3),很明显,在可计算性理论领域发现的所有现象也都以简单的形式存在——寻找非线性动态过程。例如,停机问题的不可判定性是系统论领域的一个有趣贡献:对于任何表示为图灵机的决策过程,都存在形式(3)的动态系统,它违背了这个过程——对于例如,无法构建通用的稳定性分析算法。

5.2 相关工作

所呈现的网络结构与递归来Hopfield神经网络范式之间存在一些相似之处(例如,参见[2])。在这两种情况下,「输入」都被编码为网络中的初始状态,「输出」在迭代后从网络的最终状态中读取。Hopfield网络的固定点是预编程的模式模型,输入是「噪声」模式——该网络可用于增强损坏的模式。中非线性函数的展望(2)使得上述「图灵网络」中可能的状态数量是无限的。与单元输出始终为-1或1的Hopfield网络相比,可以看出,理论上,这些网络结构有很大不同。例如,虽然Hopfield网络中的稳定点集是有限的,但以图灵网络为代表的程序通常具有无限数量的可能结果。Hopfield网络的计算能力在[6]中进行了讨论。Petri网是基于事件和并发系统建模的强大工具[7]。Petri网由位和转移以及连接它们的弧组成。每个地方可能包含任意数量的token,token的分布称为Petri网的标记。如果转换的所有输入位置都被标记占用,则转换可能会触发,从每个输入位置删除一个标记,并向其每个输出位置添加一个标记。可以证明,具有附加抑制弧的扩展Petri网也具有图灵机的能力(参见[7])。上述图灵网与Petri网的主要区别在于Petri网的框架更为复杂,具有专门定制的结构,不能用简单的一般形式(3)来表达。参考1 Davis, M. and Weyuker, E.: Computability, Complexity, and Languages---Fundamentals of Theoretical Computer Science. Academic Press, New York, 1983.2 Haykin, S.: Neural Networks. A Comprehensive Foundation. Macmillan College Publishing, New York, 1994.3 Hyötyniemi, H.: Correlations---Building Blocks of Intelligence? In Älyn ulottuvuudet ja oppihistoria (History and dimensions of intelligence), Finnish Artificial Intelligence Society, 1995, pp. 199--226.4 Hyötyniemi, H. and Koivo, H.: Genes, Codes, and Dynamic Systems. In Proceedings of the Second Nordic Workshop on Genetic Algorithms (NWGA'96), Vaasa, Finland, August 19--23, 1996.5 Manolios, P. and Fanelli, R.: First-Order Recurrent Neural Networks and Deterministic Finite State Automata. Neural Computation 6, 1994, pp. 1155--1173.6 Orponen, P.: The Computational Power of Discrete Hopfield Nets with Hidden Units. Neural Computation 8, 1996, pp. 403--415.7 Peterson, J.L.: Petri Net Theory and the Modeling of Systems. Prentice--Hall, Englewood Cliffs, New Jersey, 1981.参考资料:http://users.ics.aalto.fi/tho/stes/step96/hyotyniemi1/

相关文章
|
1月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的眼疾识别系统实现~人工智能+卷积网络算法
眼疾识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了4种常见的眼疾图像数据集(白内障、糖尿病性视网膜病变、青光眼和正常眼睛) 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Django框架搭建了一个Web网页平台可视化操作界面,实现用户上传一张眼疾图片识别其名称。
130 5
基于Python深度学习的眼疾识别系统实现~人工智能+卷积网络算法
|
2月前
|
机器学习/深度学习 人工智能 算法
猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
宠物识别系统使用Python和TensorFlow搭建卷积神经网络,基于37种常见猫狗数据集训练高精度模型,并保存为h5格式。通过Django框架搭建Web平台,用户上传宠物图片即可识别其名称,提供便捷的宠物识别服务。
347 55
|
13天前
|
机器学习/深度学习 数据可视化 算法
PyTorch生态系统中的连续深度学习:使用Torchdyn实现连续时间神经网络
神经常微分方程(Neural ODEs)是深度学习领域的创新模型,将神经网络的离散变换扩展为连续时间动力系统。本文基于Torchdyn库介绍Neural ODE的实现与训练方法,涵盖数据集构建、模型构建、基于PyTorch Lightning的训练及实验结果可视化等内容。Torchdyn支持多种数值求解算法和高级特性,适用于生成模型、时间序列分析等领域。
156 77
PyTorch生态系统中的连续深度学习:使用Torchdyn实现连续时间神经网络
|
5天前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
蘑菇识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了9种常见的蘑菇种类数据集【"香菇(Agaricus)", "毒鹅膏菌(Amanita)", "牛肝菌(Boletus)", "网状菌(Cortinarius)", "毒镰孢(Entoloma)", "湿孢菌(Hygrocybe)", "乳菇(Lactarius)", "红菇(Russula)", "松茸(Suillus)"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Django框架搭建了一个Web网页平台可视化操作界面,
41 11
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
|
23天前
|
机器学习/深度学习 人工智能 搜索推荐
PaSa:字节跳动开源学术论文检索智能体,自动调用搜索引擎、浏览相关论文并追踪引文网络
PaSa 是字节跳动推出的基于强化学习的学术论文检索智能体,能够自动调用搜索引擎、阅读论文并追踪引文网络,帮助用户快速获取精准的学术文献。
184 15
|
1月前
|
机器学习/深度学习 监控 算法
基于yolov4深度学习网络的排队人数统计系统matlab仿真,带GUI界面
本项目基于YOLOv4深度学习网络,利用MATLAB 2022a实现排队人数统计的算法仿真。通过先进的计算机视觉技术,系统能自动、准确地检测和统计监控画面中的人数,适用于银行、车站等场景,优化资源分配和服务管理。核心程序包含多个回调函数,用于处理用户输入及界面交互,确保系统的高效运行。仿真结果无水印,操作步骤详见配套视频。
54 18
|
1月前
|
负载均衡 芯片 异构计算
NSDI'24 | 阿里云飞天洛神云网络论文解读——《LuoShen》揭秘新型融合网关 洛神云网关
NSDI‘24于4月16-18日在美国圣塔克拉拉市举办,阿里云飞天洛神云网络首次中稿NSDI,两篇论文入选。其中《LuoShen: A Hyper-Converged Programmable Gateway for Multi-Tenant Multi-Service Edge Clouds》提出超融合网关LuoShen,基于Tofino、FPGA和CPU的新型硬件形态,将公有云VPC设施部署到边缘机柜中,实现小型化、低成本和高性能。该方案使成本降低75%,空间占用减少87%,并提供1.2Tbps吞吐量,展示了强大的技术竞争力。
|
1月前
|
SQL Cloud Native API
NSDI'24 | 阿里云飞天洛神云网络论文解读——《Poseidon》揭秘新型超高性能云网络控制器
NSDI‘24于4月16-18日在美国加州圣塔克拉拉市举办,汇聚全球网络系统领域的专家。阿里云飞天洛神云网络的两篇论文入选,标志着其创新能力获广泛认可。其中,《Poseidon: A Consolidated Virtual Network Controller that Manages Millions of Tenants via Config Tree》介绍了波塞冬平台,该平台通过统一控制器架构、高性能配置计算引擎等技术,实现了对超大规模租户和设备的高效管理,显著提升了云网络性能与弹性。实验结果显示,波塞冬在启用EIP时的完成时间比Top 5厂商分别快1.8至55倍和2.6至4.8倍。
|
2月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于yolov4深度学习网络的公共场所人流密度检测系统matlab仿真,带GUI界面
本项目使用 MATLAB 2022a 进行 YOLOv4 算法仿真,实现公共场所人流密度检测。通过卷积神经网络提取图像特征,将图像划分为多个网格进行目标检测和识别,最终计算人流密度。核心程序包括图像和视频读取、处理和显示功能。仿真结果展示了算法的有效性和准确性。
87 31
|
2月前
|
机器学习/深度学习 算法 信息无障碍
基于GoogleNet深度学习网络的手语识别算法matlab仿真
本项目展示了基于GoogleNet的深度学习手语识别算法,使用Matlab2022a实现。通过卷积神经网络(CNN)识别手语手势,如"How are you"、"I am fine"、"I love you"等。核心在于Inception模块,通过多尺度处理和1x1卷积减少计算量,提高效率。项目附带完整代码及操作视频。

热门文章

最新文章