3.2 矩阵制定
上述构造也可以以矩阵的形式实现。
基本思想是将变量值和「程序计数器」存储在进程状态s中,并让状态转换矩阵A代表节点之间的链接。
矩阵结构的运算可以定义为一个离散时间的动态过程
其中非线性向量值函数现在按元素定义,如(2)中所示。状态转移矩阵A的内容很容易从网络公式中解码出来——矩阵元素是节点之间的权重。该矩阵公式类似于[3]中提出的「概念矩阵」框架。
4 例子
假设要实现一个简单的函数y=x,也就是说,输入变量x的值应该传递给输出变量y。使用语言可以将其编码为(让「入口点」现在不是第一行而是第三行):生成的感知器网络如图2所示。实线代表正连接(权重为1),虚线代表负连接(权重-1)。与图1相比,重新绘制了网络结构,并通过在节点中集成延迟元件来简化网络结构。
图2 简单程序的网络实现在矩阵形式中,上面的程序看起来像矩阵A中的前两行/列对应于连接到代表两个变量Y和X的节点的链接,接下来的三行代表三个程序行(1、2和3),最后两个代表分支指令所需的附加节点(3'和3'')。然后是初始(迭代前)和最终(迭代后,找到固定点时)的状态如果变量节点的值将严格保在0和1之间,则动态系统(3)的操作将是线性的,该函数根本没有影响。原则上,然后可以在分析中使用线性系统理论。例如,在图3中,示出了状态转移矩阵A的特征值。即使在上面的例子中单位圆外有特征值,非线性使得迭代总是稳定的。事实证明,迭代总是在步骤之后收敛,其中。
图3 简单程序的「特征值」
5 讨论
5.1 理论方面
结果表明,图灵机可以编码为感知器网络。根据定义,所有可计算函数都是图灵可计算的——在可计算性理论的框架内,不存在更强大的计算系统。这就是为什么,可以得出结论——
循环感知器网络(如上所示)是图灵机的(又一种)形式。
这种等价的好处是可计算性理论的结果很容易获得——例如,给定一个网络和一个初始状态,就不可能判断这个过程最终是否会停止。上述理论等价性并没有说明计算效率的任何信息。与传统的图灵机实现(实际上是今天的计算机)相比,网络中发生的不同机制可以使一些功能在这个框架中更好地实现。 至少在某些情况下,例如,一个算法的网络实现可以通过允许snapshot向量中的多个「程序计数器」来被并行化。网络的运行是严格本地的,而不是全局的。一个有趣的问题出现了,例如,是否可以在网络环境中更有效地攻击NP完全问题!与语言相比,网络实现具有以下「扩展」:
变量可以是连续的,而不仅仅是整数值。实际上,呈现实数的(理论)能力使网络实现比语言更强大,所有以语言呈现的数字都是有理数。
可以同时存在各种「程序计数器」,并且控制的转移可能是「模糊的」,这意味着指令节点提供的程序计数器值可能是非整数。
一个较小的扩展是可自由定义的程序入口点。这可能有助于简化程序——例如,变量的复制在上面的三个程序行中完成,而名义解决方案(参见[1])需要七行和一个额外的局部变量。
与原始程序代码相比,矩阵公式显然是比程序代码更「连续」的信息表示形式——可以(经常)修改参数,而迭代结果不会突然改变。这种「冗余」也许可以在某些应用中使用。例如,当使用遗传算法(GA)进行结构优化时,可以使遗传算法中使用的随机搜索策略更加高效:在系统结构发生变化后,可以搜索连续成本函数的局部最小值使用一些传统技术(参见[4])。通过示例学习有限状态机结构,如[5]中所述,可以知道:在这种更复杂的情况下也采用迭代增强网络结构的方法。不仅神经网络理论可能受益于上述结果——仅看动态系统公式(3),很明显,在可计算性理论领域发现的所有现象也都以简单的形式存在——寻找非线性动态过程。例如,停机问题的不可判定性是系统论领域的一个有趣贡献:对于任何表示为图灵机的决策过程,都存在形式(3)的动态系统,它违背了这个过程——对于例如,无法构建通用的稳定性分析算法。
5.2 相关工作
所呈现的网络结构与递归来Hopfield神经网络范式之间存在一些相似之处(例如,参见[2])。在这两种情况下,「输入」都被编码为网络中的初始状态,「输出」在迭代后从网络的最终状态中读取。Hopfield网络的固定点是预编程的模式模型,输入是「噪声」模式——该网络可用于增强损坏的模式。中非线性函数的展望(2)使得上述「图灵网络」中可能的状态数量是无限的。与单元输出始终为-1或1的Hopfield网络相比,可以看出,理论上,这些网络结构有很大不同。例如,虽然Hopfield网络中的稳定点集是有限的,但以图灵网络为代表的程序通常具有无限数量的可能结果。Hopfield网络的计算能力在[6]中进行了讨论。Petri网是基于事件和并发系统建模的强大工具[7]。Petri网由位和转移以及连接它们的弧组成。每个地方可能包含任意数量的token,token的分布称为Petri网的标记。如果转换的所有输入位置都被标记占用,则转换可能会触发,从每个输入位置删除一个标记,并向其每个输出位置添加一个标记。可以证明,具有附加抑制弧的扩展Petri网也具有图灵机的能力(参见[7])。上述图灵网与Petri网的主要区别在于Petri网的框架更为复杂,具有专门定制的结构,不能用简单的一般形式(3)来表达。参考1 Davis, M. and Weyuker, E.: Computability, Complexity, and Languages---Fundamentals of Theoretical Computer Science. Academic Press, New York, 1983.2 Haykin, S.: Neural Networks. A Comprehensive Foundation. Macmillan College Publishing, New York, 1994.3 Hyötyniemi, H.: Correlations---Building Blocks of Intelligence? In Älyn ulottuvuudet ja oppihistoria (History and dimensions of intelligence), Finnish Artificial Intelligence Society, 1995, pp. 199--226.4 Hyötyniemi, H. and Koivo, H.: Genes, Codes, and Dynamic Systems. In Proceedings of the Second Nordic Workshop on Genetic Algorithms (NWGA'96), Vaasa, Finland, August 19--23, 1996.5 Manolios, P. and Fanelli, R.: First-Order Recurrent Neural Networks and Deterministic Finite State Automata. Neural Computation 6, 1994, pp. 1155--1173.6 Orponen, P.: The Computational Power of Discrete Hopfield Nets with Hidden Units. Neural Computation 8, 1996, pp. 403--415.7 Peterson, J.L.: Petri Net Theory and the Modeling of Systems. Prentice--Hall, Englewood Cliffs, New Jersey, 1981.参考资料:http://users.ics.aalto.fi/tho/stes/step96/hyotyniemi1/