《神经网络第四章》由会员分享，可在线阅读，更多相关《神经网络第四章（172页珍藏版）》请在金锄头文库上搜索。
1、第四章 反馈式神经网络,4.1 Hopfield神经网络 4.2 双向异联想记忆网络 4.3 汉明(Hamming)网络,4.1 Hopfield神经网络,美国加州工学院物理学家J.J.Hopfleld于1982年和1984年分别提出了两种神经网络模型，简称HNN。离散的随机模型（离散Hopfleld网络）确定论模型（连续Hopfleld网络）,HNN模型是目前得到了最充分研究和广泛应用的反馈式神经元网络模型。Hopfield将“能量函数”(也称李雅普诺夫函数)的概念引入分析一类人工神经元网络的稳定过程，使网络运行的稳定性判断有了可靠和简便的依据。开辟了人工神经网络应用于联想记忆和优化计算等领
2、域的范围。由于Hopfield网络与电子电路存在明显的对应关系，所以使得这种网络易于理解和便于实现。显然，为神经网络计算机的研究奠定了基础。,Hopfield网络的基本思想,Hopfield网络作为一种全连接型神经网络曾经在人工神经网络研究发展历程中起过唤起希望、开辟研究新途径的作用。 它用与阶层型神经网络不同的结构特征和学习方法，模拟生物神经网络的记忆机理，获得了令人满意的结果。,1985年Hopfield和DWTank用这种网络模型成功地求解了优化组合问题中的具有典型意义的旅行商(TSP)问题，在所有随机选择的路径中找到了其中十万分之一的最优路径，这在当时是神经网络研究工作中所取得的突破性
3、进展。Hopfield是从物理学磁场理论中受到启发，结合生物神经网络的思维机理而提出这一网络模型的。,磁场也是种具有记忆功能的物质，人们很早就利用磁场的记忆功能创造出许多很有价值的产品，如目前广泛使用的计算机磁盘。由物理学知识可知:在磁性材料中游动着大量的磁旋，正是由于这些带有方向的磁旋的相互作用，才产生了磁场本身所具有的各种性质。在永久磁铁中，由于所有的磁旋都朝向一个方向，构成了磁铁的N极和S极的两极特性。,Hopfield网络的基本思想: 用人工神经元模拟的磁旋，用神经元之间的连接 权模拟磁场中磁场中磁旋的相互作用；用各神经元的“激活”和“抑制”两种状态，模拟磁场中磁旋的上、下两个方向，构
4、成一个具有记忆功能的神经网络系统；引用物理学中有关能量的概念，用“计算能量函数”(ComPutational Energy Function)来评价和指导整个网络的记忆功能。,磁场与神经网络的对照示意图,Hopfield网络的结构和算法,离散型Hopfield网络结构如图。,Hopfield为一层结构的反馈网络，能处理双极型离散数据,即输入及二进制数据当网络经过训练后，可以认为网络处于等待工作状态。,对网络给定初始输入x时，网络就处于特定的初始状态，由此初始状态开始运行，可以得到网络输出即网络的下一状态；然后，这个输出状态通过反馈回送到网络的输入端，作为网络下一阶段运行的输入信号，而这个输入信
5、号可能与初始输入信号不同，由这个新的输入又可得到下步的输出，这个输出也可能与上一步的输出不同；,如此下去，网络的整个运行过程就是上述反馈过程的重复。如果网络是稳定的，那么，随着许多次反馈运行，网络状态的变化减少，直到后来不再变化达到稳态。这时，在网络的输出端可以得到稳定的输出。,这是一个只有四个神经元的离散型Hopfield网络。,其中每个神经元只能取“1”，或“0”两个状态。设网络有n个神经元，则各个神经元的状态可用向量U表示： U(u1，u2，,un) 其中，ui1或0 (i1，2，n)Hopfield网络的各个神经元都是相互连接的，即每一个神经元都将自己的输出通过连接权传送给所有其它神经
6、元，同时每个神经元又都接收所有其它神经元传递过来的信息。,特别值得注意的是，由于Hopfield网络的这种结构特征，对于每一个神经元来说、自己输出的信号经过其它神经元又反馈回自己，所以也可以认为Hopfield网络是一种反馈型神经网络。其它形式的Hopfield网络结构：,对于Hopfield网络已有定理证明：当网络满足以下 两个条件时，Hopfield学习算法总是收敛的。 (1) 网络的连接权矩阵无自连接且具有对称性，即这一假设条件虽然不符合生物神经网络的实际情况(生物神经元之间连接强度通常是不对称的)。但是却与磁场中各磁旋的相互作用情况相一致。,（2）网络中各神经元以非同步或串行方式，依据
7、运行规则改变其状态，即各神经元按随机选取方式，依据运行规则改变状态；且当某个神经元改变状态时其它所有神经元保持原状态不变。这一点符合生物神经网络的情况。,(1)串行(异步)方式：任一时刻只有一个单元改变状态，其余单元不变(动作顺序可以随机选择或按某种确定顺序选择)。(2)并行(同步)方式：某一时刻所有神经元同时改变状态(常称这种工作方式的网络为Litt1e模型)。,Hopfield网络运行规则,神经网络主要有两种运行方式： 一种是前面介绍过的学习运行方式，即通过对训练模式的学习，调整连接权达到模式记忆的目的； 另一种就是下面将要介绍的工作运行方式。在这种运行方式中，各连接权值是固定的，只是通过
8、按一定规则的计算，更新网络的状态，以求达到网络的稳定状态。,图是Hopfield网络中某个神经元的结构图。设网络由n个这样的神经元构成。时刻t第i个神经元的输出为：,上式表明：当所有其它神经元输出的加权总和超过第i个神经元的输出阈值时，此神经元被“激活”、否则将受到”抑制”。这里特别应该注意的是，改变状态的神经元ui，并不是按顺序进行的，而是按随机的方式选取的。,下面将Hopfield工作运行规则总结如下：(1)从网络中随机选取一个神经元ui；(2)求所选中的神经元ui的所有输入的加权总和；(3)计算ui的第t+1时刻的输出值，即,(4)ui以外的所有神经元输出保持不变(5)返回到第一步，直至
9、网络进如稳定状态。,Hopfield网络是一种具有反馈性质的网络，而反馈网络的一个重要特点就是它具有稳定状态，也称为吸引子。那么Hopfield网络的稳定状态是怎样的呢?当网络结构满足前面所指出的两个条件时，按上述工作运行规则反复更新状态，当更新进行到一定程度之后，我们会发现无论再怎样更新下去，网络各神经元的输出状态不再改变，这就是Hopfield网络的稳定状态。,用数学表示为一般情况下，一个Hopfield网络必须经过多次反复更新才能达到稳定状态。,网络计算能量函数与网络收敛,从Hopfoeld网络工作运行规则可以看出，网络中某个神经元t时刻的输出状态，通过其它神经元间接地与自己的t-1时刻
10、的输出状态发生联系。这一特性从数学的观点看，网络的状态变化可用差分方程表征；,从系统动力学的观点看，此时的网络已不象误差反向传播那样只是非线性映射的网络，而是一个反馈动力学系统。准确地说是一个多输入、多输出、带阈值的二态非线性动力学系统。,一个抽象的动力学系统，与一个具有实际物理意义的动力学系统比较，抽象系统的动态过程必定是使某个与实际系统形式上一致的“能量函数”减小的过程。Hopfie1d网络也同样如此。在满足一定的参数条件下，某种“能量函数”的能量在网络运行过程中不断地降低最后趋于稳定的平衡状态。,设t时刻网络的状态用n个神经元的输出向量U(t)表示：设每个神经元只有“1”或“0”两种状态
11、，所以n个神经元共有2n个组合状态，即网络具有2n 种状态。从几何学的角度看，这2n 种状态正好对应一个n维超立方体的各个顶点。以n3为例，一个立方体的八个顶点正好对应网络的八种状态。如图,网络的能量函数可定义为网络状态的二次函数：上式的能量函数巳不是物理学意义上的能量函数，而是在表达形式上与物理意义上的能量概念一致，表征网络状态的变化趋势，并可依据Hopfield工作运行规则不断进行状态变化，最终能够达到某个极小值的目标函数。所谓网络的收敛，就是指能量函数达到极小值。,下面证明，按照Hopfield工作运行规则，改变网络状态，能量函数式将单调减小。由上式可知，对应第i个神经元的能量函数：则由
12、时刻t至时刻t+1的能量Ei的变化量Ei 为,由Hopfield网络工作运行规则可知：当Hi(t)0时，方括号中的值大于或等于零，故Ei 0当Hi(t)0时，方括号中的值小于或等于零，故Ei 0总之，Ei 0 。因为所有神经元都是按同一个工作运行规则进行状态更新的，所以有 E 0 ， 即 E（t+1） E(t)上式说明：随着网络状态的更新，网络能量函数是单调递减的。,图是Hopfield网络能量函数的示意图，为简单起见，假设网络的状态是一维的。横轴为网络状态，纵轴为网络能量函数。,当网络的状态随时间发生变化时，网络能量沿其减小的方向变化，最后落入能量的极小点。一旦能量落入某个极小点之后，按Ho
13、pfield工作运行规则，网络能量函数将会“冻结”在那里。也就是说网络不见得一定收敛到全局的最小点，这是Hopfield网络的一个很大缺陷。但尽管如此，由以上分析可知，Hopfield网络已具有了寻找能量函数极小点的功能，这就为网络的模式记忆打下了基础。,为更深理解Hopfield网络的收敛过程，下面举一个具有四个神经元的Hopfield网络的实例，如图所示。因每个神经元只有“0”、“1”两种状态，故四个神经元共有24 = 16种状态组合，也就是说，函数共有16种状态，分别用16进制数1F表示。,分别让网络从0，l，2，F状态开始变化，每次共进行30回学习，观察网络状态变化的次序及网络的收敛情
14、况。 图中，左边 ：内分别表示网络的初始状态和对应的网络能量，中间部分表示网络状态在30次学习过程中的变化次序，最右侧“*”号表示网络收敛到全局最小点，“.”表示网络落入局部极小点。网络的连接权初始值为一1，+1内的随机值。,除去从3和A两个初始状态开始变化外，其它14个初始状态最后都能收敛至全局最小点状态4(能量为-115)。例如初始状态9，其能量为187，随着学习的进行，经9-5-，4最后收敛于状态4；而当从状态A开始变化时，由A-3-3-3，最后收敛于局部极小点状态了，其能量为17。这说明网络的收敛情况依赖于网络的初始状态。,另外需要注意的是，这里网络能量的具体数值并不具有一定的物理意义
15、，它只表明网络某一状态在整个网络的所有状态中所处的地位。当网络连接权的初始值改变时，各个状态所对应的能量具体数值也将随之改变。,在上例中，只改变连接权初始随机值的取值方法(程序语言中，设置了产生不同种类随机数的方法)，其它与上例完全一样，则其状态的变化规律如图所示。由图中可知，此时无论网络从哪一个状态出发，最后都将收敛于网络的全局最小点状态e，其能量为一248。这说明整个网络只有一个极小点，即全局最小点。,由此可知，对于同样结构的网络，当网络参数有所变化时，如连接权初始值随机数的取值形式或随机数的振幅有所不同时，网络的能量函数也将发生变化，其曲线或曲面(超曲面)对应的极小点的个数和大小也将变化
16、。,联想记忆,记忆（存储）是生物神经系统一个最基本也是最重要的功能。对于人工神经网络，记忆功能的强弱同样是衡量其综合性能的一个重要指标。而联想记忆（associative memory,AM)又是人工神经网络模拟生物神经网络记忆特征的一个主要方法。,“联想”可以理解为从一种事物联系到与其相关事物的过程。在日常生活中,人们从一种事物出发，自然地会联想到与该事物密切相关或者有因果关系的种种事物。联想记忆的基本特征；这就是由某个模式的部分信息联想起这个模式的全部信息。,联想记忆的两个突出的特点： 1.信息（数据）的存取不是像传统计算机通过存储器的地址来实现，而是由信息本身的内容实现，它是“按内容存取记忆”（content adderssbale memory,CAM）;2. 信息不是集中存储在某些单元中，而是分布存储的。,联想记忆又分为:自联想记忆（auto-association）互联想记忆(hetero-association)。自联想记忆就是由某种代表事物(或者该事物的主要特征或可能是部分主要特征)联想到其所表示的实际事物；互联想是有某一事物(或该事物的主要特征或者可能是部分主要特征)联想到与其密切相关的另一事物。,
