反馈神经网络2课件

《反馈神经网络2课件》由会员分享，可在线阅读，更多相关《反馈神经网络2课件（58页珍藏版）》请在金锄头文库上搜索。

1、第三讲第三讲 反馈神经网反馈神经网络络1本章知识结构本章知识结构概述概述离散离散HopfieldHopfield网络网络连续连续HopfieldHopfield网络网络连续连续HopfieldHopfield网络的应用网络的应用优化计算优化计算23.1 3.1 概述概述 联想特性是联想特性是ANNANN的一个重要特性。前面介绍的的一个重要特性。前面介绍的网络模型属于前向网络模型属于前向NNNN，从学习的角度看，具有较，从学习的角度看，具有较强的学习能力，结构简单，易于编程。从系统角强的学习能力，结构简单，易于编程。从系统角度看，属于静态的非线性映射，通过简单的非线度看，属于静态的非线性映射，通

2、过简单的非线性处理单元的复合映射可获得复杂的非线性处理性处理单元的复合映射可获得复杂的非线性处理能力。但他们因此缺乏反馈，所以并不是强有力能力。但他们因此缺乏反馈，所以并不是强有力的动力学系统。联想特性是的动力学系统。联想特性是ANNANN的一个重要特性，的一个重要特性，主要包括联想映射和联想记忆。前馈网络具有诱主要包括联想映射和联想记忆。前馈网络具有诱人的联想映射能力，而不具备联想记忆能力。在人的联想映射能力，而不具备联想记忆能力。在反馈反馈NNNN中，我们将着重介绍中，我们将着重介绍NNNN的联想记忆和优化的联想记忆和优化计算的能力。计算的能力。33.1 3.1 概述概述 联想记忆是指当网

3、络输入某个矢量后，网络联想记忆是指当网络输入某个矢量后，网络经过反馈演化，从网络输出端得到另一个矢量，经过反馈演化，从网络输出端得到另一个矢量，这样输出矢量就称作网络从初始输入矢量联想得这样输出矢量就称作网络从初始输入矢量联想得到的一个稳定记忆，即网络的一个平衡点。优化到的一个稳定记忆，即网络的一个平衡点。优化计算是指当某一问题存在多种解法时，可以设计计算是指当某一问题存在多种解法时，可以设计一个目标函数，然后寻求满足这一目标函数的最一个目标函数，然后寻求满足这一目标函数的最优解法。例如，在很多情况下可以把能量函数作优解法。例如，在很多情况下可以把能量函数作为目标函数，得到的最优解法需要使能量

4、函数达为目标函数，得到的最优解法需要使能量函数达到极小点，即能量函数的稳定平衡点。总之，反到极小点，即能量函数的稳定平衡点。总之，反馈网络的设计思想就是在初始输入下，使网络经馈网络的设计思想就是在初始输入下，使网络经过反馈计算最后到达稳定状态，这时的输出即是过反馈计算最后到达稳定状态，这时的输出即是用户需要的平衡点。用户需要的平衡点。419821982年年, ,美国加州工学院美国加州工学院J.HopfieldJ.Hopfield提出了可用作联提出了可用作联想存储器和优化计算的反馈网络想存储器和优化计算的反馈网络, ,这个网络称为这个网络称为HopfieldHopfield神经网络神经网络(HN

5、N)(HNN)模型模型, ,也称也称HopfieldHopfield模型模型. .HNNHNN是一种循环是一种循环NN,NN,从输出到输从输出到输入有反馈连接入有反馈连接. .HNNHNN有有离散型和离散型和连续型连续型两种两种. .3.1 3.1 概述概述5 反馈网络反馈网络(Recurrent Network),(Recurrent Network),又称自联又称自联想记忆网络想记忆网络, ,如下图所示如下图所示: :3.1 3.1 概述概述6 反馈网络的目的是为了设计一个网络，储存一反馈网络的目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过组平衡点，使得当给网络

6、一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：特性。它所具有的主要特性为以下两点：第一、网络系统具有若干个稳定状态。当网络从某第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；个稳定的平衡状态；第二、系统稳定的平衡状态可以通过设计网络的权第二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。值而被存储到网络中。 3

7、.1 3.1 概述概述7由于由于HNNHNN为动力学系统为动力学系统, ,且其平衡态关系到信且其平衡态关系到信息的存储与联想记忆息的存储与联想记忆, ,其平衡态与稳定性是非其平衡态与稳定性是非常关键的问题。常关键的问题。反馈网络根据信号的时间域的性质的分类为反馈网络根据信号的时间域的性质的分类为如果激活函数如果激活函数f()f()是一个二值型的阶跃函数是一个二值型的阶跃函数, ,则则称此网络为离散型反馈网络称此网络为离散型反馈网络, ,主要用于联想记忆主要用于联想记忆; ;如果如果f()f()为一个连续单调上升的有界函数为一个连续单调上升的有界函数, ,这类这类网络被称为连续型反馈网络网络被称

8、为连续型反馈网络, ,主要用于优化计算。主要用于优化计算。3.1 3.1 概述概述8反馈反馈NNNN由于其输出端有反馈到其输入端由于其输出端有反馈到其输入端, ,所以所以,HNN,HNN在在输入的激励下输入的激励下, ,会产生不断的状态变化会产生不断的状态变化. .当有输入之后当有输入之后, ,可以求取出可以求取出HNNHNN的输出的输出, ,这个输出反馈到输这个输出反馈到输入从而产生新的输出入从而产生新的输出, ,这个反馈过程一直进行下去这个反馈过程一直进行下去. .如果如果HNNHNN是一个能稳定的网络是一个能稳定的网络, ,则这个反馈与迭代的计算则这个反馈与迭代的计算过程所产生的变化越来

9、越小过程所产生的变化越来越小, ,一旦到达了稳定平衡状态一旦到达了稳定平衡状态, ,那么那么HNNHNN就会输出一个稳定的恒值就会输出一个稳定的恒值. .对于对于HNNHNN来说来说, ,关键是在于确定它在稳定条件下的权系数关键是在于确定它在稳定条件下的权系数. .应该指出应该指出, ,反馈网络有稳定的反馈网络有稳定的, ,也有不稳定的也有不稳定的. .对于对于HNNHNN来说来说, ,还存在如何判别它是稳定网络还存在如何判别它是稳定网络, ,亦或是亦或是不稳定的问题不稳定的问题. .而判别依据是什么而判别依据是什么, ,也是需要确定的也是需要确定的. .3.1 3.1 概述概述93.1 3.

10、1 概述概述反馈网络与前向网络的区别反馈网络与前向网络的区别结构不同结构不同 前向神经网络：没有反馈环节。前向神经网络：没有反馈环节。 反馈神经网络：一个动态系统，存在稳定性反馈神经网络：一个动态系统，存在稳定性问题。（关键问题）问题。（关键问题）模型不同模型不同 前向网络：从输入到输出的映射关系，不考前向网络：从输入到输出的映射关系，不考虑延时。虑延时。 反馈网络：考虑延时，是一个动态系统，模反馈网络：考虑延时，是一个动态系统，模型是动态方程（微分方程）。型是动态方程（微分方程）。103.1 3.1 概述概述网络的演变过程不同网络的演变过程不同 前向网络：通过学习得到连接权然后完成指前向网络

11、：通过学习得到连接权然后完成指定任务。定任务。 反馈网络：反馈网络：( (优化计算时优化计算时) )首先确定首先确定w w（不是通（不是通过学习而来的，而是通过目标函数用解析算法过学习而来的，而是通过目标函数用解析算法得到的），设定网络的初始状态，然后系统运得到的），设定网络的初始状态，然后系统运动，若稳定，则最后达到一个稳定状态，对应动，若稳定，则最后达到一个稳定状态，对应的输出就是优化问题的解。的输出就是优化问题的解。113.1 3.1 概述概述学习方法不同学习方法不同 前向网络：误差修正算法（前向网络：误差修正算法（BPBP算法）。算法）。 反向网络：海布反向网络：海布(Hebb)(He

12、bb)算法算法( (用于联想、分用于联想、分类的时候类的时候) )123.1 3.1 概述概述应用范围不同应用范围不同 前向网络：只能用于联想映射及其分类。前向网络：只能用于联想映射及其分类。 反馈网络：同时也可以用于联想记忆和反馈网络：同时也可以用于联想记忆和约束优化问题的求解。约束优化问题的求解。13对于如对于如HNNHNN类似的反馈网络类似的反馈网络, ,研究的重点为研究的重点为: :如何通过网络神经元状态的变迁而最终稳定于平如何通过网络神经元状态的变迁而最终稳定于平衡状态衡状态, ,得到联想存储或优化计算的结果得到联想存储或优化计算的结果网络的稳定性问题网络的稳定性问题怎样设计和利用稳

13、定的反馈网络怎样设计和利用稳定的反馈网络网络系统能够达到稳定收敛网络系统能够达到稳定收敛 网络的稳定点网络的稳定点 吸引域的设计吸引域的设计 下面开始介绍下面开始介绍HNN,HNN,分别介绍两种主要的分别介绍两种主要的HNN:HNN:离散离散HopfieldHopfield网络网络连续连续HopfieldHopfield网络网络3.1 3.1 概述概述143.2 3.2 离散离散HopfieldHopfield网络网络HopfieldHopfield最早提出的网络是神经元的输出为最早提出的网络是神经元的输出为0-10-1二值的二值的NN,NN,所以所以, ,也称离散的也称离散的HNN (HNN

14、 (简称为简称为DHNN).DHNN).下面分别讨论下面分别讨论DHNNDHNN的的结构结构动力学稳定性动力学稳定性( (网络收敛性网络收敛性) )联想存储中的应用联想存储中的应用记忆容量问题记忆容量问题15在在DHNNDHNN网络中网络中, ,神经元所输出的离散值神经元所输出的离散值1 1和和0 0分分别表示神经元处于兴奋和抑制状态别表示神经元处于兴奋和抑制状态. .各神经元通过赋有权重的连接来互联各神经元通过赋有权重的连接来互联. .下面下面, ,首先考虑由三个神经元组成的首先考虑由三个神经元组成的DHNN,DHNN,其结其结构如构如图图3.13.1所示所示. .3.2.13.2.1离散离

15、散HopfieldHopfield网络的结构网络的结构163.2.13.2.1离散离散HopfieldHopfield网络的结构网络的结构17在图中在图中, ,第第0 0层仅仅是作为网络的输入层仅仅是作为网络的输入, ,它不是它不是实际神经元实际神经元, ,所以无计算功能所以无计算功能; ;而第一层是实际神经元而第一层是实际神经元, ,故而执行对输入信息和故而执行对输入信息和权系数乘积求累加和权系数乘积求累加和, ,并由非线性函数并由非线性函数f f处理后产处理后产生输出信息生输出信息. .f f是一个简单的阈值函效是一个简单的阈值函效, ,如果如果神经元的输入信息的综合大于阈值神经元的输入信

16、息的综合大于阈值 , ,那么那么, ,神经元的神经元的输出就取值为输出就取值为1;1;小于阈值小于阈值 , ,则神经元的输出就取值为则神经元的输出就取值为0.0.对于二值神经元对于二值神经元, ,它的计算公式如下它的计算公式如下3.2.13.2.1离散离散HopfieldHopfield网络的结构网络的结构18其中xj为外部输入,并且有yj=1,当ujj时yj=0,当uj0,有:y(t+t)=y(t)则称网络是稳定的.吸引子：若y(t)是网络的稳定状态，则称y(t)是网络的稳定吸引子。吸引域：能够稳定在吸引子y(t)的所有初始状态y(0)的集合，称为吸引子y(t)的吸引域。27q从DHNN可以

17、看出:它是一种多输入,含有阈值的二值非线性动力系统.在动力系统中,平衡稳定状态可以理解为系统的某种形式的能量函数在系统运动过程中,其能量值不断减小,最后处于最小值.因此,对HNN可引入一个Lyapunov函数,即所谓能量函数:3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性即有283.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性对对HNNHNN的能量函数有几点说明的能量函数有几点说明: :当对反馈网络应用能量函数后当对反馈网络应用能量函数后, ,从任一初始状态开从任一初始状态开始始, ,因为在每次迭代后都能满足因为在每次迭代后都能满足 E E 0,0,所

18、以网络的所以网络的能量将会越来越小能量将会越来越小. .由于能量函数存在下界由于能量函数存在下界, ,因此其最后趋于稳定点因此其最后趋于稳定点 E=0. E=0. HopfieldHopfield能量函数的物理意义是能量函数的物理意义是: :在那些渐进稳定点的吸引域内在那些渐进稳定点的吸引域内, ,离吸引点越远的状态离吸引点越远的状态, ,所所具有的能量越大具有的能量越大. .由于能量函数的单调下降特性由于能量函数的单调下降特性, ,保证状态的运动方向能保证状态的运动方向能从远离吸引点处从远离吸引点处, ,不断地趋于吸引点不断地趋于吸引点, ,直到达到稳定点直到达到稳定点. .293.2.2

19、DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性能量函数是反馈网络中的重要概念能量函数是反馈网络中的重要概念. .根据能量函数根据能量函数可以方便的判断系统的稳定性可以方便的判断系统的稳定性; ;HopfieldHopfield选择的能量函数选择的能量函数, ,只是保证系统稳定和渐只是保证系统稳定和渐进稳定的充分条件进稳定的充分条件, ,而不是必要条件而不是必要条件, ,其能量函数其能量函数也不是唯一的也不是唯一的. .在状态更新过程中，包括三种情况：由在状态更新过程中，包括三种情况：由0 0变为变为1 1；由由1 1变为变为0 0及状态保持不变。及状态保持不变。303.2.2 DHN

20、N3.2.2 DHNN的动力学稳定性的动力学稳定性q类似于研究动力学系统稳定性的Lyapunov稳定性理论,上述DHNN的稳定性可由分析上述定义的Lyapunov函数E的变化规律而揭示.因此,由神经元j的状态变化量yj(t)所引起的的能量变化量Ej为:若所讨论的HNN是对称网络,即有wi,j=wj,i,i,j=1,2,.,n,则有31则yj(t+1)=fuj(t)-j式(3)则可记为:Ej(t)=-uj(t)+jyj(t) (3A)q下面分别对串行异步方式串行异步方式和并行同步方式并行同步方式,证明对称二值型HNN是稳定的.3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性q

21、如果,令32A.串行异步方式串行异步方式q对串行异步和对称权值型的HNN,基于式(3A)Ej(t)=-uj(t)+jyj(t) (3A)考虑如下两种情况:如果如果ujj,即神经元j的输入综合大于阈值,则从二值神经元的计算公式知道:yj的值保持为1,或者从0变到1.这说明yj的变化yj只能是0或正值.这时很明显有Ej:Ej0这说明HNN神经元的能量减少或不变.3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性33如果如果ujj,即神经元j的输入综合小于阈值,则知yj的值保持为0,或者从1变到0,而yj小于等于零.这时则有Ej:Ej0这也说明HNN神经元的能量减少.q上面两点说明

22、了DHNN在权系数矩阵W的对角线元素为0,而且W矩阵元素对称时,串行异步方式的DHNN是稳定的.3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性34B. 并行同步方式并行同步方式q由上述对串行异步和对称权值型的DHNN的稳定性分析过程知,单个神经元的状态变化引起的Lyapunov函数的变化量Ej(t)0 因此, 并行同步且权值对称的并行同步且权值对称的DHNN的所有神经元引起的Lyapunov函数的变化量为:3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性 故上面两点说明了DHNN在权系数矩阵W的对角线元素为0,而且W矩阵元素对称时,并行同步方式的DHN

23、N是稳定的.35q基于上述分析,Coben和Grossberg在1983年给出了关于HNN稳定的充分条件,他们指出:如果权系数矩阵如果权系数矩阵W是一个对称矩阵是一个对称矩阵,并且并且,对角线元素为对角线元素为0.则这个网络是稳定的则这个网络是稳定的.即是说在权系数矩阵W中,若i=j时, Wij=0ij时,Wij=Wji则HNN是稳定的.应该指出: 这只是HNN稳定的充分条件,而不是必要条件.在实际中有很多稳定的HNN,但是它们并不满足权系数矩阵w是对称矩阵这一条件.3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性363.2.2 DHNN3.2.2 DHNN的动力学稳定性的

24、动力学稳定性q由上面的分析可知:无自反馈的权系数对称HNN是稳定.它如图3.4所示.372.2.3 HNN2.2.3 HNN的联想记忆的联想记忆所谓联想可以理解为从一种事物联系到与其相所谓联想可以理解为从一种事物联系到与其相关的事物的过程关的事物的过程. .日常生活中日常生活中, ,从一种事物出发从一种事物出发, ,人们会非常自然地人们会非常自然地联想到与该事物密切相关或有因果关系的种种事联想到与该事物密切相关或有因果关系的种种事务务. .两种联想形式两种联想形式自联想自联想(Auto-association) :(Auto-association) :由某种代表事物由某种代表事物( (或该事

25、物的主要特征或该事物的主要特征, ,或部分主或部分主要特征要特征) )联想到其所标示的实际事物。联想到其所标示的实际事物。从英文字头从英文字头“Newt”“Newt”联想到联想到“Newton”“Newton”。听到歌曲的一部分可以联想起整个曲子。听到歌曲的一部分可以联想起整个曲子。382.2.3 HNN2.2.3 HNN的联想记忆的联想记忆异联想异联想( (他联想他联想)(Hetero -association) :)(Hetero -association) :由一种事物由一种事物( (或该事物的主要特征或该事物的主要特征, ,或部分主要特或部分主要特征征) )联想到与其密切相关的另一事物

26、。联想到与其密切相关的另一事物。从质能关系式从质能关系式E=mcE=mc2 2联想到其发明者爱因斯坦。联想到其发明者爱因斯坦。看到某人的名字会联想起他的相貌和特点。看到某人的名字会联想起他的相貌和特点。人脑从一种事物得到对应事物的两种途径人脑从一种事物得到对应事物的两种途径按时间顺序对相关事物进行思考按时间顺序对相关事物进行思考可通过时间表来回忆某一阶段所做的工作可通过时间表来回忆某一阶段所做的工作. .通过事物本质特征的对比来确定事物的属性通过事物本质特征的对比来确定事物的属性由提示信息或局部信息对事物进行回忆或确认由提示信息或局部信息对事物进行回忆或确认. .392.2.3 HNN2.2.

27、3 HNN的联想记忆的联想记忆qHNNHNN的一个功能是可用于联想记忆的一个功能是可用于联想记忆, ,也即是联想存储也即是联想存储器器. .这是人类的智能特点之一这是人类的智能特点之一. .人类的所谓人类的所谓“触景生情触景生情”就是见到一些类同过去接触的就是见到一些类同过去接触的景物景物, ,容易产生对过去情景的回昧和思忆容易产生对过去情景的回昧和思忆. .对于对于HNN,HNN,用它作联想记忆时用它作联想记忆时, ,首先通过一个学习训练过程首先通过一个学习训练过程确定网络中的权系数确定网络中的权系数, ,使所记忆的信息在网络的使所记忆的信息在网络的n n维超立维超立方体的某一个顶角的能量最

28、小方体的某一个顶角的能量最小. .当网络的权系数确定之后当网络的权系数确定之后, ,只要向网络给出输入向量只要向网络给出输入向量, ,这这个向量可能是局部数据个向量可能是局部数据. .即不完全或部分不正确的数据即不完全或部分不正确的数据, ,但是网络仍然产生所但是网络仍然产生所记忆的信息的完整输出记忆的信息的完整输出. .402.2.3 HNN2.2.3 HNN的联想记忆的联想记忆q19841984年年HopfieldHopfield提出一种用提出一种用n n维维HNNHNN作联想存储器的作联想存储器的结构结构. .HNNHNN联想存储器的主要思想为联想存储器的主要思想为: :根据欲存储的信息

29、的表示形式和维数根据欲存储的信息的表示形式和维数, ,设计相应的设计相应的HNNHNN结构结构将欲存储的信息设计为将欲存储的信息设计为HNNHNN的动力学过程的已知的渐的动力学过程的已知的渐近稳定平衡点近稳定平衡点通过学习和设计算法寻求合适的权值矩阵将稳定状态通过学习和设计算法寻求合适的权值矩阵将稳定状态存储到网络中存储到网络中412.2.3 HNN2.2.3 HNN的联想记忆的联想记忆q在HNN联想存储器中,权系数的赋值规则Hebb规则,即为存储向量的外积存储规则,其原理如下:设有m个样本存储向量X1,X2,Xm,其中Xi=Xi1,Xi2,.,Xi,n把这m个样本向量存储入HNN中,则在网络

30、中第i,j两个节点之间权系数的值为(权值学习规则):其中k为样本向量Xk的下标,k=1,2,m;i,j分别是样本向量Xk的第i,j分量Xk,i,Xk,j的下标.422.2.3 HNN2.2.3 HNN的联想记忆的联想记忆如果把系统的稳定点视做一个记忆的话，那么从初如果把系统的稳定点视做一个记忆的话，那么从初始状态朝这个稳定点移动的过程就是寻找该记忆的始状态朝这个稳定点移动的过程就是寻找该记忆的过程。过程。例例1 1：计算如图：计算如图3.53.5所示所示3 3节点节点DHNNDHNN的状态转移关系。的状态转移关系。考虑到考虑到DHNNDHNN的权值特性的权值特性w wijijw wjiji，可

31、简化为图，可简化为图3.63.6右右边的等价图。边的等价图。432.2.3 HNN2.2.3 HNN的联想记忆的联想记忆 图图3.6 3.6 一个一个3 3节点的节点的DHNNDHNN结构图结构图442.2.3 HNN2.2.3 HNN的联想记忆的联想记忆设网络参数为：设网络参数为：现在以初始状态（可任意选定）现在以初始状态（可任意选定）y y1 1y y2 2y y3 3=(000)=(000)为例为例, ,以异步运以异步运行网络，考察各个节点的状态转移情况。现在考虑每个节点行网络，考察各个节点的状态转移情况。现在考虑每个节点y y1 1y y2 2y y3 3以等概率（以等概率（1/n1/

32、n）被选择。）被选择。假定首先选择节点假定首先选择节点y y1 1，则节点状态为：，则节点状态为： Net1=1*0+2*0-(-5)=50Net1=1*0+2*0-(-5)=50节点节点1 1输出为：输出为： y y1 1=1=1即，网络状态由（即，网络状态由（000000）变化到（）变化到（100100），转移概率为），转移概率为1/31/3。452.2.3 HNN2.2.3 HNN的联想记忆的联想记忆如选择节点如选择节点y y2 2 ，则节点状态为：，则节点状态为： Net2=1*0+Net2=1*0+（-3-3）*0-0=0*0-0=0节点节点2 2输出为：输出为： y y1 1=0=

33、0即，网络状态由（即，网络状态由（000000）变化到（）变化到（000000），转移概率为），转移概率为1/31/3。如选择节点如选择节点y y3 3 ，则节点状态为：，则节点状态为： Net3=2*0+Net3=2*0+（-3-3）*0-3=-30*0-3=-30节点节点3 3输出为：输出为： y y3 3=0=0即，网络状态由（即，网络状态由（000000）变化到（）变化到（000000），同样，转移概率为），同样，转移概率为1/31/3。从上面的网络运行可以看出，在网络参数给定的情况下，网络从上面的网络运行可以看出，在网络参数给定的情况下，网络状态以状态以1/31/3的概率转移到（的概

34、率转移到（100100），以），以2/32/3的概率转移到的概率转移到（000000），即保持不变，而不会转移到（），即保持不变，而不会转移到（010010）等其它状态。）等其它状态。462.2.3 HNN2.2.3 HNN的联想记忆的联想记忆同理，还可以计算出其它状态之间的转移关系。同理，还可以计算出其它状态之间的转移关系。从这个例子可以看出：从这个例子可以看出：（1 1）状态（）状态（110110）是一个满足前面稳定定义的状态，即为稳定）是一个满足前面稳定定义的状态，即为稳定状态；状态；（2 2）从任意初始状态开始，网络经过有限次状态更新后，都）从任意初始状态开始，网络经过有限次状态更新后

35、，都将到达该稳定状态。将到达该稳定状态。472.2.3 HNN2.2.3 HNN的联想记忆的联想记忆例例2 2：计算例：计算例1 1中中3 3节点模型的个状态的能量。节点模型的个状态的能量。首先选择状态首先选择状态y y1 1y y2 2y y3 3= =（011011），此时，网络的能量为：），此时，网络的能量为：再选择状态再选择状态y y1 1y y2 2y y3 3= =（110110），同理，网络的能量为：），同理，网络的能量为：482.2.3 HNN2.2.3 HNN的联想记忆的联想记忆其余状态能量如表其余状态能量如表2 2所示：所示： 表表2.2.模型各状态能量表模型各状态能量表y

36、1y2y3E0000001301000116100-5101-4110-6111-2显然，状态显然，状态y y1 1y y2 2y y3 3= =（110110）处的能量最小。从任意状态开始，）处的能量最小。从任意状态开始，网络沿能量减小（包括同一级能量）方向更新状态，最终能网络沿能量减小（包括同一级能量）方向更新状态，最终能达到对应能量极小的稳态。达到对应能量极小的稳态。492.2.4 2.2.4 记忆容量问题记忆容量问题设计设计DHNNDHNN网络的目的网络的目的, ,是希望通过所设计的权是希望通过所设计的权值矩阵值矩阵W W储存多个期望模式储存多个期望模式. .因此因此, ,在在DHNN

37、DHNN用于联想记忆问题用于联想记忆问题, ,记忆容量问题是记忆容量问题是一个必须回答的基本问题一个必须回答的基本问题. .当网络只记忆一个稳定模式时当网络只记忆一个稳定模式时, ,该模式肯定被该模式肯定被网络准确无误地记忆住网络准确无误地记忆住, ,即所设计的即所设计的W W值一定值一定能够满足正比于输入和输出矢量的乘积关系能够满足正比于输入和输出矢量的乘积关系. .但当需要记忆的模式增多时但当需要记忆的模式增多时, ,网络记忆可能出现网络记忆可能出现问题问题. .502.2.4 2.2.4 记忆容量问题记忆容量问题按照按照HebbHebb规则求出权矩阵后，可以认为已有规则求出权矩阵后，可以

38、认为已有M M个模式个模式存入网络的连接权中。在联想过程中，先给出原始存入网络的连接权中。在联想过程中，先给出原始模式模式m m0 0，使网络处于某种初始状态下，用网络方程动，使网络处于某种初始状态下，用网络方程动态运行，最后到达一个稳定状态。如果此稳定状态态运行，最后到达一个稳定状态。如果此稳定状态对应于已存储的对应于已存储的M M个模式中的某个模式个模式中的某个模式m mk k, ,则称模式则称模式m mk k是由模式是由模式m m0 0联想起来的。在这里举例说明。联想起来的。在这里举例说明。例例3.3.对于一个对于一个4 4神经元的网络，取阈值为神经元的网络，取阈值为0 0。给定两。给定

39、两个模式存储于网络中：个模式存储于网络中： m m1 1:Y:Y(1)(1)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=1,1,1,1,=1,1,1,1, m m2 2:Y:Y(2)(2)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,-1,-1.=-1,-1,-1,-1.512.2.4 2.2.4 记忆容量问题记忆容量问题按照按照HebbHebb规则规则可求得权矩阵：可求得权矩阵：522.2.4 2.2.4 记忆容量问题记忆容量问题给出用于联想的原始模式：给出用于联想的原始模式： m mA A:Y=y:Y=y1 1,y,y2 2,y,y3 3,y,y4 4

40、=1,1,-1,1,=1,1,-1,1,运用网络方程：运用网络方程：得到：得到： Y(1)=1,1,1,1, Y(1)=1,1,1,1,再次运行，得到再次运行，得到 Y(2)=1,1,1,1 Y(2)=1,1,1,1。 这时网络已处于稳定状态：这时网络已处于稳定状态：Y=1,1,1,1Y=1,1,1,1。而这。而这个稳定状态正好是网络已记忆的模式个稳定状态正好是网络已记忆的模式m m1 1，由此可以，由此可以认为认为m m1 1是由模式是由模式m mA A联想起来的。联想起来的。532.2.4 2.2.4 记忆容量问题记忆容量问题若给出用于联想的原始模式为：若给出用于联想的原始模式为： m m

41、B B:Y=y:Y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,-1,1,=-1,-1,-1,1,则得到另一稳定状态则得到另一稳定状态 Y=-1,-1,-1,-1 Y=-1,-1,-1,-1即模式即模式m m2 2。542.2.4 2.2.4 记忆容量问题记忆容量问题再看一例。再看一例。例例4.4.存储如下记忆模式：若给出用于联想的原始模式存储如下记忆模式：若给出用于联想的原始模式为：为： m m1 1:Y:Y(1)(1)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,1,=-1,1,1,1, m m2 2:Y:Y(2)(2)=y=y1 1,y,y2

42、 2,y,y3 3,y,y4 4=-1,-1,1,1,=-1,-1,1,1, m m3 3:Y:Y(3)(3)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,-1.=-1,1,1,-1.则其权矩阵为：则其权矩阵为：552.2.4 2.2.4 记忆容量问题记忆容量问题给出联想模式：给出联想模式： m m3 3:Y:Y(3)(3)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,-1.=-1,1,1,-1.但网络运行稳定在模式但网络运行稳定在模式 m m1 1:Y:Y(1)(1)=-1,1,1,1=-1,1,1,1而不是其自身模式而不是其自身模式m m

43、3 3。562.2.4 2.2.4 记忆容量问题记忆容量问题因此，因此，DHNNDHNN用于记忆联想时，是受其记忆容量和样用于记忆联想时，是受其记忆容量和样本差异制约的。当记忆模式较少，且模式之间的差本差异制约的。当记忆模式较少，且模式之间的差异较大，则联想的结果就比较正确；而当需记忆的异较大，则联想的结果就比较正确；而当需记忆的模式较多，容易引起混淆时，网络到达的稳定状态模式较多，容易引起混淆时，网络到达的稳定状态往往不是已记忆的模式；再者，当需记忆的模式之往往不是已记忆的模式；再者，当需记忆的模式之间较为相近时，网络就不能辨别出正确的模式，甚间较为相近时，网络就不能辨别出正确的模式，甚至连

44、自身都会搞错，即使用已记忆的模式作为联想至连自身都会搞错，即使用已记忆的模式作为联想模式（自联想），也可能出错，如例模式（自联想），也可能出错，如例4 4。572.2.4 2.2.4 记忆容量问题记忆容量问题当网络用于联想记忆时，就涉及到网络的记忆容量问题。当网络用于联想记忆时，就涉及到网络的记忆容量问题。对此不做专门讨论，仅给出一些研究结果。对此不做专门讨论，仅给出一些研究结果。对于由对于由N N个神经元构成的个神经元构成的DHNNDHNN的存储能量，通过适当选择网的存储能量，通过适当选择网络的连接权矩阵和阈值所能达到稳定的络的连接权矩阵和阈值所能达到稳定的N N维矢量的最大数目维矢量的最大数目k k： HopfieldHopfield给出的实验估计为给出的实验估计为( (推导见：杨行俊，第七章推导见：杨行俊，第七章) )： Mc Eliece Mc Eliece给出的一个结果是：给出的一个结果是： 对于精确地决定对于精确地决定DHNNDHNN的记忆容量问题，还有待于进一的记忆容量问题，还有待于进一步的理论分析和实验验证。步的理论分析和实验验证。58