《【5A版】反馈型神经网络》由会员分享，可在线阅读，更多相关《【5A版】反馈型神经网络（96页珍藏版）》请在金锄头文库上搜索。
1、反馈型神经网络,1.前馈型与反馈型神经网络的比较,(1) 前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反馈型神经网络考虑输入输出之间在时间上的延迟，需要用动态方程来描述，反馈型神经网络是一个非线性动力学系统。 (2) 前馈型神经网络的学习训练主要采用BP算法，计算过程和收敛速度比较慢；反馈型神经网络的学习主要采用Hebb规则，一般情况下计算的收敛速度很快，并且它与电子电路有明显的对应关系，使得网络易于用硬件实现。 (3) 前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其收敛程度；反馈型神经网络的学习目的是快速寻找到稳定点，一般用能量函数来判别是否趋于稳定点。 (4
2、)两者都有局部极小问题。,2.反馈型神经网络模型,一、网络结构 单层全反馈型神经网络结构 输入输出关系为：,2.反馈型神经网络模型,二、网络状态 (1)轨迹经过一段时间t (t0)后不会再延伸，而永远停留在X(t0+t)状态，这时称网络收敛到一个稳定点或平衡点。在一个反馈网络中，可能存在有多个稳定点，根据不同的情况，这些稳定点可分为： 渐近稳定点Xe 不稳定的平衡点Xf 网络的伪稳定点 (2)轨迹为环状，称为极限环。 (3)如果X(t)的轨迹在某个确定的范围内变化，但既不重复又不能停下来，状态变化为无穷多个，而轨迹也不发散到无穷远，这种现象成为混沌（Chaos）. (4)如果X(t)的轨迹随时
3、间一直延伸到无穷远，此时状态发散，而系统的输出也发散。,2.反馈型神经网络模型,三、网络的设计要求 (1)网络的稳定性 (2)网络的稳定点 (3)稳定点的吸引域,霍普菲尔德（Hopfield）神经网络,美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield 网。 Hopfield网络是单层对称全反馈网络，根据激活函数选取的不同，可分为离散型（DHNN）和连续性（CHNN）两种。 DHNN：作用函数为hadlim，主要用于联想记忆。 CHNN：作用函数为S型函数，主要用于优化计算。,离散型的 Hopfield神经网络,
4、1、网络结构 2、网络的工作方式 3、网络的稳定性分析 4、DHNN网络设计,离散型Hopfield神经网络模型,一、网络结构 DHNN的结构是一个单层结构的全反馈网络，有n个节点，W是一个nn的对称零对角权值矩阵，为n维阈值向量。 DHNN网中的每个神经元都有相同的功能，其输出称为状态，用 xj 表示。 所有神经元状态的集合就构成反馈网络的状态： X=x1,x2,xnT 反馈网络的输入就是网络的状态初始值，表示为： X(0)=x1(0),x2(0),xn(0)T,离散型Hopfield神经网络模型,j=1,2,n,DHNN网的转移函数常采用符号函数,式中净输入为,j=1,2,n,对于DHNN
5、网，一般有wii=0 ，wij=wji。,反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为,离散型Hopfield神经网络模型,二、网络的工作方式 (1) 串行（异步）工作方式 任一时刻t，只有某一个节点i (随机地或确定性地选择) 变化，而其余n-1个节点的状态保持不变，即： (2) 并行（同步）工作方式 任一时刻t，所有的节点或部分节点改变状态，即：,离散型Hopfield神经网络模型,三、网络的稳定性分析 （1）网络的状态 稳定：若网络从一个初态X(t0)出发，经过一个有限时刻t，网络的状态不再发生变化，即： 则称网络是稳定的，这时所有的节点输出不再变化，网
6、络稳定在某一状态。如果网络是稳定的，它可以从任一初态收敛到一个稳态。,离散型Hopfield神经网络模型,有限环：若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。 混沌：如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌。,离散型Hopfield神经网络模型,网络达到稳定时的状态X，称为网络的吸引子。 如果把问题的解编码为网络的吸引子，从初态向吸引子演变的过程便是求解计算的过程。 若把需记忆的样本信息存储于网络不同的吸引子，
7、当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。 定义：若网络的状态X 满足 X=f(net)=f(WX-T) 则称X为网络的吸引子。,离散型Hopfield神经网络模型,（2）稳定性定理 定理1：当网络工作在异步方式下，满足wij=wji，wii=0，i、j=1,2,n，则能量函数单调下降，且网络必定稳定。 定理5.1证明： 定义网络的能量函数为： 令网络的能量改变量为E，状态改变量为X，有,离散型Hopfield神经网络模型,将 代入上式 ，并考虑到W为对称矩阵，有,离散型Hopfield神经网络模型,对于DHNN网络的任一个节点i，能量函数的变
8、化可能有以下几种情况： 因此,网络无论在什么条件下都能保证E0，这样就保证了网络的稳定性和收敛性。,离散型Hopfield神经网络模型,由于网络中各节点的状态只能取1 或 1 ，能量函数E(t) 作为网络状态的函数是有下界的，因此网络能量函数最终将收敛于一个常数，此时E(t)=0 。综上所述，当网络工作方式和权矩阵均满足定理1的条件时，网络最终将收敛到一个吸引子。 定理2：当网络工作在异步方式下，满足wij=wji，i、j=1,2,n，则能量函数单调下降，且网络必定稳定。,离散型Hopfield神经网络模型,定理3：当网络工作在并行方式下，满足wij=wji，则网络或者收敛于一个稳定点，或者收
9、敛于极限环为2的一个周期解。 证明：在并行工作方式时，其能量函数可以用下式表示：,离散型Hopfield神经网络模型,离散型Hopfield神经网络模型,由于在NET(t)中的每个分量NETi(t)与在X(t+1)中每个分量Xi(t+1)同号，因而 成立。 所以E0。现在考虑在稳定点的情况，即E=0的情况： 若 X(t)=X(t+1)=X(t-1)，则E=0，且网络达到稳定。 若X(t)X(t+1)=X(t-1)， 则E=0，且网络到达周期为2的极限环。 证毕。,离散型Hopfield神经网络模型,推论： (1) 如果W为一个正定矩阵，Ti=0、对所有的i成立，则： 网络必定达到稳定收敛。 (
10、2) 如果W为一个负定矩阵，Ti=0、对所有的i成立，则： 网络周期振荡，极限环为2。,离散型Hopfield神经网络模型,以上分析表明，在网络从初态向稳态演变的过程中，网络的能量始终向减小的方向演变，当能量最终稳定于一个常数时，该常数对应于网络能量的极小状态，称该极小状态为网络的能量井，能量井对应于网络的吸引子。 性质1 ：若X 是网络的一个吸引子，且阈值T=0，在sgn(0)处，xj(t+1)=xj(t)，则 X 也一定是该网络的吸引子。 证明：X 是吸引子，即X= f (WX)，从而有 f W(X)=f WX=f WX= X X 也是该网络的吸引子。,离散型Hopfield神经网络模型,
11、性质2：若Xa是网络的一个吸引子，则与Xa的海明距离dH(Xa，Xb)=1的Xb一定不是吸引子。,证明：不妨设x1ax1b，xja= xjb，j=2,3,n。 w11=0，由吸引子定义，有,由假设条件知，x1ax1b，故,-Xb 不是该网络的吸引子。,离散型Hopfield神经网络模型,能使网络稳定在同一吸引子的所有初态的集合，称为该吸引子的吸引域。 定义2 若Xa是吸引子，对于异步方式，若存在一个调整次序，使网络可以从状态X 演变到Xa ，则称 X 弱吸引到Xa；若对于任意调整次序，网络都可以从状态X 演变到Xa，则称X强吸引到Xa。 定义3 若对某些X，有X弱吸引到吸引子Xa，则称这些X的
12、集合为Xa的弱吸引域；若对某些X，有X强吸引到吸引子Xa，则称这些X的集合为Xa的强吸引域。,离散型Hopfield神经网络模型,例.1 设有3节点DHNN网，用无向图表示如下，权值与阈值均已标在图中，试计算网络演变过程的状态。,离散型Hopfield神经网络模型,解：设各节点状态取值为1 或0 ，3 节点DHNN 网络应有23=8种状态。不妨将X=(x1,x2,x3 ) ,T=(0,0,0) T 作为网络初态，按123的次序更新状态。 第1步：更新x1 ， x1=sgn(-0.5)0+0.20(-0.1)=sgn(0.1)=1 其它节点状态不变，网络状态由(0,0,0)T变成(1,0,0)T
13、。如果先更新 x2 或 x3，网络状态将仍为(0,0,0)T，因此初态保持不变的概率为2/3，而变为(1,0,0)T的概率为1/3。 第2步：此时网络状态为(1,0,0)T，更新x2后，得 x2=sgn(-0.5)1+0.600=sgn(-0.5)=0 其它节点状态不变，网络状态仍为(1,0,0)T。如果本步先更新 x1 或 x3，网络相应状态将为(1,0,0)T和(1,0,1)T，因此本状态保持不变的概率为2/3，而变为(1,0,1)T 的概率为1/3。 第3步：此时网络状态为(1,0,0)T，更新x3得 x3=sgn0.21+0.600=sgn(0.2)=1 同理可算出其它状态之间的演变历
14、程和状态转移概率。,离散型Hopfield神经网络模型,从这个例子，可以看出两个显著的特征： (1)状态(011）是一个满足前面定义的稳定状态。 (2)从任意初始状态开始，网络经过有限次状态更新后，都将到达该稳定状态。,DHNN网络状态演变示意图,HNN的联想记忆,所谓联想可以理解为从一种事物联系到与其相关的事物的过程. 日常生活中,从一种事物出发,人们会非常自然地联想到与该事物密切相关或有因果关系的种种事务. 两种联想形式 自联想(Auto-association) : 由某种代表事物(或该事物的主要特征,或部分主要特征)联想到其所标示的实际事物。 从英文字头“Newt”联想到“Newton
15、”。 听到歌曲的一部分可以联想起整个曲子。,HNN的联想记忆,异联想(他联想)(Hetero -association) : 由一种事物(或该事物的主要特征,或部分主要特征)联想到与其密切相关的另一事物。 从质能关系式E=mc2联想到其发明者爱因斯坦。 看到某人的名字会联想起他的相貌和特点。 人脑从一种事物得到对应事物的两种途径 按时间顺序对相关事物进行思考 可通过时间表来回忆某一阶段所做的工作. 通过事物本质特征的对比来确定事物的属性 由提示信息或局部信息对事物进行回忆或确认.,HNN的联想记忆,HNN的一个功能是可用于联想记忆,也即是联想存储器.这是人类的智能特点之一. 人类的所谓“触景生
16、情”就是见到一些类同过去接触的景物,容易产生对过去情景的回昧和思忆. 对于HNN,用它作联想记忆时,首先通过一个学习训练过程确定网络中的权系数,使所记忆的信息在网络的n维超立方体的某一个顶角的能量最小. 当网络的权系数确定之后,只要向网络给出输入向量,这个向量可能是局部数据. 即不完全或部分不正确的数据,但是网络仍然产生所记忆的信息的完整输出.,HNN的联想记忆,1984年Hopfield提出一种用n维HNN作联想存储器的结构. HNN联想存储器的主要思想为: 根据欲存储的信息的表示形式和维数,设计相应的HNN结构 将欲存储的信息设计为HNN的动力学过程的已知的渐近稳定平衡点 通过学习和设计算法寻求合适的权值矩阵将稳定状态存储到网络中,离散型Hopfield神经网络模型,4. DHNN网络设计 用 DHNN实现联想记忆需要考虑两个重要的问题： 怎样按记忆确定网络的W和； 网络给定之后如
