《课件:神经网络2-hopfield网络》由会员分享,可在线阅读,更多相关《课件:神经网络2-hopfield网络(42页珍藏版)》请在金锄头文库上搜索。
1、智能控制技术,西安工业大学 电 信 学 院 宋 晓 茹,第七章 神经网络控制系统,7.4 反馈神经网络模型Hopfield网络,Hopfield网络属于无监督学习神经元网络。Hopfield网络是单层反馈网络,是一种全连接加权无向图,可分为连续型和离散型二种形式。,7.4 反馈神经网络模型Hopfield网络,1982年,JHopfield提出了可用作联想存储器的互连网络,这个网络称为Hopfield网络模型,也称Hopfield模型。Hopfield神经网络模型是一种循环神经网络,从输出到输入有反馈连接。,图726 Hopfield网络,Hopfield网络是单层反馈网络,有n个神经元节点,
2、 每个神经元的输出连接到其它神经元的输入。各个节点自己没有反馈,图中的每个节点都附有一个阈值和权系数。每个节点都可处于一种可能的状态(1或1),即当该神经元所受的刺激越过其阈值时,神经元处于一种状态(比如1)。否则神经元就始终处于另一状态(比如1),图中顶点的个数就是该神经网络的阶数 。,从时域上来看,Hopfield 网可以用一组耦合的非线性微分方程来表示。在一定条件下,Hopfield网络可以用作联想存储器。 Hopfield网络得到广泛应用的另一个特点是它具备快速优化能力 。,离散型的Hopfield网络即二值型的Hopfield网络,只有一个神经元层次。每个处理单元均有一个活跃值(状态
3、)取两个可能的状态值之一,通常用0和1或1和1来表示神经元的两个状态,即抑制或兴奋。整个网络的状态由单一神经元的状态组成。网络的状态可用一个由0(-1)/1组成的矢量来表示,其中每一元素对应于某个神经元的状态 。,其特点: 1) 自联想回归(或全连接),所有神经元与其它单元相连,但无自连接; 2) 按内容编址存贮器方式进行操作,新提供的输入模式可自动找到已存贮的合适模式。,Hopfield网络可以看成是一个动态系统,其相空间包含代表系统基本存贮内容的固定(稳定)点的集合。 Hopfield网络可以检索信息,以一定的误差恢复信息。,图727 Hopfield基本单元,如果Hopfield网络是一
4、个能收敛的稳定网络,则反馈与迭代过程所产生的变化越来越小,一旦到达了稳定平衡状态;那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说,关键是在于确定它在稳定条件下的权系数。,应该指出:反馈网络有稳定的,也有不稳定的。对于Hopfield网络来说,还存在如何判别它是稳定网络,亦或是不稳定的问题;而判别依据是什么,也是需要确定的。,1 离散Hopfield网络,Hopfield最早提出的网络是二值神经网络,神经元的输出只取1和0这两个值,所以,也称离散Hopfield神经网络。在离散HopfieId网络中,所采用的神经元是二值神经元;故而,所输出的离散值1和0分别表示
5、神经元处于激活和抑制状态。,先考虑由三个神经元组成的离散Hopfield神经网络,其结构如图713中所示 。,图713 离散Hopfield神经网络结构图,第一层是实际神经元,故而执行对输人信息和权系数乘积求累加和,并由非线性函数f处理后产生输出信息。f是一个简单的阈值函效,如果神经元的输出信息大于阈值,那么,神经元的输出就取值为1;小于阈值,则神经元的输出就取值为 。,对于二值神经元,它的计算公式如下,其中:xi为外部输入。并且有: Yi=1,当Uii时 Yi=0,当Uii时,对于一个离散的Hopfield网络,其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络,则其t时刻的
6、状态为一个n维向量: Y(t)=Y1(t),Y2(t),.,Yn(t)T 故而,网络状态有2n个状态;因为Yj(t)(j1n)可以取值为1或0;故n维向量Y(t)有2n种状态,即是网络状态。,对于三个神经元的离散Hopfield网络,它的输出层就是三位二进制数;每一个三位二进制数就是一种网络状态,从而共有8个网络状态。网络状态如图714中所示。立方体的每个顶角表示一种网络状态。同理,对于n个神经元的输出层,它有2n个网络状态,也和一个n维超立方体的顶角相对应。,结构如图713,如果Hopfield网络是一个稳定网络,那么在网络的输入端加入一个输入向量,则网络的状态会产生变化,也就是从超立方体的
7、一个顶角转移向另一个顶角,并且最终稳定于一个特定的顶角。,对于一个由n个神经元组成的离散Hopfield网络,则有n*n权系数矩阵W:,W=Wij i=1,2,.,n j=1,2,.,n,同时,有n维阈值向量:=1,2,.nT 一般而言,w和可以确定一个唯一的离散Hopfield网络。,对于一个网络来说,稳定性是一个重大的性能指标!,对于离散Hopfield网络,其状态为Y(t): Y(t)=Y1(t),Y2(t),.,Yn(t)T 如果,对于任何t0当神经网络从t0开始,有初始状态Y(0);经过有限时刻t,有: Y(t+t)=Y(t) 则称网络是稳定的。,对Hopfield网络引入一个Lya
8、punov函数,即所谓能量函数,即:,对于神经元j,其能量函数可表示为 :,即:,神经元j的能量变化量表示为Ej:,如果存在条件 Wii=0, i=1,2,.,n Wij=Wji i=1,2,.,n j=1,2,.,n 则有:,式中:Ej为神经元j的能量; Ej为神经元j的能量变化; Wij为神经元i到神经元j的权系数: Yi为神经元j的输出; Xj为神经元j的外部输入; j为神经元j的阀值; Yj为神经元j的输出变化。 如果,令 Uj=WijYi+Xj 则Ej可表示为: 考虑如下两种情况:,1如果Ujj,即神经元j的输入结果的值大于阀值,则Uj-j0,则从二值神经元的计算公式知道:Yj的值保
9、持为1,或者从0变到1。这说明Yj的变化Yj只能是0或正值。这时很明显有Ej:Ej0 这说明Hopfield网络神经元的能量减少或不变。,2如果Ujj,即神经元j的输入结果的值小于阀值,则Uj-j0,则从二值神经元的计算公式可知:Yj的值保持为0,或者从1变到0。这说明Yj的变化Yj只能是零或负位。这时则有Ej:Ej0 这也说明Hopfield网络神经元的能量减少。 。,上面两点说明了Hopfield网络在权系数矩阵W的对角线元素为0,而且W矩阵元素对称时,Hopfield网络是稳定的。,hopfield网络的一个功能是可用于联想记忆,也即是联想存储器。这是人类的智能特点之一。对于Hopfie
10、ld网络,用它作联想记忆时,首先通过一个学习训练过程确定网络中的权系数,使所记忆的信息在网络的n维超立方体的某一个顶角的能量最小。当网络的权系数确定之后,只要向网络给出输入向量,这个向量可能是局部数据即不完全或部分不正确的数据,但是网络仍然产生所记忆的信息的完整输出。,1984年Hopfield开发了一种用n维Hopfield网络作联想存储器的结构。在这个网络中,权系数的赋值规则为存储向量的外积存储规则(out product storage prescription)其原理省略。,2 连续Hopfield网络,连续Hopfield网络的拓朴结构和离散Hopfield网络的结构相同。这种拓朴结
11、构和生物的神经系统中大量存在的神经反馈回路是相一致的。在连续Hopfield网络中,和离散Hopfield网络一样,其稳定条件也要求Wij=Wji。,连续Hopfield网络和离散Hopfield网络不同的地方在于其函数g不是阶跃函数,而是S形的连续函数。一般取g(u)=1/(1+e-u),当网络神经元的传递函数是S函数,并且网络权系数矩阵对称;则随时间的变化网络的能量会下降或不变;且仅当输出电位随时间变化不变时网络的能量才会不变。换而言之,在上述条件下的网络是能量不变或下降的。,定理的证明省略 可以证明,如果Hopfield网络的传递函数g是连续而且有界的,那么,能量函数E(t)是有界的。,
12、最后结论: 当Hopfield网络的神经元传递函数g是连续且有界的,eg:Sigmoid函数,并且网络的权系数矩阵对称,则这个连续Hopfield网络是稳定的。 在实际应用中任一系统,如果其优化问题可以用能量函数E(t)作为目标函数,则总可以用连续Hopfield网络对其进行求解。由于引入能量函数E(t),Hopfield使神经网络和问题优化直接对应;这种工作是具开拓性的。利用神经网络进行优化计算,就是在神经网络这一动力系统给出初始的估计点,即初始条件;然后随网络的运动传递而找到相应极小点。这样,大量的优化问题都可以用连续的Hopfield网来求解。这也是Hopfield网络用于神经计算的基本
13、原因。,例2:由3个神经元组成的Hopfield网络,有2个基本存贮器,存贮2个向量1,-1,1和-1,1,-1,设计权连接矩阵。,解析:按公式:,相应的连接图形如728:,满足匹配条件的固定点或向量计算如下:,其它点都是不稳定的点,例如,对1,1,1,和1,1,-1,迭代结果都移向稳定点。,对1,1,1,对1,1,-1,此过程可用图表示如729:,Hopfield网络的工作过程有4个步骤: 1)存贮(学习),异步、随机。 2)初始化,加入初始试样,然后移走。 3)迭代直至收敛 4)输出,得到稳定点 。,例7-3 假设一个3节点的离散Hopfield神经网络,已知网络权值与阈值如下图730所示
14、,已知网络权值初值圈内为阈值,线上为连接函数。计算状态转移关系。,图730 离散Hopfield神经网络,解析:以初始状态 为例,我们可以依次选择节点 ,确定其节点兴奋的条件及状态的转移。假设首先选择节点 ,激励函数为,可见,节点 处于兴奋状态并且状态y1由01。网络状态由000100,转移概率为1/3。同样其它两个节点也可以以等概率发生状态变化,它们的激励函数为,节点 状态保持不变。因此,由状态000不会转移到001和010。,图230 b)网络状态转移,圈内为状态,线上为转移概率,从这个例子上可以看出,系统状态 是一个网络的稳定状态;网络从任意一个初始状态开始经几次的状态更新后都将到达此稳
15、态。,仔细观察图中的状态转移关系,就会发现 Hopfield网络神经元状态要么在同一“高度”上变化,要么从上向下转移。这样的一种状态变化有着它必然的规律。Hopfield网络状态变化的核心是每个状态定义一个能量E,任意一个神经元节点状态变化时,能量E都将减小。这也是Hopfield网络系统稳定的重要标记。Hopfield这种用非线性动力学系统理论中的能量函数方法(或Liapunov函数)研究反馈神经网络的稳定性,并引入能量函数。,则Hopfield神经网络中的状态变化导致能量函数E的下降,并且能量函数的极小值点与网络稳定状态有着紧密的关系。 定理4-1 离散Hopfield神经网络的稳定状态与
16、能量函数E在状态空间的局部极小状态是一一对应的 。,谢谢 !,后面内容直接删除就行 资料可以编辑修改使用 资料可以编辑修改使用,主要经营:网络软件设计、图文设计制作、发布广告等 公司秉着以优质的服务对待每一位客户,做到让客户满意!,致力于数据挖掘,合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面,打造全网一站式需求,感谢您的观看和下载,The user can demonstrate on a projector or computer, or print the presentation and make it into a film to be used in a wider field,