《人工神经网络6HOPFIELD神经网络课件资料讲解》由会员分享，可在线阅读，更多相关《人工神经网络6HOPFIELD神经网络课件资料讲解（86页珍藏版）》请在金锄头文库上搜索。
1、1,人工神经网络(Artifical Neural Network),张凯 副教授,武汉科技大学 计算机学院,2,要点简介,1. 研究背景,2. 离散Hopfield神经网络,3. 连续Hopfield神经网络,4. Hopfield网络求解TSP问题,研究背景,前几章介绍的神经网络模型属于前向神经网络，从学习的观点上看，它们是强有力的学习系统，结构简单，易于编程。从系统的观点看，它们属于一种静态的非线性映射，通过简单非线性处理单元的复合映射可获得复杂的非线性处理能力，但它们因缺乏反馈，所以并不是一个强有力的动力学系统。,2020/7/14,3,研究背景,Hopfield网络是神经网络发展历史
2、上的一个重要的里程碑。由美国加州理工学院物理学家J.Hopfield教授于1982年提出，是一种单层反馈神经网络。,2020/7/14,4,研究背景,Hopfield模型属于反馈型神经网络，从计算的角度上讲，它具有很强的计算能力。这样的系统着重关心的是系统的稳定性问题。稳定性是这类具有联想记忆功能神经网络模型的核心，学习记忆的过程就是系统向稳定状态发展的过程。 Hopfield网络可用于解决联想记忆和约束优化问题的求解。,2020/7/14,6,研究背景,反馈型神经网络作为非线性动力学系统，可表现出丰富多样的动态特性，如稳定性、极限环、奇怪吸引子(混沌)等。这些特性是神经网络引起研究人员极大兴
3、趣的原因之一。研究表明，由简单非线性神经元互连而成的反馈动力学神经网络系统具有两个重要特征： 1. 系统有若干个稳定状态，如果从某一个初始状态开始运动，系统总可以进入其中某一个稳定状态； 2. 系统的稳定状态可以通过改变各个神经元间的连接权值而得到。,研究背景,Hopfield神经网络设计与应用的关键是对其动力学特性的正确理解：网络的稳定性是其重要性质，而能量函数是判定网络稳定性的基本概念。,Hopfield神经网络,Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Ho
4、pfield Neural Network) 。,2020/7/14,9,2020/7/14,10,网络模型表示法一,离散Hopfield神经网络结构图,1,2,(状态）,(阈值）,（连接权值）,离散Hopfield 神经网络,2020/7/14,11,网络模型表示法二,离散Hopfield 神经网络,网络中每个神经元的输出都与其它神经元的输入相连,2020/7/14,12,反馈网络结构(单层全反馈网),反馈网络的特性,网络输出不仅依赖网络参数和输入，还是时间的函数。对不同的输入和参数，网络的输出（或状态）可能 出现如下几种情况： 发散：网络状态的轨迹随时间一直延伸到无穷远； 混沌：网络状态随
5、时间推移不能稳定，但又不发散， 而是在某个确定范围内变化，状态有无穷多个； 振荡：网络状态随时间呈现周期（环状）变化，永远不 会停止； 收敛：经过一段时间后，网络状态停止在一点上，不再 变化，称该点为网络的平衡点,反馈网络的特性,平衡点可分为： 渐近稳定平衡点：在该平衡点周围区域内，从任意一初始点出发，当时间趋向无穷时都收敛到这个点。 不稳定平衡点：在某些特定的轨迹演化过程中，能够使网络达到该稳定点，但对该点其它方向上任一个无论多么小的区域，其轨迹在某个时刻以后总是偏离该点。 网络的稳定点解：网络最后是稳定到设计所要求的平衡点上，而且平衡点又是渐近稳定平衡点。 网络的伪稳定点：网络最后是稳定到
6、一个稳定平衡点上，但这个稳定平衡点不是设计所要求的解。,反馈网络的作用,反馈网络是利用渐近稳定平衡点来解决某些问题 联想记忆：把渐近稳定平衡点视为一个记忆，从初始点朝这个渐近稳定平衡点流动的过程就是寻找该记忆的过程。初始点可认为是给定的有关记忆的部分信息，这时就是从部分信息去寻找全部信息的联想记忆过程。 优化计算：把渐近稳定平衡点视为某能量函数的极小点，从初始点到达稳定点，可看作是稳定点把初始点吸引了过来，在初始点时，能量比较大，而吸引到稳定点时能量比较小，渐近稳定平衡点就可以作为一个优化目标函数的极小点。,反馈网络研究的内容,网络稳定性：即研究在什么条件下，网络不会出现发散、振荡和混沌现象。
7、 网络稳定点：非线性的网络可能有很多个稳定点，如何设计权使其中的某些稳定点是所要求的解。 对于用作联想记忆的网络，希望稳定点都是一个记忆，那么记忆容量就与稳定点的数目有关，若要求记忆容量大，稳定点的数目也就要大。但稳定点的数目增加可能会引起吸引域的减少，从而使其联想功能减弱。 对于用作优化计算的网络，由于目标函数往往要求只有一个全局最小，因而希望稳定点(局部极小点)越少越好。,反馈网络研究的内容,吸引域的设计：希望解的稳定点有尽可能大吸引域,2020/7/14,18,网络模型表示法一,离散Hopfield神经网络结构图,1,2,(状态）,(阈值）,（连接权值）,离散Hopfield 神经网络,
8、2020/7/14,19,注：,或,-1,输入输出关系：,离散Hopfield 神经网络,离散Hopfield 神经网络,激励函数,2020/7/14,20,离散Hopfield 神经网络,相关参数说明 任意神经元i与j间的突触权值wij为，神经元之间连接是对称的，神经元自身无连接. 每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己 设Hopfield网络中有n个神经元，其中任意神经元的输入用xi(t)表示，输出xi(t+1)用表示，它们都是时间的函数，其中 xi(t)也称为神经元在时刻 t的状态。,离散Hopfield 神经网络,离散Hopfield网络的状态 离散
9、型Hopfield网络的状态由n个神经元的状态集合构成。因此，在任何一个给定的时刻 t，离散型Hopfield网络的的状态可以表示为,2020/7/14,22,离散Hopfield 神经网络,离散Hopfield网络的运行规则 (1)串行(异步)工作方式 在任时刻，只有某神经元 (随机的或确定的选择)依上式变化，而其他神经元的状态不变。 (2)并行(同步)工作方式 在任一时刻，部分神经元或全部神经元的状态同时改变。,2020/7/14,23,工作方式,异步（串行）方式:,同步（并行）方式:,离散Hopfield 神经网络,串行(异步)工作方式运行步骤 第一步 对网络进行初始化； 第二步 从网络
10、中随机选取一个神经元 i ； 第三步 求出该神经元 i 的输出； 第四步 求出该神经元经激活函数处理后的输出，此时网络中的其他神经元的输出保持不变； 第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件则结束；否则转到第二步继续运行。,2020/7/14,25,离散Hopfield 神经网络,例：一个3个节点离散型Hopfield神经网络的初始状态X(0)=(-1, -1, -1)，网络连接权值w和各个节点的阈值分别如下，试求解网络稳定状态。,2020/7/14,26,离散Hopfield 神经网络,2020/7/14,27,异步（串行）方式:,离散Hopfield 神经网络,X(0
11、)=(x1, x2, x3) X(0)=(-1, -1, -1),x1(1)=sgn1(-1)+2(-1)-(-5)=sgn2=1,X(1)=(1, -1, -1),离散Hopfield 神经网络,X(1)=(x1, x2, x3) X(1)=(1, -1, -1),x2(2)=sgn11+(-3)(-1)-(0)=sgn4=1,X(2)=(1, 1, -1),离散Hopfield 神经网络,X(2)=(x1, x2, x3) X(2)=(1, 1, -1),x3(3)=sgn21+(-3)1-3=sgn-4=-1,X(3)=(1, 1, -1),离散Hopfield 神经网络,X(3)=(x
12、1, x2, x3) X(3)=(1, 1, -1),x1(4)=sgn11+2(-1) -5=sgn4=1,X(4)=(1, 1, -1),离散Hopfield 神经网络,X(4)=(x1, x2, x3) X(4)=(1, 1, -1),x2(5)=sgn11+2(-1) -5=sgn4=1,X(5)=(1, 1, -1),离散Hopfield 神经网络,X(5)=(x1, x2, x3) X(5)=(1, 1, -1),x3(6)=sgn21+(-3)1 -3=sgn-4=-1,X(6)=(1, 1, -1),离散Hopfield 神经网络,能量函数(Lyapunov function)
13、 因Hopfield并无训练目标值，因此无法以MSE、RMSE或误判率来衡量网络误差大小 因此，以能量函数进行误差的衡量,2020/7/14,34,离散Hopfield 网络的能量函数,能量函数(Lyapunov function) 用以判断是否会收敛 能量函数趋近于0，表示会收敛,2020/7/14,35,离散Hopfield 网络的能量函数,简化能量函数 当各处理单元的状态变量值所构成向量与训练范例特征向量之一相似或相同时，能量函数倾向较低的值,2020/7/14,36,离散Hopfield 网络的能量函数,离散型Hopfield网络的能量函数 网络中任意一个神经元 的能量为,2020/7
14、/14,37,离散Hopfield 网络的能量函数,稳定状态 若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态 网络为对称连接，即；神经元自身无连接 能量函数在网络运行中不断降低，最后达到稳定,2020/7/14,38,离散Hopfield 网络的能量函数,网络中神经元能量函数变化量,2020/7/14,39,Hopfield网络状态向着能量函数减小的方向演化。由于能量函数有界，所以系统必然会趋于稳定状态 。,离散Hopfield 网络的能量函数,离散型Hopfield网络权值设计,设计原则： 为保证异步方式工作时网络收敛，权矩阵应为对称阵； 为保证同步方式工作时网络收敛，权矩阵应
15、为非负定对称阵； 保证给定的样本是网络的吸引子，并且要有尽可能大的吸引域。,离散型Hopfield网络权值设计,外积法 当所需要的吸引子较多时，可采用Hebb规则的外积法。 设给定m个要记忆样本 设样本两两正交，且nm，则权值矩阵 为记忆样本的外积和为,例：一个3个节点离散型Hopfield神经网络的3个学习模式为X 1=(-1, -1, -1)，X 2=(-1, -1, -1)， X 3=(-1, -1, -1)，试计算其连接矩阵并验证其联想记忆能力 。,离散型Hopfield网络权值设计,2020/7/14,43,离散型Hopfield网络权值设计,2020/7/14,44,1,-1,-3
16、,离散型Hopfield网络权值设计,定理：若DHNN网络的规模为n，且权矩阵对角元素为0，则该网络的信息容量上界为n。 定理：若m个记忆模式aj=(a1,an), j =1,m， 两两正交，nm，且权矩阵W由外积法得到，则m个模式都是网络(W,0)的吸引子。 Hopfield的统计实验结论：DHNN的记忆容量为0.13n0.15n。,DHNN的存储容量,DHNN的存储容量,连续Hopfield 神经网络,CHNN是在DHNN的基础上提出的，它的原理和DHNN相似。由于CHNN是以模拟量作为网络的输入输出量，各神经元采用并行方式工作，所以它在信息处理的并行性、联想性、实时性、分布存储、协同性等方面比DHNN更接近于生物神经网络。,连续Hopfield 神经网络,连续Hopfield网络模型,连续Hopfield 神经网络,连续Hopfield 网络能量函数,令,整理得,连续Hopfield 网络能量函数,若令,电导(el
