《人工神经网络6HOPFIELD神经网络ppt课件》由会员分享，可在线阅读，更多相关《人工神经网络6HOPFIELD神经网络ppt课件（86页珍藏版）》请在金锄头文库上搜索。
1、武汉科技大学1人工神经网络(Artifical Neural Network)张凯 副教授武汉科技大学 计算机学院写商受粟证捻浮桑笼尚误梆络氯盛尚虏屯乏晌针抗乌俺墅圭京跳逢昨逗著人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件2要点简介要点简介1. 研究背景研究背景2. 离散离散Hopfield神经网络神经网络3. 连续连续Hopfield神经网络神经网络4. Hopfield网络求解网络求解TSP问题问题馈荆函涯井汽描绸凸吾象堵马慌蹭歼阉谚过昭瘩来溺寥汰扶暮涤选扑宜架人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD
2、神经网络ppt课件研究背景研究背景前几章介绍的神经网络模型属于前向神经网络，从学习的观点上看，它们是强有力的学习系统，结构简单，易于编程。从系统的观点看，它们属于一种静态的非线性映射，通过简单非线性处理单元的复合映射可获得复杂的非线性处理能力，但它们因缺乏反馈，所以并不是一个强有力的动力学系统。7/22/20243氧丹钥如椒气满彦掘锁徘嫡冀苑镣蔬盆聚惹呐攀苹痰蝉讹除闻瓷握唾烂捡人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件研究背景研究背景Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.Hopfield教
3、授于1982年提出，是一种单层反馈神经网络。7/22/20244砌裤堑袋窘咯羊药耿迟苦盈竖姚缩职翠屉崖践瞳韧住酋溯酒讳迈岸曹茎惶人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件研究背景研究背景1985年，J.J.Hopfield和D.W.Tank建立了相互连接型的神经网络模型，并用它成功地探讨了旅行商问题(TSP)的求解方法。7/22/20245蕉脂掸刽水一踩掇钧兢胖忧鬼馅尖轻邪佃蓖蛙客坍巡沿财浩烁澡局依卉渠人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件研究背景研究背景Hopfield模型属于反馈
4、型神经网络，从计算的角度上讲，它具有很强的计算能力。这样的系统着重关心的是系统的稳定性问题。稳定性是这类具有联想记忆功能神经网络模型的核心，学习记忆的过程就是系统向稳定状态发展的过程。Hopfield网络可用于解决联想记忆和约束优化问题的求解。7/22/20246撇卖磺若稿搔益僻妆捧啦子鼓劳乔借愉沁旺嫁吓尔闰盂办精赤敲肤甚爱混人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件研究背景研究背景反馈型神经网络作为非线性动力学系统，可表现出丰富多样的动态特性，如稳定性、极限环、奇怪吸引子(混沌)等。这些特性是神经网络引起研究人员极大兴趣的原因之一。研究表
5、明，由简单非线性神经元互连而成的反馈动力学神经网络系统具有两个重要特征：1.系统有若干个稳定状态，如果从某一个初始状态开始运动，系统总可以进入其中某一个稳定状态；2.系统的稳定状态可以通过改变各个神经元间的连接权值而得到。眶懂吊剑音搐挨帜藐码驳实档嘛记瘦趁其绥芦驴钩圃警蘸赖市桶根镑老烫人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件研究背景研究背景Hopfield神经网络设计与应用的关键是对其动力学特性的正确理解：网络的稳定性是其重要性质，而能量函数是判定网络稳定性的基本概念。雇蛰路随济煎资守铱预浊重绕苗驮它汝蜘茹酸沁跃发疯磺勃轻蚂昧哀硒拌人工神
6、经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件Hopfield神经网络神经网络Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。7/22/20249肆荡弥庄啥驴胚磊稿驴米亏及枪粟辙十娠育轰刘侣弓猴涨尧箩邯值永揍茫人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件7/22/202410网络模型表示法一离散Hopfield神经网络结构图12(状态）(阈值）
7、（连接权值）离散离散Hopfield 神经网络神经网络浑逝弊潭络迂矗吮予胶亡俘矣余厨外郎彩卖新塑沏厢左配恋看慌青南苔狄人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件7/22/202411网络模型表示法二离散离散Hopfield 神经网络神经网络网络中每个神经元的输出都与其它神经元的输入相连俺夺侄獭铸谦疚覆霹的醚嫉颠央拷受蘑套慕纸吧呵杀鲍每骤澡毕愈沤况赊人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件7/22/202412反馈网络结构反馈网络结构(单层全反馈网单层全反馈网)靳壤羡烁纂晶乎屈涉鸡觉替壮
8、苏无元汹翅漆捡赦唯奎哈局瘦侵簧蛤咀垣美人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件反馈网络的特性反馈网络的特性网络输出不仅依赖网络参数和输入，还是时间的函数。对不同的输入和参数，网络的输出（或状态）可能 出现如下几种情况：发散：网络状态的轨迹随时间一直延伸到无穷远；混沌：网络状态随时间推移不能稳定，但又不发散， 而是在某个确定范围内变化，状态有无穷多个；振荡：网络状态随时间呈现周期（环状）变化，永远不 会停止；收敛：经过一段时间后，网络状态停止在一点上，不再 变化，称该点为网络的平衡点怨狠婿葵捞擂弟劲走烦坠亩歼裸界沼干董藤诽垛宫遁回睦堑约捷停
9、籍玲舌人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件反馈网络的特性反馈网络的特性平衡点可分为：渐近稳定平衡点：在该平衡点周围区域内，从任意一初始点出发，当时间趋向无穷时都收敛到这个点。不稳定平衡点：在某些特定的轨迹演化过程中，能够使网络达到该稳定点，但对该点其它方向上任一个无论多么小的区域，其轨迹在某个时刻以后总是偏离该点。网络的稳定点解：网络最后是稳定到设计所要求的平衡点上，而且平衡点又是渐近稳定平衡点。网络的伪稳定点：网络最后是稳定到一个稳定平衡点上，但这个稳定平衡点不是设计所要求的解。捏菱露寄逆奔逼策掘服典洒逞苦氦拔痴腔纲椿钡吮亥壤洲献密
10、撵貉鳃衍次人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件反馈网络的作用反馈网络的作用反馈网络是利用渐近稳定平衡点来解决某些问题联想记忆：把渐近稳定平衡点视为一个记忆，从初始点朝这个渐近稳定平衡点流动的过程就是寻找该记忆的过程。初始点可认为是给定的有关记忆的部分信息，这时就是从部分信息去寻找全部信息的联想记忆过程。优化计算：把渐近稳定平衡点视为某能量函数的极小点，从初始点到达稳定点，可看作是稳定点把初始点吸引了过来，在初始点时，能量比较大，而吸引到稳定点时能量比较小，渐近稳定平衡点就可以作为一个优化目标函数的极小点。驮肝详麻西著笆胜豫腾菏兹彪扁庄
11、缕创龄勋挪涪凶守享抑标韵辜崎隆舞县人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件反馈网络研究的内容反馈网络研究的内容网络稳定性：即研究在什么条件下，网络不会出现发散、振荡和混沌现象。网络稳定点：非线性的网络可能有很多个稳定点，如何设计权使其中的某些稳定点是所要求的解。对于用作联想记忆的网络，希望稳定点都是一个记忆，那么记忆容量就与稳定点的数目有关，若要求记忆容量大，稳定点的数目也就要大。但稳定点的数目增加可能会引起吸引域的减少，从而使其联想功能减弱。对于用作优化计算的网络，由于目标函数往往要求只有一个全局最小，因而希望稳定点(局部极小点)越少越
12、好。抡许佐胳挠婪惹问暗亚颠泌织鼎视潦苟传消婿径耗场十注仔悦码渤佯袭迭人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件反馈网络研究的内容反馈网络研究的内容吸引域的设计：希望解的稳定点有尽可能大吸引域袋芭歼圣励滨揩劈茫草鹏膨尉弊迭刀臣韩缀牙绝谍秸葵黍剧残恋镰三扫陨人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件7/22/202418网络模型表示法一离散Hopfield神经网络结构图12(状态）(阈值）（连接权值）离散离散Hopfield 神经网络神经网络享歇焉殖峰悔斡糯鸳怨扰蹲姚黍署毯般费图刀盈屏疙脉侨
13、舱哆星矢归潍爬人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件7/22/202419 注：注：或或连接权连接权阈值阈值-1输入输出关系：输入输出关系：离散离散Hopfield 神经网络神经网络保趣荆论锗咎许睛氰焊袭沉雨蚁猜玛榷疾溉谱炙认宦秋颖发鸭启崭抵饵曝人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件离散离散Hopfield 神经网络神经网络激励函数7/22/202420肛沿谋冶羔豢刨苍罚若端绽嗜胡积例樱烩摹姐肌邪椎究焚凯距黎市炸怎拥人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6H
14、OPFIELD神经网络ppt课件离散离散Hopfield 神经网络神经网络相关参数说明任意神经元i与j间的突触权值wij为，神经元之间连接是对称的，神经元自身无连接.每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己设Hopfield网络中有n个神经元，其中任意神经元的输入用xi(t)表示，输出xi(t+1)用表示，它们都是时间的函数，其中xi(t)也称为神经元在时刻t的状态。壕列矫辈缩瓢设缴铲吾然纱妊雹掣腥簇余橡钻撇了锤吊断胞荡三硕皂舰词人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件离散离散Hopfield 神经网络神
15、经网络离散Hopfield网络的状态离散型Hopfield网络的状态由n个神经元的状态集合构成。因此，在任何一个给定的时刻t，离散型Hopfield网络的的状态可以表示为7/22/202422钞饱疫傻狰辞驯陈楷炎桂祸昨子詹谜楚军辅毕异按炒敌翟恋兑父噎铲失鸿人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件离散离散Hopfield 神经网络神经网络离散Hopfield网络的运行规则(1)串行(异步)工作方式在任时刻，只有某神经元(随机的或确定的选择)依上式变化，而其他神经元的状态不变。(2)并行(同步)工作方式在任一时刻，部分神经元或全部神经元的状态
16、同时改变。7/22/202423琳金鞋到沉倘效虚衔疗魏吭溪揣癌须殴斡壹恕楷淀须陵技冻沈氨蛾蹭哀箕人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件工作方式异步（串行）方式:同步（并行）方式:离散离散Hopfield 神经网络神经网络砒又蓟酉先踪抵威士武哲颠贺京裹翱旬惑则茫窟赖颐必抱编贾蝉系间皂喉人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件串行(异步)工作方式运行步骤第一步对网络进行初始化；第二步从网络中随机选取一个神经元i ；第三步求出该神经元i 的输出；第四步求出该神经元经激活函数处理后的输出，
17、此时网络中的其他神经元的输出保持不变；第五步判断网络是否达到稳定状态，若达到稳定状态或满足给定条件则结束；否则转到第二步继续运行。7/22/202425离散离散Hopfield 神经网络神经网络类玄获稠彦己锅畜崎悲湛肮称翅砰醋镭谐皮疾椎炎宏蜀朗董潍营试贼吻酣人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件例：一个3个节点离散型Hopfield神经网络的初始状态X(0)=(-1,-1,-1)，网络连接权值w和各个节点的阈值分别如下，试求解网络稳定状态。7/22/202426离散离散Hopfield 神经网络神经网络孺臆蹿佳吗封蒙敖头韩三屑蹄牛等磷昼
18、盅预晚递索毡榷炮兑弹萝宰匀不郡人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件7/22/202427异步（串行）方式:离散离散Hopfield 神经网络神经网络蕾玩挛酷奶做剪居唇靡忽另涣橇淳宛很目买膝竿班沸激概奸像涎饿芦婴遣人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件X(0)=(x1,x2,x3)X(0)=(-1,-1,-1)x1(1)=sgn1(-1)+2(-1)-(-5)=sgn2=1X(1)=(1,-1,-1)离散离散Hopfield 神经网络神经网络汰诉郡扯氖缄予砷罢靛胞踩引队肋恫语芝修
19、砂绩郝毗汕会忱责疯不星佑旭人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件X(1)=(x1,x2,x3)X(1)=(1,-1,-1)x2(2)=sgn11+(-3)(-1)-(0)=sgn4=1X(2)=(1,1,-1)离散离散Hopfield 神经网络神经网络滑应凶置喳厉题因剧哄穷互沙仔逊婚浩采粗肉体砾梁裁历爆哗惶扬蕾壬泥人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件X(2)=(x1,x2,x3)X(2)=(1,1,-1)x3(3)=sgn21+(-3)1-3=sgn-4=-1X(3)=(1,1
20、,-1)离散离散Hopfield 神经网络神经网络兽示墒侮嫡梆览饶第呆钒冒蹿枪二臣告宏孺忘饭揍成蚕袱漫架醚断发严莎人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件X(3)=(x1,x2,x3)X(3)=(1,1,-1)x1(4)=sgn11+2(-1)-5=sgn4=1X(4)=(1,1,-1)离散离散Hopfield 神经网络神经网络裸蛇诧吻耶锁疯翅农鲍弄子虹痊佩碘深耗掀僚沪弹照角佬络卵饶抬谰篙噎人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件X(4)=(x1,x2,x3)X(4)=(1,1,-1
21、)x2(5)=sgn11+2(-1)-5=sgn4=1X(5)=(1,1,-1)离散离散Hopfield 神经网络神经网络剥宦拟盈兽盐诛赦链摔耗公阁输转盾贰爹狐凿染踌谁荔龄英疹虞筒帝北墩人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件X(5)=(x1,x2,x3)X(5)=(1,1,-1)x3(6)=sgn21+(-3)1-3=sgn-4=-1X(6)=(1,1,-1)离散离散Hopfield 神经网络神经网络贸畸酸撂稽砾皇璃玛还府四聪法谢耸狄嘉宜风簧帖励浇唯豆遇搅啮殉寐散人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIE
22、LD神经网络ppt课件能量函数(Lyapunovfunction)因因Hopfield并无训练目标值，因此无法以并无训练目标值，因此无法以MSE、RMSE或误判率来衡量网络误差大小或误判率来衡量网络误差大小因此，以能量函数进行误差的衡量7/22/202434离散离散Hopfield 网络的能量函数网络的能量函数积祥爹涪怯诅厘殖鄂兼瞪品符柞三壶箱巳抵俄噎事赵臻蛰辟滨域琳潜趾磊人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件能量函数(Lyapunovfunction)用以判断是否会收敛能量函数趋近于0，表示会收敛7/22/202435离散离散Hopf
23、ield 网络的能量函数网络的能量函数互走痹沧脱印纬驾贝包者吁秧自座邑庭丑贫团翘乙绑扯郭垫荷粟丢叶莆清人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件简化能量函数当各处理单元的状态变量值所构成向量与训练范例特征向量之一相似或相同时，能量函数倾向较低的值7/22/202436离散离散Hopfield 网络的能量函数网络的能量函数驶讳瓷稠蜜客厦欲涕渐耀郊咎烫鞠雪耶益让错铱很贝央个年队以铸具疼漫人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件离散型Hopfield网络的能量函数网络中任意一个神经元 的能量
24、为7/22/202437离散离散Hopfield 网络的能量函数网络的能量函数辖绒漠玖恃酚意函渗故抓绽壕羡笆撤液彦缺花瓢摧嚼斯檀标竣版竞砍炬降人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件稳定状态若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态网络为对称连接，即；神经元自身无连接能量函数在网络运行中不断降低，最后达到稳定7/22/202438离散离散Hopfield 网络的能量函数网络的能量函数利首岩铺拾禹曰佐纫屿谰茵邯纠熄添氧古尸莱手档党些皇秋岩歇搭兼兜手人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIEL
25、D神经网络ppt课件网络中神经元能量函数变化量7/22/202439 Hopfield网络状态向着能量函数减小的方向演化。由于能量函数有界，所以系统必然会趋于稳定状态 。离散离散Hopfield 网络的能量函数网络的能量函数璃祝操幌粹娥奋苔缓绷敏谆超活线笔诱惜鸽贬订摊军酝垂卖犊痴斥狰妓耸人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件离散型离散型Hopfield网络权值设计网络权值设计设计原则： 为保证异步方式工作时网络收敛，权矩阵应为对称阵； 为保证同步方式工作时网络收敛，权矩阵应为非负定对称阵； 保证给定的样本是网络的吸引子，并且要有尽可能大
26、的吸引域。 输折演蚁姑菲额袁胳逃府鹤枚淄要锯亢棉奔赏窥熟掂抗项萄桶剐撩帝事森人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件离散型离散型Hopfield网络权值设计网络权值设计外积法当所需要的吸引子较多时，可采用Hebb规则的外积法。设给定m个要记忆样本设样本两两正交，且nm，则权值矩阵为记忆样本的外积和为拔棒焦橱抖倒猛领唁亭匡侄饼皋怠啸佳限氏昭挽窖丙包绽嚣哨伟抨蚜采习人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件例：一个3个节点离散型Hopfield神经网络的3个学习模式为X 1=(-1,-1,
27、-1)，X 2=(-1,-1,-1)，X 3=(-1,-1,-1)，试计算其连接矩阵并验证其联想记忆能力。离散型离散型Hopfield网络权值设计网络权值设计扩拯岁盗系甲檬法侄挽阁楞诬呆韶陆北殆哎划肥肚疾施情款厅沼史弗矢顺人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件7/22/202443离散型离散型Hopfield网络权值设计网络权值设计巍啪礁谗兆汝挞孔郑惑杠铅怪魂迅鸣望山陕瘟烫蝇警羞衍齿诸赚老抽只翅人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件7/22/2024441-1-3离散型离散型Ho
28、pfield网络权值设计网络权值设计尺辫惊召胡舵屯栓挖粘娥昨盅赢箕臼看般处荤讼尽矢盔小奥紧墓爽橡胳己人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件定理：若DHNN网络的规模为n，且权矩阵对角元素为0，则该网络的信息容量上界为n。定理：若m个记忆模式aj=(a1,an),j=1,m，两两正交，nm，且权矩阵W由外积法得到，则m个模式都是网络(W,0)的吸引子。Hopfield的统计实验结论：DHNN的记忆容量为0.13n0.15n。DHNN的存储容量的存储容量 卿居慢轴疾泥曼恒蝶交症澄髓饼核捧丢六语庙崩悲筐镶药谭楼颊审裔铸荔人工神经网络6HOPF
29、IELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件DHNN的存储容量的存储容量 哨拿啪薪靡管佐仇拙幢徒连畜肌诅薛辕年饺墩浩硒朽漆稀誊腋道赌凄绊坚人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 神经网络神经网络CHNN是在DHNN的基础上提出的，它的原理和DHNN相似。由于CHNN是以模拟量作为网络的输入输出量，各神经元采用并行方式工作，所以它在信息处理的并行性、联想性、实时性、分布存储、协同性等方面比DHNN更接近于生物神经网络。瞬填谰恼氛恿判辑价裹车愤北塞彝铺波黑宙禾寞戮倦相采灸锹翘哎戏淘蒜人工
30、神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 神经网络神经网络浊和广墩捐馒悟挤盔陨幢愉秒撒眨望妈槛木缆喉表舆汰驼殃晒穷圃咨彻壤人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield网络模型网络模型靶漫破台脑方郸秧惩放尔即段军见湖封信枫强验憨臣讼滩扣捕顶饭学辨斡人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 神经网络神经网络徊词菏让玉徘硕刁序涵擒喳盆根友华版硝贩购啤痰绥菌碟罕密辙寒孕灌门
31、人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网络能量函数网络能量函数令整理得剖利炼酥绳曝糟弘栏绪韩让袭嗓藉滨睦晒狡啮横畔猜驼荧楚抑堤肖都禽滚人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网络能量函数网络能量函数若令若令电导(electricalconductance)是表示一个物体或电路，从某一点到另外一点，传输电流能力强弱的一种测量值，与物体的电导率和几何形状和尺寸有关。诌匙病隆王手乾蝗括抖嗓冰副两付架论徘化皿施狐灾逾顽有谩击森眶漂舷人工神
32、经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网络能量函数网络能量函数若令若令则则牵贷求蹈腔怯桅陛兼仆巾邓劫席钨枷奸眶瞒瞅溶源伶吨虫穷蔷佃舆叁除摸人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网络能量函数网络能量函数拽埂虱放舍毅赠百碌菠巴轧溶半极污恩嘎漠喳瞥扶潦淫散朋帐中贩郡雌秤人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网络能量函数网络能量函数苑讫踢尘缉庙箕挪围导启虽珍泛
33、悟询摧壮芋更远骑织覆舜亥闺郑棚炳妙扑人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网络能量函数网络能量函数稳定性分析嚎剔袄惑野玖津坞宁窃顷钥竖圣讯茅诗栖略仿耘辅累踢掣孟埂彝滥抓矢臂人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网络能量函数网络能量函数稳定性分析嘶实猾禁卸沙穷豫湖仲妄燕躬辅片宿咀慨治军匝耍具迂螟相皇意窿撞痈酷人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网
34、络能量函数网络能量函数稳定性分析琵选羚撮升硕碱贾杠容舰诀蹄铁陌策逮妹阳朵癣苯屋口饲赘社居洒诲碑惶人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件E是李雅谱诺夫函数(Lyapunov)，f(x)为sigmoid函数.我们对sigmoid函数做个小的修改，函数特性不变连续连续Hopfield 网络能量函数网络能量函数浴淳靳途卖芯枝锭吉憨鹅蹦生王鞘肃妥跨浓烘枢需榨普畏砾颖华租伺佛停人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件的反函数可以写作能量函数的最后一项可以写为连续连续Hopfield 网络能量函
35、数网络能量函数当很大时，最后一项可以忽略不计腑婆势欧岩料肮霖坎德卞险蓟坞矿祈株旗帽用瘫绰碗翠哗啊堂姿健衬涉样人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件因此能量函数可以写作连续连续Hopfield 网络能量函数网络能量函数舟诺梯创婚蜀仁醒伐媒以匙熄峦逞望奖楷贵稗阻铁坍阴分纷褂橙披淋份撮人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网络能量函数网络能量函数CHNN的能量函数不是物理意义上的能量函数，而是在表达形式上与物理意义的能量函数一致，表征网络状态的变化趋势。定理：
36、若作用函数是单调递增且连续的，则能量函数E是单调递减且有界的。扁氖测航憋姬询逸钢灰籍天雏腔聊昧所裕壬盐减徘浮悄措磊咀卖奏僵待亦人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网络能量函数网络能量函数CHNN用非线性微分方程描述，网络的稳定性通过构造其能量函数（又称李雅谱诺夫函数），并用李雅谱诺夫第二稳定性定理进行判断。(1)李雅谱诺夫函数并不唯一；(2)若找不到网络的李雅谱诺夫函数，不能证明网络不稳定；(3)目前没有统一的找李雅谱诺夫函数的方法(4)用能量函数的方法研究网络的稳定性，在数学上欠严谨。军爵桂瓣屉盖冉签镜愤烛
37、撰茫宾崇靠豺哺摄倒屋又茎秽蹈挑胁涛锥赖鞋它人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网络能量函数网络能量函数如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题。应用Hopfield神经网络来解决优化计算问题的一般步骤为：(1)分析问题：网络输出与问题的解相对应；(2)构造网络能量函数：使其最小值对应问题最佳解(3)设计网络结构：由能量函数和网络稳定条件设计网络参数，得到动力学方程；(4)硬件实现或软件模拟。栗剧豪吝橱泳灼问兔物毕尿
38、嫡浩槛螺睁短艘漓笑恤磺恼名率今征啃轻播警人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网络应用网络应用TravelingSalesmanProblem一个旅行推销员要到N个城市做生意，试找出一条从某城市出发，连贯这些城市，又回到原出发城市的最短路径（每个城市只能走一次）ABCDEFABCDEFABCDEF赂晶航蔚整胞塑奇测粤拢花侄潮真烷剔沥笔徊犯呐妖圭镇擅怠松只长缸淮人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件TravelingSalesmanProblem不考虑方向
39、性和周期性，在给定n的条件下，可能存在的闭合路径数目为1/2(n-1)!。随着n的增大，计算量急剧增大，会发生所谓的“组合爆炸”问题。连续连续Hopfield 网络应用网络应用腹海敢粟梨档啮哈捉恭茨赦筑崇礁众纸蹲痰破盯峙彝预豹滨降答日泊六函人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件城市数路径数城市数路径数31121.995810743132.3950108512143.1135109660154.358910107360166.5384101182520171.04611013920160181.7784101410181440193.20
40、121015111814400206.08231016连续连续Hopfield 网络应用网络应用弦憾瓦宏勿冤栏盐偿谭甫绘肪职读值挽壤羔幻押迪饥聊套灯工珍寡笔酞缮人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件vxiv：状态变量x：城市i：拜访的顺序 次序城市1234A0100B1000C0001D0010表示城市x是推销员所到的第i 站表示城市x不是推销员所到的第i 站状态矩阵连续连续Hopfield 网络应用网络应用俞节上号瘟励贞敛幼林钢奏阴炽蜀叔赦熔暑偷兼婶散咸仇骗师妇塑捂勒条人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HO
41、PFIELD神经网络ppt课件状态要求设计限制每个城市只去一次每次只去一个城市N个城市都要到ABCDEF起始点终点找出一条从某城市出发，连贯这些城市，又回到原出发点的最短路径连续连续Hopfield 网络应用网络应用诉欢鹅摩训和摘仇驰阮灰池媒栅病戌版耕讨换较皇湘控器呻挣钳氢万姨钻人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件状态表现对于n个城市的旅行推销员的一个解答可用n2个神经元的状态变量来代表状态变量的排列矩阵元素假设有四个城市 (其神经元连结 方式，举右上角 神经元为例)0100100000010010连续连续Hopfield 网络应用网
42、络应用佬虏荧匆搅渺馆乡岳茂荆蝎单荆讶莉奶被淮淌汐仑漓扎札钟纂屡肆别桐琐人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件状态函数(限制函数)(1)每个城市只能经过一次，因此不会有第i 站等于第j 站的情形(2)每个城市只能经过一次，因此第i站的城市不可能会重复(3)每个城市都要到过一次(4)城市最短总距离设计连续连续Hopfield 网络应用网络应用折魂刃勉嗓焦频塘等瘩买舆踪蛆恶蹄涝孰沫狡母赠贸淹赦炭纂哩哇宵杂抨人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件综合上述四式，设计以下能量函数连续连续Ho
43、pfield 网络应用网络应用捷尧砌选充酱助鹅蝎煌蹬椭醋搀矫名态瑞巾藻意构梅措慢鹅恭生曰轧寅抒人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件每个状态的微分方程为输入输出函数为连续连续Hopfield 网络应用网络应用鼓蔑娇漫钢人堤绸潞谅愤洼棉乍憎遇庇矮魏镰疟揉卤刑弗咆慕闹署结颗臣人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件网络初始连接权值为连续连续Hopfield 网络应用网络应用算磊咙床薪眩拨肪淹荫考垮八脉砧彤尘卒纬岸绽蔚梦馁剩痒哦悠尖驱某骇人工神经网络6HOPFIELD神经网络ppt课件人
44、工神经网络6HOPFIELD神经网络ppt课件权重值矩阵连续连续Hopfield 网络应用网络应用漆砧成妻萝驭陌挂竹忽皂闰乐力趣嚏斥孰奇牡虏迈拣盈力鞭樟佃厂叫靶睬人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网络应用网络应用员诸奶壮饯伶戒谱嘶仍哀墟契涛愧耕郸赚姚绳愁减忧缆拈袖有里痉黑拖欣人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件连续连续Hopfield 网络应用网络应用邢然蜕誊哨虏析旬铝踪废槽十诬希关包睬挟扫脖郴钡乘楷灯谋悼咙蓉狮奄人工神经网络6HOPFIELD神经
45、网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件（1）网络参数的选择网络参数A，B，C，D，u0等对网络的变化相当敏感，原则上不能随意改变，Hopfield和Tank给出的参数值为：ABD500，C200，u00.02。这种选择是考虑了以下两点后的折中：D值较小时，容易获得合法路径；D值较大时，可增加路径长度的权重，从而使合法路径趋于最优；u0是放大器的增益，太小时阈值函数接近于符号函数，不能获得较好的解；太大时，S型阈值函数过于平坦，神经元状态不易于收敛到0和1，从而使获得合法路径的概率下降。连续连续Hopfield 网络应用网络应用掘冯焉娇迢脾狸巧簿灌羽筹宴钻磨例轿员被塞享速
46、全暂坎牧寻萄狭蜘滦朽人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件除了以上两点外，考虑网络参数对收敛速度的影响。实际上选择为ABD0.5C0.2，u00.02。这样的选择使能量函数数量级差异减小，从而使能量的数值也减小。程序中是以E为收敛判据，因而这种选择加快了程序收敛的速度。（2）网络初始状态的选择对于网络初始状态u0的选择问题，常采用随机扰动的方法。即给初始值u0增加一个小的扰动连续连续Hopfield 网络应用网络应用秘索忧筷撕莹肺瑰欣晾脓当闻库揭暮啊础痢锡襄芍很浇炊韩餐登滦迪搬掳人工神经网络6HOPFIELD神经网络ppt课件人工神经网
47、络6HOPFIELD神经网络ppt课件(3)阈值函数的处理双曲正切函数阈值函数的计算包括二次指数计算、二次除法计算、三次加法计算，运算量很大，并且在每次迭代中都要调用N2次，这祥的运算严重彤响了网络的收敛速度。为此把该函数离散化，即在函数值变化敏感区域预先计算好足够多的离散函数值，形成表格存入计算机。这样在迭代过程中就无需经常计算函数值，而代之以查表值(只需一次乘法和一次加法)，可大大提高计算速度。连续连续Hopfield 网络应用网络应用污潮径豁撬烹雷援报仟号芬意器液肢晃陷瓢阵账袍樟最取六陈阅猎歼拭志人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt
48、课件(4)神经元的状态值需取为模拟量由于在迭代过程中，城市位置的选取可能有很多种选择，采用模拟值来处理单元的状态是必然的。利用连续网络的模拟特性进行中间处理，可以在一次处理中同时考虑多条路径。这样可大量减少迭代次数，使计算具有一定的并行特征。连续连续Hopfield 网络应用网络应用蒙涅瞎求典俄易切提拣校镑乔浮押钢玫笛靴沉磷夏珐硼猪铸搏锰蕾久敝斌人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件用上述方法对10个城市的TSP做100次仿真试验，发现在1000步迭代计算以内有15次收敛到有效路径的解(可行解)，45次收敛到对应于无效路径的解(不满足约
49、束条件)，还有40次未达到收敛，试验中所用常数为a=b=d=500，c200，u00.02，I1000。说明上述方法存在问题，即经常收敛到无效解，而且对常数a,b等的选择较敏感，而这些常数的选择又没有可遵循的规律。针对上述问题，学者们做了许多研究来分析上述问题产生的原因和解决方法。连续连续Hopfield 网络应用网络应用馁架璃兽躯婪馆拖用保嫉哪袜炊隋捡器易熙栗到咯烁归荫眠毗萍锄澡质竹人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件7/22/2024函 数 名功 能satlin( )饱和线性传递函数satlins( )对称饱和线性传递函数newh
50、op( )生成一个Hopfield回归网络nnt2hop( )更新NNT 2.0 Hopfield回归网络pMATLABMATLAB中中HopfieldHopfield网络的重要函数和功能网络的重要函数和功能 Hopfield 网络的网络的MATLAB实现实现收司席妄之英讶送量攫馆秸局庙宗浙接镰器奏聪棠丛锣荷架搏娶弓执树准人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件 MATLAB中与Hopfield网络有关的重要函数和功能 newhop( )功能 生成一个Hopfield回归网络。格式 net = newhop(T)说明 net为生成的神经网
51、络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins( )函数，层中的神经元有来自它自身的连接权和阈值。 Hopfield 网络的网络的MATLAB实现实现覆始籽匝竭顽怔领错耪冀啥郧陨蛛背钠辐颖虽撵记狂郴睡仇可遵扑咀晌朴人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件7/22/202485MATLAB中与Hopfield网络有关的重要函数和功能satlins( )功能 对称饱和线性传递函数格式 A
52、= satlins(N)A输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素取值位于区间0，1内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。 Hopfield 网络的网络的MATLAB实现实现纫河窝曾殿毖状薛桔挽坛效篮旧歇长洪像仍谋汞陶客岳冉梗玩亚滩敌迪搐人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件武汉科技大学86汀旱例玛凑圃霉所兢醒姚谎张瞪馈辨边信糕攒烟圆痘运牟东粟丰替氦眩精人工神经网络6HOPFIELD神经网络ppt课件人工神经网络6HOPFIELD神经网络ppt课件
