《人工神经网络第七章课件》由会员分享，可在线阅读，更多相关《人工神经网络第七章课件（72页珍藏版）》请在金锄头文库上搜索。
1、2019/4/19,1,第7章 循环网络,主要内容 Hopfield网络实现的自相联存储 稳定性分析 统计Hopfield网与Boltzmann机 基本双联存储器(BAM)的结构与训练 几种相联存储网络 用Hopfield网解决TSP问题。,2019/4/19,2,第7章 循环网络,重点 Hopfield网络实现的自相联存储 基本双联存储器的结构与训练。 难点 稳定性分析 用Hopfield网解决TSP问题,2019/4/19,3,第7章 循环网络,7.1 循环网络的组织 7.2 稳定性分析 7.3 统计Hopfield网与Boltzmann机 7.4 双联存储器的结构 7.5 异相联存储 7
2、.6 其它的双联存储器 7.7 Hopfield网用于解决TSP问题,2019/4/19,4,第7章 循环网络,循环网络称为Hopfield网,循环网络对输入信号的处理是一个逐渐“修复”、“加强”的过程。,强烈变化,较弱的变化,不变化,2019/4/19,5,7.1 循环网络的组织,网络结构,2019/4/19,6,7.1 循环网络的组织,联接：神经元之间都是互联的wij，每个神经元都没有到自身的联接wii=0。 神经元个数h，输入向量维数n，输出向量维数m。hn，hm，n1，m1。 神经元：输入、输出、隐藏 状态变化：非同步、同步 输入向量：X=(x1，x2，xn) 输出向量：O=(o1，o
3、2，om),2019/4/19,7,7.1 循环网络的组织,神经元的网络输入：,阈值函数：oj=,1 if netjj,0 if netjj,oj if netj=j,2019/4/19,8,最基本的Hopfield网,n=m=h,2019/4/19,9,最基本的Hopfield网,希望网络的联接矩阵存放的是一组这样的样本，在联想过程中实现对信息的“修复”和“加强”，要求：它的输入向量和输出向量是相同的向量，即，X=Y 样本集：S= Y1，Y2，Ys,2019/4/19,10,最基本的Hopfield网,wii=0 1in W是一个对角线元素为0的对称矩阵： W= Y1T Y1+Y2TY2+Y
4、sTYs - W0 W是各个样本向量自身的外积的和网络实现的是自相联映射。,权矩阵：wij=,ij,2019/4/19,11,最基本的Hopfield网,2019/4/19,12,2019/4/19,13,由式7一3知，对任意的i和j(ij),所以，W是一个对角线元素为0的对称矩阵。,与前面遇到过的训练方法不同，在这里是根据样本集直接地计算出网络的联接矩阵。显然，这种训练方法效率要高许多。另外，由于W是各个样本向量自身的外积的和，所以，有时称该网络实现的是自相联映射。,2019/4/19,14,最基本的Hopfield网,激活函数： 改为S形函数后，系统就成为一个连续系统 多级循环网络 除输出
5、向量被反馈到输入层外，其它各层之间的信号传送均执行如下规定：第i-1层神经元的输出经过第i个连接矩阵被送入第i层。 一般不考虑越层的信号传送、中间的信号反馈和同层的神经元之间进行信号的直接传送,2019/4/19,15,网络的异步工作方式 网络的异步工作方式是一种串行方式。网络运行时每次只有一个神经元i按下式进行状态的调整计算，其他神经元的状态均保持不变，即,2019/4/19,16,神经元状态的调整次序可以按某种规定的次序进行，也可以随机选定。每次神经元在调整状态时，根据其当前净输入值的正负决定下一时刻的状态，因此其状态可能会发生变化，也可能保持原状。下次调整其他神经元状态时，本次的调整结果
6、即在下一个神经元的净输入中发挥作用。 网络的同步工作方式 网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即 xj(t+1)sgnnetj(t) j1，2,n,2019/4/19,17,7.2 稳定性分析,网络的稳定性是与收敛性不同的问题 Cohen和Grossberg1983年:Hopfield网络的稳定性定理 如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的 用著名的Lyapunov函数作为Hopfield网络的能量函数 网络的稳定性与吸引子,2019/4/19,18,反馈网络是一种能存储若干个预先设置的稳定点(状态)的网络。运行时，当向该网络作用一个起原
7、始推动作用的初始输入模式后，网络便将其输出反馈回来作为下次的输入。经若干次循环(迭代)之后，在网络结构满足一定条件的前提下，网络最终将会稳定在某一预先设定的稳定点。 设X(0)为网络的初始激活向量，它仅在初始瞬间t0时作用于网络，起原始推动作用。X(0)移去之后，网络处于自激状态，即由反馈回来的向量X(1)作为下一次的输入取而代之。 反馈网络作为非线性动力学系统，具有丰富的动态特性，如稳定性、有限环状态和混沌(chaos)状态等。,2019/4/19,19,1网络的稳定性 由网络工作状态的分析可知，DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若能经有限次递归后， 其状
8、态不再发生变化，即X(t+1)X(t)， 则称该网络是稳定的,2019/4/19,20,如果网络是稳定的，它可以从任一初态收敛到一个稳态， 如图62(a)所示；若网络是不稳定的，由于DHNN网每个节点的状态只有1和-l 两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络，图62(b)给出了它的相图。如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌，其相图如图62(c)所示。对于DHNN网，由于网络的状态是有限的，因此不可能出现混沌现象。,2019/4/19,21,网络的稳定性与下面将
9、要介绍的能量函数密切相关，利用网络的能量函数可实现优化求解功能。网络的能量函数在网络状态按一定规则变化时，能自动趋向能量的极小点。如果把一个待求解问题的目标函数以网络能量函数的形式表达出来，当能量函数趋于最小时，对应的网络状态就是问题的最优解。 网络的初态可视为问题的初始解，而网络从初态向稳态的收敛过程便是优化计算过程，这种寻优搜索是在网络演变 过程中自动完成的。,2019/4/19,22,2吸引子与能量函数 网络达到稳定时的状态X，称为网络的吸引子。一个动力学系统的最终行为是由它的吸引子决定的，吸引子的存在为信息的分布存储记忆和神经优化计算提供了基础。如果把吸引子视为问题的解，那么从初态朝吸
10、引子演变的过程便是求解计算的过程。若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。,2019/4/19,23,下面给出DHNN网吸引子的定义和定理。 定义71 若网络的状态X满足Xf(WX T)，则称X为网络的吸引子。 能使网络稳定在同一吸引子的所有初态的集合，称为该吸引子的吸引域。下面给出关于吸引域的两个定义。 定义72 若Xa是吸引子，对于异步方式，若存在一个调整次序，使网络可以从状态X演变到Xa，则称X弱吸引到Xa；若对于任意调整次序，网络都可以从状态X演变到 Xa，则称X强吸引到Xa。,2019/4
11、/19,24,定义73 若对某些X，有X弱吸引到吸引子Xa，则称这些X的集合为Xa的弱吸引域；若对某些X，有X强吸引到吸引子Xa，则称这些X的集合为Xa的强吸引域。 欲使反馈网络具有联想能力，每个吸引子都应该具有一定的吸引域。只有这样，对于带有一定噪声或缺损的初始样本，网络才能经过动态演变而稳定到某一吸引子状态，从而实现正确联想。反馈网络设计的目的就是要使网络能落到期望的稳定点(问题的解)上， 并且还要具有尽可能大的吸引域，以增强联想功能。,2019/4/19,25,例62 有一DHNN网，n4，Tj0，jl，2，3，4，向量Xa、Xb和权值矩阵W分别为,检验Xa和Xb是否为网络的吸引子，并考
12、察其是否具有联想记忆能力。,2019/4/19,26,解 本例要求验证吸引子和检查吸引域，下面分两步进行。 检验吸引子 由吸引子定义,2019/4/19,27,所以Xa是网络的吸引子，因为XbXa，由吸引子的性质1知，Xb也是网络的吸引子。 考察联想记忆能力 设有样本Xl(1，1，1，1)T、X2(1，1，1，1)T、X3(1，1，1，1)T，试考察网络以异步方式工作时两个吸引子对3个样本的吸引能力。 令网络初态X(0)X1(1，1，1，1)T。设神经元状态调整次序为1234，有 X(0)(1，1，1，1)TX(1)(1，1，1，1)TXa 可以看出该样本比较接近吸引子Xa，事实上只按异步方式
13、调整了一步，样本X1即收敛于Xa。,2019/4/19,28,令网络初态X(0)X2(1，1，1，1)T。设神经元状态调整次序为1234，有 X(0)(1,1,1,1)TX(1)(1,1,1,1)TXb 可以看出样本X2比较接近吸引子Xb，按异步方式调整一步后，样本X2收敛于Xb。 令网络初态X(0)X3(1,1, 1, 1)T，它与两个吸引子的海明距离相等。若设神经元状态调整次序为1234，有 X(0)(1,1, 1, 1)TX(1)(1,1, 1, 1)T X(2)(l, 1, l, 1)TXb,2019/4/19,29,若将神经元状态调整次序改为3412，则有 X(0)=(1,1, 1,
14、 1)TX(1)(1,1,1, 1)TX(2)(1,1,l,1)TXa 从本例可以看出，当网络的异步调整次序一定时，最终稳定于哪个吸引子与其初态有关；而对于确定的初态，网络最终稳定于哪个吸引子与其异步调整次序有关。,2019/4/19,30,定理71 对于DHNN网，若按异步方式调整网络状态，且连接权矩阵W为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。 下面通过对能量函数的分析对定理71进行证明。 定义网络的能量函数为：,2019/4/19,31,2019/4/19,32,2019/4/19,33,Lyapunov函数能量函数,作为网络的稳定性度量 wijoioj：网络的一致性测度。
15、xjoj：神经元的输入和输出的一致性测度。 joj：神经元自身的稳定性的测度。,2019/4/19,34,当ANk的状态从ok变成ok,1、ANk是输入神经元,2019/4/19,35,当ANk的状态从ok变成ok,wkk=0,2019/4/19,36,=-(netk-k)ok,ANk状态的变化：ok=(ok-ok) ok=0， =0,ok0，ok=1& ok=0，ok由0变到1， netkk，netk-k0 所以，-(netk-k)ok0故0,结论：网络的目标函数总是下降,ok0, ok=0& ok=1，ok由1变到0 netkk，netk-k0 -(netk-k)ok0故0,2019/4/19,37,当ANk的状态从ok变成ok,2、ANk不是输入神经元,2019/4/19,38,当ANk的状态从ok变成ok,无论ANk的状态是如何变化的，总有 0,2019/4/19,39,7.3 统计Hopfield网与Boltzmann机,统计Hopfield网 在网络运行中，神经元状态与 “人工温度”确定的概率相关 网络运行模拟金属退火过程,pi：ANi的状态取1的概率 neti：ANi所获网络输入； i：ANi的阈值； T：系统的人工温度。,2019/4/19,40,算法 7-1 统计Hopfield网运行算法,1 取一个很大的值作为人工温度T的初值； 2 对网络中每一个神经元ANi
