《神经网络控制3其他网络资料》由会员分享，可在线阅读，更多相关《神经网络控制3其他网络资料（75页珍藏版）》请在金锄头文库上搜索。
1、回归神经网络回归神经网络(recurrent neural networks) 回归网络是一种人们越来越感兴趣的网络。回归网络中包含一定的动态环节作为信息存储，在系统建模时可以充分利用这一特性，减小网络的规模。回归网络包括Elman网络和Hopfield网络，其中Elman网络是一种两层的前馈网络7/26/20241神经网络原理与应用霍普菲尔德（Hopfield）神经网络1、网络结构形式2、非线性系统状态演变的形式3、离散型的霍普菲尔德网络（DHNN）4、连续性的霍普菲尔德网络（CHNN）7/26/20242神经网络原理与应用网络结构形式 Hopfield网络是单层对称全反馈网络，根据激活函数
2、选取的不同，可分为离散型和连续型两种（ DHNN,CHNN）。DHNN：作用函数为hadlim，主要用于联想记忆。CHNN：作用函数为S型函数，主要用于优化计算。 7/26/20243神经网络原理与应用 Hopfield网络是单层反馈网络.有二种形式:连续和离散特点: 1)自联想.回归(或全连接),所有神经元与其它单元相连,但无自连接; 2)按内容编址存贮器方式进行操作,新提供的输入模式可自动找到已存贮的合适模式.7/26/20244神经网络原理与应用工作原理7/26/20245神经网络原理与应用Hopfield网络可以看成是一个动态系统,其相空间包含代表系统基本存贮内容的固定(稳定)点的集合
3、. Hopfield网络可以检索信息,以一定的误差恢复信息.7/26/20246神经网络原理与应用对于具有N个神经元的网络，其状态可以用向量S来确定：S是N位二进制信息，满足以下条件： 1）时间t趋近无限，允许回归网络达到稳态； 2）在非线性函数的原点，斜率无穷大，具有硬限幅器特性。工作过程1）存贮阶段。确定权值矩阵。设要存贮的向量为：则按外积规则，神经元i到神经元j的连接权定义为：写成向量形式：107/26/20247神经网络原理与应用2）第二阶段信息检索输入信息，进行随机的、异步的迭代，直到网络达到稳定，这时单元的输出为：稳定条件也称匹配条件。状态向量满足匹配条件的称系统相空间的稳定点或固
4、定点，检索完成，Hopfield收敛到稳态。7/26/20248神经网络原理与应用举例：由3个神经元组成的Hopfield网络，有2个基本存贮器，存贮2个向量1，-1，1和-1，1，-1，设计权连接矩阵。按公式：相应的连接图形如右：87/26/20249神经网络原理与应用满足匹配条件的固定点或向量计算如下：其它点都是不稳定的点，例如，对1，1，1，和1，1，-1，迭代结果都移向稳定点。对1，1，1对1，1，-17/26/202410神经网络原理与应用此过程可用图表示如右：7/26/202411神经网络原理与应用讨论Hopfield网络的工作过程有4个步骤：1）存贮（学习），异步、随机。2）初始
5、化，加入初始试样，然后移走。3）迭代直至收敛4）输出，得到稳定点。有能量函数，保证迭代过程能量的增量为负。连续Hopfield网络具有同样的性质。7/26/202412神经网络原理与应用离散型的 Hopfield神经网络1、I/O关系2、两种工作方式3、网络的稳定性分析4、DHNN网络设计7/26/202413神经网络原理与应用网络结构及I/O关系 图2.8.2是一个有三个节点的DHNN结构。 对于以符号函数为激活函数的网络，网络的方程可写为： 图2.8.27/26/202414神经网络原理与应用两种工作方式 DHNN主要有以下两种工作方式： （1）串行工作方式 在某一时刻只有一个神经元按照上
6、式改变状态，而其它神经元的输出不变。这一变化的神经元可以按照随机的方式或预定的顺序来选择。 （2）并行工作方式 在某一时刻有N个神经元按照上式改变状态，而其它的神经元的输出不变。变化的这一组神经元可以按照随机方式或某种规则来选择。当N=n时，称为全并行方式。7/26/202415神经网络原理与应用DHNN的稳定工作点Xi(t+1)= Xi(t)=sgn(j=1nWijXi(t)-i ) i=1,2,n7/26/202416神经网络原理与应用网络的稳定性分析 DHNN的能量函数定义为：7/26/202417神经网络原理与应用 关于DHNN的稳定性有如下的定理： 【定理2.1】 当网络工作在串行方
7、式下时，若W为对称阵，且其对角元素非负，则其能量函数单调下降，网络总能收敛到一个稳定点。7/26/202418神经网络原理与应用 全并行方式下也有同样的结论7/26/202419神经网络原理与应用DHNN网络设计 用 DHNN实现联想记忆需要考虑两个重要的问题：怎样按记忆确定网络的W和；网络给定之后如何分析它的记忆容量。下面将分别讨论。1、权值设计的方法2、记忆容量分析3、权值修正的其它方法 在MATLAB中，用函数newhop.m来设计一个Hopfield网络： net = newhop(T)7/26/202420神经网络原理与应用权值设计的方法 权值设计的方法有外积法、伪逆法、正交设计法等
8、。下面仅介绍外积法，它是一种比较简单，在一定条件下行之有效的方法。7/26/202421神经网络原理与应用例例: 设计DHNN，并考察其联想性能。说明所设计的网络没有准确的记忆所有期望的模式。7/26/202422神经网络原理与应用记忆容量分析 当网络只记忆一个稳定的模式时，该模式肯定被网络准确无误的记忆住。但当所要记忆的模式增加时，情况则发生了变化，主要表现在下列两点上：1、权值移动2、交叉干扰7/26/202423神经网络原理与应用权值移动 在网络的学习过程中，网络对权值的记忆实际上是逐个实现的。即对权值W，有程序:当网络准确的X1时，为了记忆X2,需要在记忆样本X1的权值上加上对样本X2
9、的记忆项X2X2T-I，将权值在原来值的基础上产生了移动。这样网络有可能部分得遗忘了以前以记忆住的模式。7/26/202424神经网络原理与应用 从动力学的角度来看，k值较小时，网络Hebb学习规则，可以使输入学习样本成为其吸引子。随着k值的增加，不但难以使后来的样本成为网络的吸引子，而且有可能使以记忆住的吸引子的吸引域变小，使原来处于吸引子位置上的样本从吸引子的位置移动。对一记忆的样本发生遗忘，这种现象称为“疲劳”。7/26/202425神经网络原理与应用交叉干扰 网络在学习多个样本后，在回忆阶段即验证该记忆样本时，所产生的干扰，称为交叉干扰。 对外积型设计而言，如果输入样本是彼此正交的，n
10、个神经元的网络其记忆容量的上界为n。但是在大多数情况下，学习样本不可能是正交的，因而网络的记忆容量要比n小得多，一般为(0.130.15)n，n为神经元数。7/26/202426神经网络原理与应用权值修正的其它方法1、学习规则2、伪逆法3、正交化权值设计7/26/202427神经网络原理与应用 学习规则 学习规则基本功式是： 即通过计算该神经元节点的实际激活值A(t)，与期望状态T(t)进行比较，若不满足要求，将两者的误差的一部分作为调整量，若满足要求，则相应的权值保持不变。7/26/202428神经网络原理与应用伪逆法7/26/202429神经网络原理与应用正交化权值设计 这一方法的基本思想
11、和出发点是为了满足下面四个要求： 1）保证系统在异步工作时的稳定性，即它的权值是对称的； 2）保证所有要求记忆的稳定平衡点都能收敛到自己； 3）使伪稳定点的数目尽可能的少； 4）使稳定点的吸引域尽可能的大。7/26/202430神经网络原理与应用连续性的Hopfield网络 CHNN是在DHNN的基础上提出的，它的原理和DHNN相似。由于CHNN是以模拟量作为网络的输入输出量，各神经元采用并行方式工作，所以它在信息处理的并行性、联想性、实时性、分布存储、协同性等方面比DHNN更接近于生物神经网络。我们将从以下几点来讨论CHNN。1、网络模型2、CHNN方程的解及稳定性分析3、关于Hopfiel
12、d能量函数的几点说明4、关于CHNN的几点结论7/26/202431神经网络原理与应用CHNN的网络模型 图2.8.3是Hopfield动态神经元模型。 对于神经元，放大器的I/O关系可用如下的方程来描述： 图2.8.4是CHNN的结构图。 7/26/202432神经网络原理与应用图2.8.37/26/202433神经网络原理与应用图2.8.47/26/202434神经网络原理与应用对上述方程变形得：7/26/202435神经网络原理与应用例 2个元的Hopfield网络7/26/202436神经网络原理与应用CHNN方程的解及稳定性分析 对于CHNN来说，关心的问题同样是稳定性。在所有影响电
13、路系统稳定的所有参数中，一个比较特殊的参数值是放大器的放大倍数。从前面的分析中可以看出，当放大器的放大倍数足够大时，网络由连续型转化成离散型，状态与输出之间的关系表现了激活函数的形状，而正是激活函数代表了一个网络的特点。所以，下面着重分析不同激活函数关系对系统的稳定性的影响。1、激活函数为线性函数时2、激活函数为非线性函数时7/26/202437神经网络原理与应用 当激活函数为线性函数时，即7/26/202438神经网络原理与应用1） Re(i）0系统不稳定3） Re(i）=0极限环7/26/202439神经网络原理与应用 对于非线性系统进行稳定性分析，方法之一就是在系统的平衡点附近对系统进行
14、线性化处理。也可以基于网络的能量函数。下面介绍Hopfield能量函数法。激活函数为非线性函数时7/26/202440神经网络原理与应用7/26/202441神经网络原理与应用 此定理表明，随着时间的演化，网络的状态总是朝能量减少的方向运动。网络的平衡点就是E的极小点。7/26/202442神经网络原理与应用 几点说明： 1）能量函数为反馈网络的重要概念。根据能量函数可以方便的判断系统的稳定性； 2）能量函数与李雅普诺夫函数的区别在于：李氏被限定在大于零的范围内，且要求在零点值为零； 3）Hopfield选择的能量函数，只是保证系统稳定和渐进稳定的充分条件，而不是必要条件，其能量函数也不是唯一
15、的。7/26/202443神经网络原理与应用关于CHNN的几点结论1）具有良好的收敛性；2）具有有限个平衡点；3）如果平衡点是稳定的，那么它也一定是渐近稳定的；4）渐近稳定平衡点为其能量函数的局部极小点；5）能将任意一组希望存储的正交化矢量综合为网络的渐 近平衡点；6）网络的存储信息表现为神经元之间互连的分布式动态存储；7）网络以大规模、非线性、连续时间并行方式处理信息，其计算时间就是网络趋于平衡点的时间。7/26/202444神经网络原理与应用旅行商问题简 称 TSP (Traveling Salesman Problem）。问题的提法是：设有 N个城市， ,记为： ,用dij表示ci和cj
16、之间的距离，dij0,(i,j=1,2,n)。有一旅行商从某一城市出发，访问各城市一次且仅一次后再回到原出发城市。要求找出一条最短的巡回路线。7/26/202445神经网络原理与应用N=5 TSP Problem N=5，并用字母A、B、C、D、E、分别代表这5个城市。当任选一条路径如B-D-E-A-C,，则其总路径长度可表示为第一步就是将问题映照到一个神经网络。假定每个神经元的放大器有很高的放大倍数，神经元的输出限制在二值0和1上，则映照问题可以用一个换位矩阵（Permutation Matrix）来进行，换位矩阵可如下图所示。 7/26/202446神经网络原理与应用换位矩阵次序城市123
17、45A00010B10000C00001D01000E001007/26/202447神经网络原理与应用约束条件和最优条件矩阵的每个元素对应于神经网络中的每个神经元，则这个问题可用N2=52=25个神经元组成的Hop-field网络来求解。 问题的约束条件和最优条件如下：（1)一个城市只能被访问一次=换位矩阵每行只有一个“1”。 （2）一次只能访问一个城市=换拉矩阵每列只有一个“1”。 （3）总共有N个城市=换位矩阵元素之和为N。 (4）求巡回路径最短=网络能量函数的最小值对应于TSP的最短路径。 7/26/202448神经网络原理与应用结论用vij表示换位矩阵第i行、第j列的元素，显然只能取
18、1或0。同时，vij也是网络神经元的状态。结论:构成最短路径的换位矩阵一定是形成网络能量函数极小点的网络状态。7/26/202449神经网络原理与应用网络能量函数的构成 7/26/202450神经网络原理与应用续17/26/202451神经网络原理与应用续27/26/202452神经网络原理与应用续37/26/202453神经网络原理与应用自组织竞争神经网络1、简介2、基本竞争型神经网络及其学习规则3、抑制竞争型神经网络及其学习规则4、自组织特征映射神经网络（SOFM）7/26/202454神经网络原理与应用自组织竞争（ANN）的简介 在人类的认识过程中，除了从教师那里得到知识外，还有一种不需
19、要通过教师自动的向环境学习的能力，这种仅依靠环境刺激的“无师自通”的功能称为自组织学习方法。 在网络结构上，它一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向连接，而且网络没有隐含层。有的竞争层各神经元之间还存在横向连接。7/26/202455神经网络原理与应用 在学习算法上，它模拟生物神经系统依靠神经元之间的兴奋、协调与抑制、竞争的作用来进行信息处理的动力学原理指导网络的学习与工作，而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准则。 以竞争型神经网络为基础可以构成一些具有自组织能力的网络。如:自适应共振理论（Adaptive Resonance Theory）网络
20、,自组织特征映射（Self-Organizing Feature Map）网络，对向传播（Counter Propagation）网络。7/26/202456神经网络原理与应用基本竞争型神经网络及其学习规则1、基本结构2、学习规则7/26/202457神经网络原理与应用基本结构 竞争型神经网络由多种形式和算法，常用的一种基本结构如图2.9.1所示。其中输入层有n个神经元，输出层有m个神经元。网络的连接权图图2.9.12.9.17/26/202458神经网络原理与应用学习规则7/26/202459神经网络原理与应用7/26/202460神经网络原理与应用7/26/202461神经网络原理与应用7
21、/26/202462神经网络原理与应用抑制竞争型神经网络及其学习算法 除了靠竞争手段使神经元获胜的方法外，还有靠抑制手段使神经元获胜的方法。 这种网络学习算法的基本思想是：当竞争层某个神经元的输入值大于其它所有神经元的输入值时，依靠其输出所具有的优势（即其输出值较其他的神经元大）通过抑制作用将其它神经元的输出之逐渐减小。这样，竞争层各神经元的输出就形成连续变化的模拟量。这里具体介绍以下两点：1、网络的结构2、网络的学习规则7/26/202463神经网络原理与应用抑制竞争型神经网络结构 抑制竞争型神经网络结构图如图2.9.2所示。特点：竞争层之间存在起抑制作用的横向连接（非连接加权，无具体数值）
22、7/26/202464神经网络原理与应用抑制竞争型神经网络结构7/26/202465神经网络原理与应用网络的学习规则7/26/202466神经网络原理与应用7/26/202467神经网络原理与应用7/26/202468神经网络原理与应用主要内容下面介绍SOFM网络的模型结构、学习算法及网络特性。1、网络模型结构2、竞争层竞争规则3、学习工作规则4、一个实例7/26/202469神经网络原理与应用SOFM网络模型结构两层网络输入：n个元 输出：mxm个元7/26/202470神经网络原理与应用 而是以若干神经元同时（并行）反映结果。与这若干神经元相连的连接权虽略有差别，但这些神经元的分类作用基本上是并列的，即其中任何一个神经元都能代表分类结果或近似分类结果。 此外，这种网络之所以称为特征映射网络，是因为网络通过对输入模式的反复学习，可以是连接权矢量的空间分布密度与输入模式的概率分布趋于一致，即连接权矢量的空间分布能反映输入模式的统计特征。 可见，SOFM网络可用于样本排序、样本分类及样本特征检测等。7/26/202471神经网络原理与应用工作区域7/26/202472神经网络原理与应用学习工作规则7/26/202473神经网络原理与应用7/26/202474神经网络原理与应用7/26/202475神经网络原理与应用
