《第3章神经网络控制续-2010-2011-2012.doc》由会员分享，可在线阅读，更多相关《第3章神经网络控制续-2010-2011-2012.doc（38页珍藏版）》请在金锄头文库上搜索。
1、智能控制讲义郭兴旺北航机械学院2007-2012(上接ppt,“离散Hopfield网络”)3. 连接权的设计为保证H网收敛，要求W有如下特点：a. 保证异步工作方式收敛时，W应对称。（一般只保证此条件）b. 保证同步工作方式收敛时，W应非负定对称。（b比a要求高）另外，对给定样本的要求是：“样本必须是网络的吸引子，而且要有一定的吸引域”，这样才能实现联想记忆功能。为实现上述功能，通常采用Hebb规则设计连接权。Hebb学习规则：调整的原则为，若第i和第j个神经元同时处于兴奋（或同时抑制）状态，则它们之间的连接权应加强，即。这一规则与条件反射学说一致，并已得到神经细胞学说的证实。 设给定m个样
2、本,并设(元素取值为-1或1的n维向量)，则或（权的调整规则）写成矩阵形式为当网络结点状态为1和0两种状态即时，求权的算式需作修改（见孙P144,以，相当于作0，1到-1，1的映射）。以上设计的W满足对称性的要求。下面分析所给样本是否为网络的吸引子。（1）若m个样本两两正交，即则有只要满足n-m0，便有 （对符号函数，）即是网络的吸引子。（n结点数,足够多，m样本（吸引子）数，有限。对4个结点的网络，样本（吸引子）数最多为3）。（2）若m个样本不是两两正交，且设向量之间的内积为：则有(解释：先划出i=k项：，其余项为：）取其中第j个元素若能使得有 （3.2）（此时，）则是网络的吸引子。又由于(
3、放大)，其中进而若能使（则3.2式一定成立），即 (第1种条件式)（对样本数或吸引子数的限定）则可保证所有样本为网络的吸引子。若m个样本满足含有有百分之多少（）的元素不同之意其中，则有 (C)解释：内积从而m个样本均为网络吸引子的条件为(第2种条件式) 由(C)代入（第1种条件式）得此式为充分条件（并非必要条件）。不满足此条件时，需具体检验才能确定样本是否为吸引子。讨论m就是讨论能记忆多少个状态（吸引子）。4. 记忆容量记忆容量在网络结构参数一定的条件下，要保证联想功能的实现，网络所能存储的最大样本数（有一定的吸引域的吸引子的个数）。也就是说，给定网络结点数n，样本数最大可为多少，这些样本向量
4、不仅本身应为网络的吸引子，而且应有一定的吸引域，这样才能实现联想记忆的功能。记忆容量与下列因素有关：（1）结点数；（2）连接权的设计；（3）样本的性质（正交，随机）；（4）吸引域的大小。对于用Hebb规则设计连接权的网络，如果输入样本是正交的，则可获得最大的记忆容量。一个样本向量的吸引域可看成是以该向量为中心的球体。在该球体中的向量满足称为吸引半径（不相同元素的个数占总数的比例Guo）。对给定的网络，严格确定其记忆容量并不是一件很容易的事情。Hopfield曾提出了一个数量范围，即 连接权的常用设计方法法（1）样本正交法（孙P145），如前所述法（2）一种实用的设计方法：奇异值分解法,其好处是
5、不要求样本两两正交。（孙P146，浏览）5举例（孙P147） 设离散H网的结构如图，其中n=4, 所有阈值为0，样本数m=2, 两个样本为目的：（1）理解样本为网络吸引子的条件； （2）理解吸引子、收敛、联想记忆的含义； （3）理解弱吸引的含义； （4）理解异步、同步工作方式的过程；（5）理解权矩阵的设计，自持振荡的概念。分析：黑板上讲按Hebb规则求连接权矩阵：这两个样本不满足均为网络吸引子的充分条件，但代入吸引子定义式检验知：说明它们都是吸引子。下面考察它们是否有一定的吸引能力。(1)经一步调整就收敛到了x(1).(2)经一步调整就收敛到了x(2).(3) 设x(0)与样本的海明距离均为2
6、，经2步调整收敛到了x(2).若按3,4,1,2的次序调整，则经2步调整将收敛x(1).从上面看出，对于不同的调整次序, x(5)既可弱收敛到x(1)也可弱收敛到x(2).下面再按同步方式计算，（1）收敛到了x(1).（2）收敛到了x(2).（3）经2步调整又回到了出发点。有周期为2的极限环（自持振荡）。自持振荡（自激振动）在相平面（位置-速度平面）内的相轨迹是孤立的封闭曲线，称作相平面的极限环3.3.2连续Hopfield网络1. 网络的结构和工作方式仍是单层反馈网络（同前），每个结点的工作方式为这里同样假定。与离散H相比的特点：（1）多了中间的一阶微分方程，相当于一个惯性环节（为输入，为输
7、出，对应传递函数为）；对离散H网，中间式子也可看成为。（2）输出变换函数不再是二值函数，而一般取S形函数。当时，取（双极性S型，双曲函数，双曲正切）：当时，取（S型函数）（3）允许有即自反馈存在。Hopfield利用模拟电路设计了一个连续Hopfield网络的电路模型，其中由运放实现的一个结点的模型如图3.15所示。(P151)图3.15 连续H网第i个结点的电路模型（有自反馈）电路方程为：其中若令则上式化为可以不为零，即有自反馈，这点与离散型不同。连续H网实质上是一个连续的非线性动力学系统，可用一组非线性微分方程来描述。当给定初态，通过求解非线性微分方程组即可求得网络的运动轨迹。若系统是稳定
8、的，则它最终可收敛到一个稳定状态。求解过程可用电路自动完成。2. 稳定性（稳定性的讨论要借助能量函数，关于网络状态的函数，是标量）定义连续H网的能量函数为连续H网和离散H网的能量函数是统一的，对离散H网，由于f()是二值函数，所以第三项积分为零。由于或，因此上述E是有界的。因此只需证明即可说明系统是稳定的。证(见孙P151)：，（参：变换函数，节点工作前1式）（参：S型函数的反函数单调上升）3. 求解TSP问题连续H网的稳定点就是能量函数E的极小点。所谓优化计算就是求目标函数的最小值点。如果把优化的目标函数当作连续H网的能量函数E看待，则优化计算问题即可转化为求连续H网的能量函数E的极小点（稳
9、定点）问题。因此连续H网可用来进行优化计算。其思路是：根据优化目标的要求和约束条件，构造优化目标函数E，把E看成H网的能量函数，令（可由E的表达式和结点工作方式的前二个式子推出，见孙p152上）展开，推出标准的H网络形式：运行该网络，其稳态解即为优化解。构造E时，注意要包含H网本身要求的积分项。 TSP（Travelling Salesman Problem）问题：推销员要到n个城市去推销产品，要求每个城市都要去到，且只能去一次，如何规划路线才能使所走的路程最短。（典型的组合优化问题） 可能的路径（以n=5个城市为例）之一：路径顺序12345城市A01000B00010C10000D00001
10、E00100为了保证每个城市只去一次，每行只能有一个元素为1；为了保证在某一时刻只能经由一个城市，每列只能有一个元素为1。上表（方阵）表示的行走路线是：C-A-E-B-D-C（环回）,所走的路程为。令方阵的每个位置对应一个神经元（结点），共n*n个神经元。每个神经元的取值采用S形函数计算：其中。这里取较大的值，以使S形函数比较陡峭，从而稳态时能趋近于1或0。根据路径最短要求和约束条件，可写出总的能量函数（目标函数）为E同时描述了优化目标和约束条件。每项均为正，使各项最小即可使总目标最小。第一项反映了总路径的长度，此处若i+1n, 用1代替i+1，即首尾相接的循环；第二项(最小为0)反映了“方阵
11、的每一列只能有一个元素为1”的要求；第三项(最小为0)反映了“方阵的每一行只能有一个元素为1”的要求；第四项(最小为0)反映了“方阵中1的个数总和为n”的要求；第五项(参孙p151，E的最后一项)是H网本身的的要求；是各项的加权系数。先求再根据（前面稳定性分析中导出过），有最后可写出这个问题所对应的标准的H网络形式：（见孙P153。公式可反向验证）解释：双下标与单下标无本质区别，双下标累加时出现双重累加号其中是离散函数，即（见孙p153）。该H网的稳定点即最优点。TSP有典型性，其H网解法可推广到其它类似的优化问题中。3.3.3 Boltzmann机（浏览，自学）随机、反馈型NN，用于模式分类
12、、预测、组合优化及规划。1、网络结构和工作方式形式上同离散H网，具有对称连接权，。功能上可看成多层网络。其中是的概率。解释：离散H网是直接给出的表达式，。而这里取1还是-1（或0）不一定，按的概率取1，按的概率取-1（或0），故是随机的。是s形函数。T称为温度（源于模拟退火算法）.当T0时，s形函数趋于二值函数，随机网络退化为确定性网络。能量函数：两种工作方式：同、异步稳定性：异步工作时在概率意义上稳定。能量的总趋势是按较大的概率向小的方向演化。分析方法与H网类似，p154-155概率比：，p155推广之，网络中任意二个状态和出现的概率与它们的能量和之间满足：这正好是Boltzmann分布的特
13、点。网络名称的由来。解释：Boltzmann分布：Boltzmann机处于某一状态的概率取决于在此状态下的能量（指和）和温度参数T。能量越低概率越大；T越大，不同状态出现概率的差异越小，此时较容易跳出能量局部极小点而到达全局极小点。2、网络的学习和训练（自学）(第5次到此)3.6 基于神经网络的系统建模与辨识3.6.1 概述目前神经网络在系统建模、辨识与控制中的应用已覆盖了控制理论中的绝大多数问题。神经网络应用于控制领域的吸引力在于：（1）非线性映射（2）自学习能力（3）并行计算（4）分布式信息存储与处理容错性（5）能同时融合定量与定性数据（6）多输入多输出多变量控制系统辨识（Identifi
14、cation）的主要应用：1.控制系统的分析和设计2.用于自校正、模型参考自适应系统3.预测和预报4.监视系统运行状态，进行故障诊断3.6.2 逼近理论与网络建模神经网络可用来建立系统的输入输出模型，作用：（1）作为被控对象的正向或逆动力学模型；（2）建立控制器的逼近模型；（3）用以描述性能评价估计器。模型的传统表达方式有：（1）状态空间表达方式。（2）传递函数矩阵；（3）ARMA.这些表达方式一般适合于线性系统的建模。传统的非线性控制系统辨识方法，在理论研究和实际应用中存在极大的困难。相比之下，神经网络在这方面有明显的优势。其中应用最为普遍的是多层前馈神经网络。（有关泛函、逼近理论、多层前馈神经网络的逼近能力大家自己简单了解一下。）3.6.3 利用多层静态网络的系统辨识在多层静态网络基础上加入延时单元，构成一种通用的递归网络（如图，韩p124）。输入层接收两类信号，来自外部的输入u(k),u(k-1
