课件：神经网络第三章

《课件：神经网络第三章》由会员分享，可在线阅读，更多相关《课件：神经网络第三章（176页珍藏版）》请在金锄头文库上搜索。

1、第3章 神经控制中的系统辨识,3.1 系统辨识过程中神经网络的作用 3.2 非线性动态系统辨识 3.3 多层前向网络辨识中的快速算法 3.4 非线性模型的预报误差神经网络辨识 3.5 非线性系统逆模型的神经网络辨识 3.6 线性连续动态系统辨识的参数估计 3.7 利用神经网络联想功能的辨识系统 3.7 小结 习题与思考题,3.1 辨识模型 辨识模型只是被测系统在一定环境下的近似描述，选择只能在以下情况中确定： 是选择静态模型，还是选择动态模型？ 是选择参数模型，还是选择非参数模型？ 必须考虑：1) 模型的用途；(2) 被测对象的精确度与复杂程度；(3) 系统的控制方式，是自适应控制还是实时控制

2、；(4) 使用神经网络，可以选择三层网络通过仿真比对完成，当前神经网络理论尚未明确指出需要几个隐层节点数才能模拟出系统。,一、使用参数模型辨识的方法 从输入输出数据中提取被测系统S的数学模型M，使下式成立： YmYo=M(u)S(u) 式中Ym、Yo分别是系统输入u作用下模型和系统的输出。为预设的辨识精度。设e=YmYo，则辨识准则,二、使用非参数模型辨识的方法 无需事先确定模型的具体结构，只需要知道运行过程为线性。 这一类模型有阶跃响应、脉冲响应、频率特性,三、人工神经网络用于系统辨识 用神经网络构成辨识模型，辨识方法就是用神经网络辨识模型逼近被测系统。用作辨识模型的神经网络通常有多层感知器

3、、BP网络、Hopfield网络等。 四、 辨识系统的输入和输出 被测系统与辨识模型使用相同的输入信号。输入信号满足条件 1、辨识时间内的输入信号必须持续激励，充分激励系统的所有模态，输入信号的频谱必须足够覆盖系统的频谱； 2、输入信号要求最优化。辨识系统常用的输入信号有伪随机序列或白噪声。 辨识系统的输出是系统的误差。在确定系统误差时，选择误差准则，用来衡量辨识模型接近被测系统的程度。,四、误差准则函数的泛函表示,f() 用得较多的是平方函数： fe(k)=e2(k) e(k)是误差函数，定义区间为0，M，是辨识模型的输出与被测系统的输出之差。 如果e(k)=0，则说明被测系统与辨识模型等价

4、。,3.2 系统辨识过程中神经网络的作用 3.2.1 神经网络辨识原理 一、系统辨识 实质上是一个优化问题，优化准则依靠辨识目的、辨识算法的复杂程度进行选择。 二、辨识方法 基于算法的辨识方法，适用于线性系统；基于神经网络的辨识方法，适用于非线性系统。 1. 基于算法的辨识方法 要求建立一个模型，该模型依赖于某个参数，把辨识转化成了对模型参数的估计。 1) 最小二乘法 利用最小二乘法原理，通过极小化广义误差的二次方和函数来确定模型的参数。例如一个线性系统模型，在经过一系列的数学变换后转换成最小二乘格式： z(k)=hT(k)+e(k),hT(k)是系统的广义输入，内含原系统输入u(k)和原系统

5、输出y(k)；e(k)是系统的广义噪声。 2) 梯度校正法 沿着误差准则函数关于模型参数的负梯度方向，逐步修改模型的参数估计值，直到误差准则函数达到最小。 3) 极大似然法 极大似然法通过极大化似然函数来确定模型参数。,最小二乘法辨识系统,2. 基于神经网络的辨识方法 人工神经网络辨识那些非线性系统，不需预先知道被测系统的模型。 辨识并不在意神经网络以什么形式去逼近实际系统，只关心神经网络的输出与被辨识系统的输出相差多少，误差e(k)能否为0。从辨识的角度出发，只要e(k)小于某一个事先认可的值，对被辨识系统的辨识任务告一段落。,3、神经网络的辨识方法的特点： (1) 辨识器由神经网络构成，被

6、辨识对象允许是本质上不能线性化的非线性系统； (2) 辨识过程非算法式，由神经网络的训练来实施。辨识结果是网络外部特性拟合系统的输入输出特性，网络内部特性归纳隐藏在输入输出数据中； (3) 辨识之前无须对被辨识系统建模，神经网络辨识器的权值反映了被辨识对象的可调参数； (4) 辨识过程是否收敛以及收敛速度仅取决于神经网络的结构及其算法，与被辨识系统及其维数无关，有别于与模型参数的维数密切相关的传统算法； (5) 神经网络可用于在线控制； (6) 神经网络连接权的权值在辨识中对应于模型参数，只要调节这些参数，就能使网络输出逼近系统输出。,3.2.2 多层前向网络的辨识能力 1. 三层前向网络的逼

7、近能力 仅含一个隐层的三层前向网络可以逼近某个函数。,设输入层有n个节点，能接纳n个输入xi(i=1，2，3，n)，隐层有q个节点vj(j=1，2，3，q)，输出层仅有一个节点。网络的输入矢量为X，输入层到隐层第j个神经元的连接权值矢量用Wj表示，网络的输出为单输出，用y表示。,()是隐层节点的作用函数。,给定函数空间S、映射p，若函数f，g，hS，且满足： (1) p(f，g)0，且仅当f=g时取等号，具有正定性； (2) p(f，g)=p(g，f)，具有对称性； (3) 三角不等式p(f，g)p(f，h)+ p(h，g)成立。 (s，p)为赋范空间，映射p称为距离函数或范数。 如果URn是

8、n维单位立方体，C(U)是定义在U上的所有连续函数f(X)的集合，定义范数,p=sup|f(X)|,定理1 若神经元特性(t)是连续函数，且,函数f(x)不仅限于连续函数，f(x)是一个非连续函数时定理仍然成立，只要求f(x)在1，1上有定义，且满足平方可积条件。利用傅里叶积分将f(x)展开成傅里叶级数若干个连续函数之和，对每一连续函数，定理1均成立。设f(x)连续，且在连续点处，有限次级数和的三角级数形式为,问题推广到n维(n1)，定义矢量的绝对值为其各分量的最大绝对值，在单位空间中定义下列积分:,其中将函数f(x)的集合记为L2(U)。定义范数,则下列定理成立: 定理2 若神经元特性(t)

9、是阈值特性，那么()在L2(U)中是p稠密的，即对于fL2(U)及0，g(X)，使得,三层前向网络能以任意精度逼近任意连续函数、任意非连续函数及其各阶导数(如果存在导数)。这一性质能用于动态系统辨识，要求神经网络具备逼近各阶导数的能力。,2. 多层前向网络的基本结构,1）静态网络的典型例子就是BP网络，该网络的三个特征是多层次结构、S型神经元及反向传播算法(BackPropogation)。静态网络已在模式识别、系统识别、图像处理等方面受到较大的关注。 2）动态多层前向网络 回归网络是一种动态网络，它的结构特点存在反馈。,或用一段时间内的均方误差值,T选用适宜的一个正整数，并要求输入模式为动态

10、信号。 设网络的全部可调参数(例如连接权值和阈值)的集合用表示，网络的当前参数为，J为当前时刻指标函数的梯度，由BP算法知当前参数增量与梯度成正比： =J 比值是学习速率或步长。,(1) 图 (a)，有,式中，用W(z)表示一个动态系统，只需要用BP算法静态计算 ，就能得到当前时刻的 。设网络期望输出为,W(z)是一个特定的脉冲传递标量函数。选取多层网N的结构为四层：输入层1个节点，第一隐层20个节点，第二隐层10个节点，输出层1个节点。用多层网N逼近:,逼近过程中W(z)可能有三种情况出现： 第一种，取W(z)是纯滞后q步的线性系统，传递函数W(z)=zq，计算 并时延q步得 当前值。如取q

11、=5, 训练指标用J1，=0.1时训练50 000步可得较好效果。训练指标用J2，=0.2时训练50 000步得相同结果。 第二种，取W(z)是有限脉冲响应模型(FIRM)，传递函数W(z)=aiz1，计算线性组合以前各时刻的值后可得 。如设,W(z)=0.1z1+1.0z2+0.5z3,训练指标用J2，每三步调整一次参数(T=3)，=0.01时训练50 000次后N与f基本相同。 第三种，取W(z)是稳定的有限传递函数，且能用参数模型描述，如描述模型用ARMA模型。取,训练指标用J1，=0.005时训练10万次，发现y与yq仍有差别。训练指标改用J2，=0.005时训练10万次，取T=5，最

12、终效果较好。 (2) 对图 (b)，多层前向网络的映射有两个，现分别确定。,对于N1网络映射，用静态BP算法计算 ，其中是N1的参数。 对于N2网络映射，使用静态BP算法计算 和 ，求得,或写成,其中，f代表了非线性的关系，有此函数关系的非线性系统均可以用神经网络来逼近。尽管如此，也不能简单地认为：N1能训练成f，N2能训练成g(u)。,用例说明，设N1是结构为120101的单输入单输出系统，取,训练用的输入信号是分布在2，2之间的随机信号。训练好以后，实际输出y与期望输出yq之间无多大的差别。,(3) 图 (c)，设 和 是当前点上取值的Jacobian矩阵矢量，它们能够在每一时刻求得，成为

13、以下线性差分方程的系数矩阵矢量,式中， 是n维矢量，系统传递函数W(z)仅对其后的产生延时作用。如果离散系统通过零阶保持器采样，W(z)至少有一步时延效应，使得W(z) 总只包括当前时刻前的 各值。按照差分方程能递推出各时刻的 值。,(4) 图 (d)，N1的 可用与图 (c)相同的线性差分方程计算出来，N2则有,仿真结果表明这种动态BP算法能使网络较好地跟踪期望输出。 动态反向传播算法比静态反向传播算法复杂得多，导致这种算法存在诸多缺点，其中突出的有两个缺点：一个是必须假设系统可以分成线性系统和非线性系统；另一个是需要已知线性系统的传递函数。,3.2.3 辨识系统中的非线性模型 神经网络作系

14、统辨识，主要用于非线性辨识和自适应。非线性系统在能控性、能观性、负反馈调节、状态观测器设计等方面，还没有成熟的做法，难度是非线性系统的辨识模型和控制模型不易选取。为此，用神经网络辨识非线性系统，必须作一些假设限制： (1) 被控对象具有能控能观性； (2) 对所有可能的输入控制量u，被控对象的输出y存在并有界； (3) 在辨识模型中的神经网络允许一个或几个，选用的结构同于被控对象；,(4) 辨识模型的基本结构为包含神经网络的串并联结构。 以上第(1)、(2)条限制是为了保证整个系统的稳定性及可辨性；第(3)条限制是为了方便选择模型，简化数学处理过程；第(4)条限制源于串并联结构有以下优点： 由

15、于被控对象的输出y存在并有界，那么串并联模型中所有用作辨识的信号均有界，使辨识模型易于稳定； 串并联模型无反馈网络，使从后向前的静态反向传播算法成为可能； 当辨识误差足够小时，不使用串并联结构，只使用并联结构也能有好的效果。,在上述四种假设限制下，能够写出常用的一些非线性典型模型，现举例如下： 第一种，这种模型的输出输入关系为,n=2，m=0时的并联结构和串并联结构如图4-6所示。,第二种，,第三种，,并联及串并联模型 (a) n=2，m=0时的并联模型；(b) n=2，m=0时的串并联模型,第四种， y(k+1)=f(y(k)，y(k1)，y(kn)，u(k)，u(k1)，u(km),3.3 非线性动态系统辨识 3.3.1 非线性动态系统的神经网络辨识 设非线性离散动态系统的状态方程为 X(k+1)=X(k)，U(k) Y(k)=X(k)，U(k) 式中，X，Y，U分别是系统的状态矩阵、输出矩阵和输入矩阵，并设 X(k)Rn，Y(k)Rp，U(k)Rm,设状态方程描述的系统满足以下三个条件： 第一条，定义U的取值范围组成的集合为Rm，则 U。若X(0)Rm，则对有限个M，系统是稳定的，表现为：X(M)+Y(M)。 第二条，函数和当Rn+mRn时连续且满足Lipschit