《(精品)系统辨识最小二乘法大作业.doc》由会员分享，可在线阅读，更多相关《(精品)系统辨识最小二乘法大作业.doc（19页珍藏版）》请在金锄头文库上搜索。
1、系统辨识大作业最小二乘法及其相关估值方法应用学院：自动化学院专业：信息工程学号：2007302171姓名：马志强日期：2010.11.14基于最小二乘法的多种系统辨识方法研究1. 最小二乘法的引出在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。设单输入-单输出线性定长系统的差分方程为xk+a1xk-1+ank-n=b0uk+bnuk-n，k=1，2，3，(5.1.1)式中: uk为随机干扰；xk为理论上的输出值。xk只有通过观测才能得到，在观测过程中往往附加有随机干扰。xk的观测值yk可表示为yk=xk+nk(5.1.2)式中: nk为随机干扰。由式(5.1.2)得xk=yk-nk(5.
2、1.3)将式(5.1.3)带入式(5.1.1)得yk+a1yk-1+anyk-n=b0uk+b1uk-1+bnuk-n+nk+i=1nai(k-i)(5.1.4)我们可能不知道nk的统计特性，在这种情况下，往往把nk看做均值为0的白噪声。设(k)=n(k)+i=1nai(k-i)(5.1.5)则式(5.1.4)可写成yk=-a1yk-1-a2yk-2-anyk-n+b0uk+b1uk-1+bnuk-n+(k)(5.1.6)在观测uk时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。因此假定(k)不仅包含了xk的测量误差，而且包含了uk的测量误差和系统内部噪声。假定(k)是不相关随机序列
3、(实际上(k)是相关随机序列)。现分别测出n+N个随机输入值y1，y2，yn+N，u1，u2，u(n+N)，则可写成N个方程，即yn+1=-a1yn-a2yn-1-any1+b0un+1+b1un+bnu1+(n+1)yn+2=-a1yn+1-a2yn-any2+b0un+2+b1un+1+bnu2+(n+2)yn+N=-a1yn+N-1-a2yn+N-2-anyN+b0un+N+b1un+N-1+bnuN+(n+N)上述N个方程可写成向量-矩阵形式y(n+1)y(n+2)y(n+N)=-y(n)-y(n+1)-y(1)u(n+1)u(1)-y(2)u(n+2)u(2) -y(n+N-1)-y
4、(N)u(n+N)u(N)a1anb0bn+(n+1)(n+2)(n+3)(5.1.7)设y=y(n+1)y(n+2)y(n+N)，=a1anb0bn，=(n+1)(n+2)(n+N)=-y(n)-y(n+1)-y(1)u(n+1)u(1)-y(2)u(n+2)u(2) -y(n+N-1)-y(N)u(n+N)u(N)则式(5.1.7)可写为y=+(5.1.8)式中：y为N维输出向量；为N维噪声向量；为(2n+1)维参数向量；为N(2n+1)测量矩阵。因此式(5.1.8)是一个含有(2n+1)个未知参数，由N个方程组成的联立方程组。如果N2n+1，方程数少于未知数数目，则方程组的解是不定的，不
5、能唯一地确定参数向量。如果N=2n+1，方程组正好与未知数数目相等，当噪声=0时，就能准确地解出=-1y(5.1.9)如果噪声0，则=-1y-1(5.1.10)从上式可以看出噪声对参数估计是有影响的，为了尽量较小噪声对估值的影响。在给定输出向量y和测量矩阵的条件下求系统参数的估值，这就是系统辨识问题。可用最小二乘法来求的估值，以下讨论最小二乘法估计。2. 最小二乘法估计算法设表示 的最优估值，y表示 y的最优估值，则有y=(5.1.11)y=y(n+1)y(n+2)y(n+N)，=a1anb0bn写出式(5.1.11)的某一行，则有yk=-a1yk-1-a2yk-2-anyk-n+b0uk+b
6、1uk-1+bnuk-n+k=-i=1naiy(k-i)+i=0nbiu(k-i)，k=n+1，n+2，n+N(5.1.12)设e(k)表示y(k)与y(k)之差，即ek= yk-yk=yk-yk=yki=1naiyk-i+i=0nbiuk-i=1+a1z-1+anz-nyk-b0+b1z-1+bnz-nuk=az-1yk-bz-1uk，k=n+1，n+2，n+N(5.1.13)式中az-1=1+a1z-1+anz-nbz-1=b0+b1z-1+bnz-nek成为残差。把k=n+1，n+2，n+N分别代入式(5.1.13)可得残差en+1，en+2，en+N。设e=en+1en+2en+NT则
7、有ek= y-y=y-(5.1.14)最小二乘估计要求残差的平方和为最小，即按照指数函数J= eTe=(y-)T(y-)(5.1.15)为最小来确定估值。求J对的偏导数并令其等于0可得J=-2Ty-=0(5.1.16)T=Ty(5.1.17)由式(5.1.17)可得的最小二乘估计=(T)-1T y(5.1.18)3.递推最小二乘法为了实现实时控制，必须采用递推算法，这种辨识方法主要用于在线辨识。设已获得的观测数据长度为N，将式(5.1.8)中的y和分别用YN，N，N来代替，即YN=N+N(5.3.1)用N表示 的最小二乘估计，则N=(NTN)-1NT YN(5.3.2)设PN=（NTN）-1(
8、5.3.5)于是N=PNNTYN(5.3.6)如果再获得1组新的观测值un+N+1和y(n+N+1)，则又增加1个方程yN+1=N+1T+N+1(5.3.7)式中yN+1=yn+N+1，N+1=(n+N+1)N+1T=-yn+N -yN+1 un+N+1 u(N+1)将式(5.3.1)和式(5.3.7)合并，并写成分块矩阵形式，可得YNyN+1=NN+1T +NN+1(5.3.8)根据上式可得到新的参数估值N+1=NN+1TTNN+1T-1NN+1TTYNyN+1=PN+1NN+1TTYNyN+1=PN+1(NTYN+N+1yN+1)(5.3.9)式中PN+1=NN+1TTNN+1T-1=（N
9、TN+N+1N+1T）-1根据矩阵求逆引理可以求得递推最小二乘法辨识公式N+1=N+KN+1(yN+1-N+1TN)(5.3.19)KN+1=PN+1N+1(1+N+1TPNN+1)-1(5.3.20)PN+1=PN-PNN+1(1+N+1TPNN+1)-1N+1TPN(5.3.21)由于进行递推计算需要给出N和PN初值P0和0，通过计算证明，可以取初值：0=0，P0=c2I，c是充分大的常数，I为2n+1(2n+1)单位矩阵，则经过若干次递推之后能够得到较好的参数估计。3. 辅助变量法辅助变量法是一种可克服最小二乘有偏估计的一种方法，对于原辨识方程y=+(5.4.1)当(k)是不相关随机序列
10、时，最小二乘法可以得到参数向量的一致无偏估计。但是，在实际应用中(k)往往是相关随机序列。假定存在着一个(2n+1)N的矩阵Z满足约束条件limN1NZT=0limN1NZT=Q(5.4.2)式中Q是非奇异的。用ZT乘以式(5.4.1)等号两边得ZTy=ZT+ZT (5.4.3)由上式得=(ZT)-1ZTy-(ZT)-1ZT(5.4.4)如果取IV=(ZT)-1ZTy(5.4.5)作为估值，则称IV为辅助变量估值，矩阵Z成为辅助变量矩阵，Z中的元素称为辅助变量。常用的辅助变量法有递推辅助变量参数估计法，自适应滤波法，纯滞后等。4. 广义最小二乘法广义最小二乘法是能克服最小二乘法有偏估计的另一种
11、方法，这种方法计算比较复杂但效果比较好。下面直接介绍广义最小二乘法的计算步骤：(1)应用得到的输入和输出数据u(k)和yk(k=1，2，3，n+N)，按模型az-1yk=bz-1uk+k求出 的最小二乘估计(1)=a1(1)an(1)b0(1)bn(1)(2)计算残差e1(k)e1k=a(1)z-1yk-b(1)z-1uk(3)用残差e1k代替 k，计算f(1)=(1)T(1)-1(1)Te1(4)计算y1(k)和u1(k)y1k=yk+f11yk-1+fm1y(k-m)u1k=uk+f11uk-1+fm1u(k-m)(5)应用得到的y1(k)和u1(k)按模型az-1y1k=bz-1u1k+
12、(k)用最小二乘法重新估计，得到的第2次估值(2)。然后按步骤(2)计算残差e2(k)，按步骤(3)重新估计f，得到估值f 2。再按照步骤(4)计算y2(k)和u2k，按照步骤(5)求的第3次估值(3)。重复上述循环，之道的估值(i)收敛为止。5. 一种交替的广义最小二乘法求解技术(夏式法)这种方法是夏天长提出来的，又称夏式法。以上讨论过的广义最小二乘法的特点在于系统的输入和输出信号反复过滤。一下介绍的夏式法是一种交替的广义最小二乘法求解技术，它不需要数据反复过滤，因而计算效率较高。这种方法可消去最小二乘估计中的偏差，而且由这种方法导出的计算方法也比较简单。基于以上的几种方法，有y=+=f+(5.7.1)因而有y=+f+=f+(5.7.2)应用最小二乘法可得到参数估值f=TT-1TTy(
