《最小二乘法在系统辨识中的应用(包含相关的三种算法)》由会员分享，可在线阅读，更多相关《最小二乘法在系统辨识中的应用(包含相关的三种算法)（16页珍藏版）》请在金锄头文库上搜索。
1、最小二乘法在系统辨识中的应用（包含相关的三种算法）2008级硕士研究生系统建模理论试卷 已知一个三阶线性离散系统的输入、输出数据，共有40个釆样值，试分别用：最小二乘法（LS）、递推最小二乘法（RLS）、广义最小二乘法（GLS）进行参数估计，给出相应的数学模型，并阐述相应的辨识原理。k12345678910 u(k)0. 82510. 09880. 4628-0. 91682. 23250.07772.3654 0.34761. 1473-1.9035 y(k)1.5333-1. 06801. 0666-0.5284-0.58353. 1471-3.71856.2149-6.30267. 27
2、05k11121314151617181920 u(k)-0.92291. 6400-0.84100. 7599-0. 4739-0.1784-1. 7760-1. 67221.2959-0.0591y(k) -9. 05528.1735-590043. 9870-2.24860. 9525-0. 5325 -1.52270.42001.0786 k21222324252627282930 u(k)-1.0576-1. 00711. 1342-0. 07400.67590. 52210. 99540. 5271 -1. 76560. 4936 v(k) T. 55790.6640-1.4222
3、2. 6444-2. 95723.6340-3.12813.8334 -3.25421. 1568 k31323334353637383940 u(k) 1.4810 0.9591 -3. 1293 -0. 3604 -0.4251 0.4185 -0. 6728 -0. 0027 2. 1145 1. 1157 y(k) 0. 0615 0.9120 -0.0692 -3.27313. 74864. 31944. 7230-5. 27815. 1507 -2. 7235一、最小二乘法(LS) 1、数学模型 设时不变SIS0动态过程的 数学模型为)()()()()(llknkuzBkzzA(1
4、.1.1) 其中，)(ku为过程的输入量，)(kz为过程的输出量，)(kn 是噪声，多项式)(1 zA和)(1 zB为：b bblnbnnnzzzzBzaz2azlazAbaa 2122111) (1)( 在本 题中，a n =bn =3.即 b b b 1)3322113322111(1)(zzzzBzazazazA将此模型写成最小二乘格式)()()(knkkz h(1.1.2) 其中，)(kz是过程的输出量；)(k h是可观测的数据向 量；)(kn是均值为零的随机噪声。式中k, D13O,2(),10,30,2(),1() (321321bbbaaakukukukzkzkzkh 对于 L
5、, 2 , 1, 方程式(1.1.2) 构成一个线性方程组， 可以把它写成)3() 20 1() 3() 2() 1(0) 0 (u) 1 (u0) 0 (z) 1 (zOO) 0 (u00) 0 (z) 0 2 () 1 ()(, ),2 (n), 1(n)(,), 2(z), 1（z lulululzlzlzllnnlzzlllhhhh （1.1.3） 利用数据序列）（kz和）（kh , 极小化准则函数 k LkkzJ12） （） （D （h （1. 1.4） 使 min） （ J 的估计值 记作，称为参数的最小二乘估计值。通过极小化（1. 1.4）式来计算的方法称作最小二乘法， 未知 模
6、型参数最可能的值是在实际观测值与计算值之累次误差的平方和 达到最小处所得到的，这种模型输出能最好地接近实际过程的输出。2、辨识原理考虑模型（1.1.2）式的辨识问题，其中）（kz和）（kh都是可观测的数据， 是待估计参数，准则函数取（1.1.4） 根据（1.1.3）的定义， 准则函数）（J可写成二次型的形 式）（）（）（HzHzllllJ（1.2. 1） 显然上式中的H1代表模型的输出，或者说是过程的输出预报值。因此）（J可以看作来衡量模型输出与实际过程输出的接近情况。 极小化）（J, 求得参数 的估计值llllz HHH1）（1. 2.2） 将使模型的输出最好的预报过程的输出。3、辨识结果0
7、. 00000. 00000. 00000. 00000. 00001. 0000- 321321 bbbaaa二、递推最小二乘法（RLS） 1、数学模型 在第一部分中建立了最小二乘法，并用一次完成算法进行了计算。但是由于具体使用时占用 内存量大，而且不能用于在线辨识。 所以引入了最小二乘参数估计的递推算法。递推算法的基本思想可以概括成：新的估计值)(k二老的估计值)1( k +修正项(2.1.1) 在此算法中，时不变SISO动态过程的数学模型仍与最 小二乘法的一样。模型的最小二乘格式也相同，只是计算方法不同，具体计算方 法，在递推最小二乘法的辨识原理中描述。2、 辨识原理首先将1.2.2式一
8、次完成算法写 成)i()( )i() (D ( ) (1111 i ilUlllllziizIzhhhHPHHH(2.2.1)定义i k1111111)()()1() () 0 (kkkikki ikPi ikPHHhhHHhh(2.2.2) 其中：)0 2 0 1 (kk hhhH , ) 10 2 0 1 (lkk hhhH 由(2.2.2)式可得：)0 01 () () () () () (llllkkkkkiikk i hhPhhhhP(2.2.3) 令：)1(),2 (z), 1 (zl kzk z 贝ij：)i() 0：10 01(1111111 ikkkkkzikkhPzHHH
9、于 是有i111) () ()1()KkizikkhPz利用(2. 2. 3) 和(2.2.4) 令 )k(),2 (z), 1 (zzk(2.2.4 ) 式， 可得 )1() ()()()()1()() 01 ()ik1 03 0 0 ()()() 0 1 ()( )10 ()() Odin kkzkkkkzkkkkkkkzkkkkzikkkkkkkhhphhhPPhPPhPzHHH(2. 2. 5 )引进增益矩阵)(kK , 定义为)0 0 (kkkhPK(2.2. 6 )贝ij ( 2.2.5 ) 式写成)1()()()()1() (kkkzkkkhK(2.2.7) 进一步把(2.2.3
10、 ) 式写成 11) 0 01() (kkkk hhPP(2.2.8) 为了避免矩阵求逆运算，利用矩阵反演公式可将(2.2.8)式 演 变 成)1()()()()()1() (11kkkkkkkPhKIhhPP(2.2.9) 将(2.2.9) 式代入(2. 2.6)式，整理后有 1 1)0 10 0 01() ( kkkkkkhPhhPK(2.2. 10) 综合(2.2.7)、(2. 2. 9)、(2. 2. 10)式便得到最小二乘参数估计递推算法。)1 0 0 0 L01 0 (kkkzkkkhK)1 () 0 ()() 0 1 () (11kkkkkkkPhKIhhPP11) 0 1 0
11、0 0 1 0 ( kkkkkkhPhhPK利用上述公式即可求得参数 的估计值3 、 辨识结果0. 0001-0. 0005-0. 00000. 0002-0. 0007-1. 0005-321321 bbbaaa三、广义最小二乘法(GLS) 1、数学模型设时不变 SIS0 动态过程的数学模型为）（）（1） 0 （） 0 （11 lkvzCkuzBkzzA（ 3. 1. 1 ） 其中，）（ku和）（kz分别表示过程的输入和输出，）（kv是均值为零的 不相关随机噪声，多项式）（1 ZA、）（1 zB和）（1 zC为：cbaanncnbnnnzczczczCzbzbzbzBzazazazA2211
12、122111221111） （） （1）（ 在本题中，在本题中，a n =bn =c n二3.即 广 义最小二乘发的基本思想是基于对数据先进行一次滤波预处理，然 后利用普通最小二乘法对滤波后的数据进行辨识。21 b b b ）33211332211133221111）（1）（zczczczCzzzzBzazazazA（3. 1.2 ）2、 辨识原理 由（3. 1. 1 ） 式可得）（）（）（）（）（）（）（illlkvkuzCzBkzzCzA（3. 2. 1） 令）（）（）（）0 （） （llkuzCkukzzCkzff,（3.2.2）及,）30,20,10,30,2（）,1 （D （3213
13、21 bbbaaakukukukzkzkzkfffffffh （ 3. 2. 3 ） 可将模型 （3. 1. 1 ） 式化成最小二乘格式）（）（）（kvkkzff h （3. 2. 4） 由于上式）（kv是白噪声，所以利用最小二乘法即可获 得参数的无偏估计。但是，数据向量）（kfh中的变量均需要按照（3.2.2）式计算, 然而噪声模型)(1 zC并不知道。为此需要用迭代的方法来估计)(1 zCo令 )()(lz) (lkvCke( 3. 2.5 ) 置,2 k ,) ()3(),2(), 1(D (31ccckekekekeeh(3. 2. 6) 就把噪声模型(3.2.5)也化成最小二乘格式)
14、()()(kvkkeee h 由于上式的噪声已是白噪声，所 以再次利用最小二乘法可获得噪声模型参数e的无偏估计。但是， 数据向量)(ke h依然包含着不可测得噪声量)3 0,20,1( kekeke , 它可用相应的估计值代替，置)3(e),2(e),l(e)(kkkke h(3.2.7)其中 0,0) ( ekk ,当 0 k 时，按照式了 ) 0() 0 ( ekkhkzk计算，式子中)3(),2(),1(),3(),2(),1()(kukukukzkzkzkh 综上分析，广义最小二乘递推算法可归纳成:)110 0 ()() 1 0(kkkzkkkfffhK)0 0 () (kkkkffffPhKIP11) 0 10 0： 0()(kkkkkkffffffhPhhPK)310 0(e)()()(kkkkkkeeeeehK)()0 () (kkkkeeeePhKIP11) 0 10 ()()()(kkkkkkeeeeeehPhhPK利用上述公式即可求得参数11111的估计值并能求出噪声模型的估计。123123 T
