《各种最小二乘算法总结.pdf》由会员分享，可在线阅读，更多相关《各种最小二乘算法总结.pdf（44页珍藏版）》请在金锄头文库上搜索。
1、 各种最小二乘算法总结 盛晓婷 0908110618 盛晓婷 最小二乘算法总结报告 目录 1. 一般最小二乘法 .3 1.1. 一次计算最小二乘算法 .3 1.2. 递推最小二乘算法 .3 2. 遗忘因子最小二乘算法 .6 2.1. 一次计算法 .6 2.2. 递推算法.6 3. 限定记忆最小二乘递推算法 .9 4. 偏差补偿最小二乘法 .11 5. 增广最小二乘法 .13 6. 广义最小二乘法 .15 7. 辅助变量法 .17 8. 二步法 .19 9. 多级最小二乘法 .21 10. Yule-Walker辨识算法.23 Matlab程序附录.24 附录 1、最小二乘一次计算法 .24 附
2、录 2、最小二乘递推算法 .25 附录 3、遗忘因子最小二乘一次计算法 .26 附录 4、遗忘因子最小二乘递推算法 .27 附录 5、限定记忆最小二乘递推算法 .29 附录 6、偏差补偿最小二乘递推算法 .31 附录 7、增广最小二乘递推算法 .32 1 盛晓婷 最小二乘算法总结报告 附录 8、广义最小二乘递推算法 .34 附录 9、辅助变量法 .36 附录 10、二步法.38 附录 11、多级最小二乘法.39 附录 12、Yule-Walker辨识算法.42 图 1 一般最小二乘参数过渡过程 .4 图 2 一般最小二乘方差变化过程 .5 图 3 遗忘因子法参数过渡过程 .7 图 4 遗忘因子
3、法方差变化过程 .8 图 5 限定记忆法参数过渡过程 .10 图 6 限定记忆法方差变化过程 .10 图 7 偏差补偿最小二乘参数过渡过程.12 图 8 偏差补偿最小二乘方差变化过程.12 图 9 增广最小二乘辨识模型 .13 图 10 增广最小二乘参数过渡过程 .14 图 11 广义最小二乘参数过渡过程 .16 图 12 广义最小二乘方差变化过程 .16 图 13 辅助变量法参数过渡过程 .18 图 14 辅助变量法方差变化过程 .18 图 15 二步法参数过渡过程 .20 图 16 二步法方差变化过程 .20 2 盛晓婷 最小二乘算法总结报告 3 1. 一般最小二乘法一般最小二乘法 例 1
4、 考虑如下仿真对象 (2) 1.5 (1)0.7 ( )(1)0.5 ( )( )z kz kz ku ku kv k+=+ 其中，为服从分布的白噪声。输入信号采用 M 序列，幅度为 1。M 序列 由 9 级移位寄存器产生， ( )v k(0,1)N( )u k 49iii xxx =。 选择如下的辨识模型 1212 (2)(1)( )(1)( )(z ka z ka z kbu kb u kv k+= +) 观测数据长度取400L =。加权阵取I =。 1.1. 一次计算最小二乘算法一次计算最小二乘算法 1 2 1 1 2 -1.4916 0.7005 () 1.0364 0.4268 TT
5、 LS LLLL a a H HH Z b b = (3) (4) . (402) L Z Z Z Z = (3)(2)(1)(2)(1) (3)(2)(3)(2)(4) . (401)(400)(401)(400) (402) T T L T hZZuu ZZuuh H ZZuu h = (1.1) 其中， Matlab程序见附录 1。 1.2. 递推最小二乘算法递推最小二乘算法 递推最小二乘算法公式： ( )(1)( ) ( )( ) (1) 1 ( )(1) ( ) ( ) (1) ( ) ( ) ( )( ) ( ) (1) kkK kz kh kk K kP kh k h k P k
6、h k k P kIK k h k P k 1 =+ =+ = (1.2) 盛晓婷 最小二乘算法总结报告 4 初始条件, 1 2 1 2 3 3 (0) 3 3 a a b b = 4 4 (0)100*PI =。 经过编程计算，各个参数的估计值为 1 2 1 2 -1.4976 0.6802 1.0284 0.3341 LS a a b b = (1.3) Matlab程序见附录 2。 050100150200250300350400450 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3 待估参数过渡过程 b1 a2 b2 a1 图 1 一般最小二乘参数过渡过程 盛晓婷 最小二乘算法总结报告 5 050100150200250300350400450 0 10 20 30 40 50 60 70 80 90 100 估计方差变化过程 图 2 一般最小二乘方差变化过程 盛晓婷 最小二乘算法总结报告 6 2. 遗忘因子最小二乘算法遗忘因子最小二乘算法 采用的辨识模型与例 1相同。 2.1. 一次计算法一次计算法 1 2 *1* 1 2 -1.4990 0.7060
