《各种最小二乘法汇总(算例及MATLAB程序)》由会员分享，可在线阅读，更多相关《各种最小二乘法汇总(算例及MATLAB程序)（44页珍藏版）》请在金锄头文库上搜索。
1、 各种最小二乘算法总结 盛晓婷 0908110618 盛晓婷 最小二乘算法总结报告 目录 1 一般最小二乘法 3 1 1 一次计算最小二乘算法 3 1 2 递推最小二乘算法 3 2 遗忘因子最小二乘算法 6 2 1 一次计算法 6 2 2 递推算法 6 3 限定记忆最小二乘递推算法 9 4 偏差补偿最小二乘法 11 5 增广最小二乘法 13 6 广义最小二乘法 15 7 辅助变量法 17 8 二步法 19 9 多级最小二乘法 21 10 Yule Walker辨识算法 23 Matlab程序附录 24 附录 1 最小二乘一次计算法 24 附录 2 最小二乘递推算法 25 附录 3 遗忘因子最小
2、二乘一次计算法 26 附录 4 遗忘因子最小二乘递推算法 27 附录 5 限定记忆最小二乘递推算法 29 附录 6 偏差补偿最小二乘递推算法 31 附录 7 增广最小二乘递推算法 32 1 盛晓婷 最小二乘算法总结报告 附录 8 广义最小二乘递推算法 34 附录 9 辅助变量法 36 附录 10 二步法 38 附录 11 多级最小二乘法 39 附录 12 Yule Walker辨识算法 42 图 1 一般最小二乘参数过渡过程 4 图 2 一般最小二乘方差变化过程 5 图 3 遗忘因子法参数过渡过程 7 图 4 遗忘因子法方差变化过程 8 图 5 限定记忆法参数过渡过程 10 图 6 限定记忆法
3、方差变化过程 10 图 7 偏差补偿最小二乘参数过渡过程 12 图 8 偏差补偿最小二乘方差变化过程 12 图 9 增广最小二乘辨识模型 13 图 10 增广最小二乘参数过渡过程 14 图 11 广义最小二乘参数过渡过程 16 图 12 广义最小二乘方差变化过程 16 图 13 辅助变量法参数过渡过程 18 图 14 辅助变量法方差变化过程 18 图 15 二步法参数过渡过程 20 图 16 二步法方差变化过程 20 2 盛晓婷 最小二乘算法总结报告 3 1 一般最小二乘法一般最小二乘法 例 1 考虑如下仿真对象 2 1 5 1 0 7 1 0 5 z kz kz ku ku kv k 其中
4、为服从分布的白噪声 输入信号采用 M 序列 幅度为 1 M 序列 由 9 级移位寄存器产生 v k 0 1 N u k 49iii xxx 选择如下的辨识模型 1212 2 1 1 z ka z ka z kbu kb u kv k 观测数据长度取400L 加权阵取I 1 1 一次计算最小二乘算法一次计算最小二乘算法 1 2 1 1 2 1 4916 0 7005 1 0364 0 4268 TT LS LLLL a a H HH Z b b 3 4 402 L Z Z Z Z 3 2 1 2 1 3 2 3 2 4 401 400 401 400 402 T T L T hZZuu ZZuu
5、h H ZZuu h 1 1 其中 Matlab程序见附录 1 1 2 递推最小二乘算法递推最小二乘算法 递推最小二乘算法公式 1 1 1 1 1 1 kkK kz kh kk K kP kh k h k P kh k k P kIK k h k P k 1 1 2 盛晓婷 最小二乘算法总结报告 4 初始条件 1 2 1 2 3 3 0 3 3 a a b b 4 4 0 100 PI 经过编程计算 各个参数的估计值为 1 2 1 2 1 4976 0 6802 1 0284 0 3341 LS a a b b 1 3 Matlab程序见附录 2 05010015020025030035040
6、0450 2 1 5 1 0 5 0 0 5 1 1 5 2 2 5 3 待估参数过渡过程 b1 a2 b2 a1 图 1 一般最小二乘参数过渡过程 盛晓婷 最小二乘算法总结报告 5 050100150200250300350400450 0 10 20 30 40 50 60 70 80 90 100 估计方差变化过程 图 2 一般最小二乘方差变化过程 盛晓婷 最小二乘算法总结报告 6 2 遗忘因子最小二乘算法遗忘因子最小二乘算法 采用的辨识模型与例 1相同 2 1 一次计算法一次计算法 1 2 1 1 2 1 4990 0 7060 0 8260 0 4919 TT LS LLLL a a
7、 HHHZ b b 1 1111 2 2222 3 2 1 2 1 4 3 2 3 2 401 400 401 400 402 LT LLLL LT LLLL L T hZZuu hZZuu H ZZuuh 2 1 其中 1 2 3 4 402 L L L Z Z Z Z 衰减因子0 98 数据长度 402L Matlab程序见附录 3 2 2 递推算法递推算法 遗忘因子递推最小二乘算法公式 1 1 1 1 1 1 kkK kz kh kk K kP kh k h k P kh k P kIK k h k P k 1 2 2 盛晓婷 最小二乘算法总结报告 7 1其中 0 为遗忘因子 此处取0
8、98 数据长度L 402 初始条件 1 2 1 2 0 001 0 001 0 0 001 0 001 a a b b 4 4 0 10 PI 经过编程计算 各个参数的估计值为 1 2 1 2 1 4852 0 6720 1 0734 0 4387 LS a a b b 2 3 Matlab程序见附录 4 050100150200250300350400450 2 1 5 1 0 5 0 0 5 1 1 5 2 待 估 参 数 过 渡 过 程 b1 a2 b2 a1 图 3 遗忘因子法参数过渡过程 盛晓婷 最小二乘算法总结报告 8 050100150200250300350400450 0 1
9、 2 3 4 5 6 7 8 9 10 估 计 方 差 变 化 过 程 图 4 遗忘因子法方差变化过程 盛晓婷 最小二乘算法总结报告 9 3 限定记忆最小二乘递推算法限定记忆最小二乘递推算法 辨识模型与例 1相同 限定记忆最小二乘算法 1 1 1 1 kkLk kLK kkL z kLh kLk kL 1 1 1 1 1 1 K kkLP k kL h kLh kLP k kL h kL 1 1 k kLk kLK k kL z kLh kLk kL 1 1 1 1 K k kLP k kLh kLh kL P k kLh kL 1 P k kLIK k kL h kL P k kL 1 2
10、1 2 3 3 0 3 3 a a b b 4 4 0 100 PI 1 1 1 P kkLIK kkL h kLP k kL 3 1 初始条件 经过编程计算 各个参数的估计值为 1 2 1 2 1 4858 0 6788 0 9431 0 6777 LS a a b b 3 2 Matlab程序见附录 5 盛晓婷 最小二乘算法总结报告 10 050100150200250300350400 2 1 5 1 0 5 0 0 5 1 1 5 2 待 估 参 数 过 渡 过 程 b1 a2 b2 a1 图 5 限定记忆法参数过渡过程 050100150200250300350400 0 0 02
11、0 04 0 06 0 08 0 1 0 12 0 14 0 16 0 18 0 2 估 计 方 差 变 化 过 程 图 6 限定记忆法方差变化过程 盛晓婷 最小二乘算法总结报告 11 4 偏差补偿最小二乘法偏差补偿最小二乘法 辨识模型与例 1相同 偏差补偿最小二乘递推算法如下 1 1 LSLSLSkkK kz kh kk 1 1 1 1 K kP kh kh k P kh k 1 P kIK k h k P k 2 1 1 1 1 LSz kh kk J kJ k h k P kh k 4 1 2 1 1 w cLS J k k kkD k 2 1 cLSwckkkk P k Dk 1 2
12、1 2 3 3 0 3 3 a a b b 4 4 0 100 PI 0 00 a b n n I D 数据长度 L 402 初始条件 偏差补偿初始值为 2 3 0 1 3 5 c 经过编程计算 各个参数的估计值为 1 2 1 2 1 5066 0 7113 0 9332 0 5312 LS a a b b 4 2 Matlab程序见附录 6 盛晓婷 最小二乘算法总结报告 12 050100150200250300350400450 2 1 5 1 0 5 0 0 5 1 1 5 2 2 5 3 待估参数过渡过程 b1 a2 b2 a1 图 7 偏差补偿最小二乘参数过渡过程 050100150
13、200250300350400450 0 10 20 30 40 50 60 70 80 90 100 估计方差变化过程 图 8 偏差补偿最小二乘方差变化过程 盛晓婷 最小二乘算法总结报告 13 5 增广最小二乘法增广最小二乘法 例 2 考虑如下仿真对象 2 1 5 1 0 7 1 0 5 1 0 2 z kz kz ku ku kv kv k 其中 为服从分布的白噪声 输入信号采用 M 序列 幅度为 1 M 序列 由 9 级移位寄存器产生 v k 0 1 N u k 49iii xxx 12 12 1 00 5 1 1 50 7 zz zz 12 12 0 2 1 1 50 7 zz zz
14、v k M k z k 图 9 增广最小二乘辨识模型 选择如下的辨识模型 121212 2 1 1 1 z ka z ka z kbu kb u kd v kd v k 观测数据长度取402L 加权阵取I 1 1 kkK kz kh kk 1 1 1 1 K kP kh k h k P kh k 解答 增广最小二乘递推算法 1 P kIK k h k P k 121212 T aabbdd 5 1 其中 1 2 1 2 1 2 T h kz kz ku ku kv kv k 仿真初始条件 121212 0 3 3 3 3 3 3 T T aabbdd 6 6 0 100 PI 经过计算 得到各
15、个参数的估计值 121212 1 4999 0 7000 1 0001 0 5002 0 9999 0 2000 T T aabbdd 盛晓婷 最小二乘算法总结报告 14 Matlab程序见附录 7 050100150200250300350400450 2 1 0 1 2 3 4 5 待 估 参 数 过 渡 过 程 d1 a1 d2 b2 a2 b1 图 10 增广最小二乘参数过渡过程 盛晓婷 最小二乘算法总结报告 15 6 广义最小二乘法广义最小二乘法 例 模型结构选用 1212 12 1 2 1 2 1 2 z ka z ka z kbu kb u ke k e kc e kc e kv
16、 k 其中 各个参数的真值为 1 1 5a 1 0 7a 1 1b 2 0 5b 1 0c 2 0c 解答 广义最小二乘算法 1 1 fff kkKkzkhkk 1 1 1 1 ffffff KkP khkhk P khk 1 ffff P kIKk hk P k 6 1 1 1 eee ee kkK k e kh kk 1 1 1 1 eeeeee K kP kh kh k P kh k 1 eeee P kIK k h k P k 1 2 1 2 3 3 0 3 3 a a b b 4 4 0 100 PI 仿真初始条件 初始条件 1 2 0 5 0 0 3 e c c 1 2 1 2 1 2 1 5120 0 7218 1 0319 0 5374 0 0097 0 0197 a a b b c c 2 2 0 10 e PI 经过计算 各个参数的估计值为 6 2 Matlab程序见附录 8 盛晓婷 最小二乘算法总结报告 16 050100150200250300350400 2 1 5 1 0 5 0 0 5 1 1 5 2 2 5 3 待 估 参 数 过 渡 过 程 b1 a2
