《建模与辨识基础 选修 课件 第四章 系统辨识的最小二乘法》由会员分享，可在线阅读，更多相关《建模与辨识基础 选修 课件 第四章 系统辨识的最小二乘法（71页珍藏版）》请在金锄头文库上搜索。
1、第四章系统辨识的最小二乘法 4 0 一种经 据处理 1795年 高d K F Guass 3预 1 和彗 轨迹 J 际 用 未知量 大可能 值 样一个值 各次 际 观 和计 值之间 值 平 以 量其精 值以后 和为 高d A 计 理简单 I要 机C量 计A5 可 以离 计 也可以3 4 可用于 模 估计 也可进1 模 估计 3经 E 中 关E 频域E 可以从 绎 4 与卡 曼滤 有X一 联X Ch4 X E 4 0 2 S容0 1o E 4 1 估计 i 4 1 1 O n i 4 1 2 O 4 2 估计 计A5 4 3 估计 4 4 4O广 估计 4 5广义 估计 4 6辅助C量 Ch4
2、X E 4 0 3 4 1 1 n 过一个例f 估计 基 理 4 1 3一 件e 某种物质 9X 与温 t之间可 近q 为有Xe 直 关X t t I要E 为 和 从理论 讲 X果 量没有误 那么只要 两 量值 就能E I Ch4 X E 4 1 O4 4 1 Y 际 量中o会带有 机误 记 量值为 故 改 为 ti ti ei t i 1 2 l 4 1 Y X何估计 和 过 验 一 观 据 ti ti i 1 l J 价IO 和 值能 观 值和由模 计 值之间 误 各次观 误 可L 为 ei t ti ti ti ti 整个观 过 误 由各次观 误 用每 个误 平 和 为o误 J l XX
3、X i 1 e2 i t l XXX i 1 ti ti 2 J为OK函 或 为5能函 54 1 LS 由于平 也 因此 种估计 为 估计 Least Squares LS 要 J达 极 值 只I O 和 O求偏 令 们 于零 即 J 2 l P i 1 ti ti 0 J 2 l P i 1 ti ti ti 0 l P i 1 ti l l P i 1 ti l P i 1 t2 i l P i 1 ti l P i 1 ti ti l P i 1 t2 i l P i 1 ti l P i 1 ti l P i 1 ti ti l l P i 1 t2 i l P i 1 ti 2 l
4、l P i 1 ti ti l P i 1 ti l P i 1 ti l l P i 1 t2 i l P i 1 ti 2 Ch4 X E 4 1 O8 4 1 2 LS 节内N介 1 LS问K 描 2 LS问K 求解 3 加 LS 4 Markov LS Ch4 X E 4 1 O9 1 LS K e SISOX 一般 CX A5可用Xe 描 y k n XXX i 1 aiy k i n XXX i 0 biu k i e k 1 其中u k 为 y k 为 e k 为 机D E 过 即为3 据 u k y k 情况 e 求a1 an b0 bn共2n 1个估计值 Ch4 X E 4
5、1 O10 54 2 为 B 3 引起歧义 情况e 以e将 u k y k e k 记为uk yk ek 将 1 矩阵 yk T k ek 2 其中 k col yk 1 yk 2 yk n uk uk n col a1a2 an b0b1 bn Ch4 X E 4 1 O11 e2进1l次 即令k n 1 n l yn 1 yn l T n 1 T n l en 1 en l 即 Y E 3 其中 yn y1un 1un u1 yn 1 y2un 2un 1 u2 yn l 1 ylun lun l 1 ul Ch4 X E 4 1 O12 问K 化为利用已知S列 uk yk 极 化 J n
6、 l XXX k n 1 e2 k n l XXX k n 1 y k Tk 2 4 J min 估计值记为 为 O Ch4 X E 4 1 O13 2 LS X O 用 L 估计值 col a1 a2 an b0 b1 bn K yk T k ek e有l 据 K可拟合 此 模 为 Y E 5 其中 E en 1 en l 里 ei yi T i en iL 1i 据中 观 值与 估计 模 计 值之间 偏 为 Residual 为一 机C量 析 由 3 和 5 E E 6 54 3 6 L明 由两 一 估计带来 拟合误 一 机D 带来 误 E 我们 目I 一个 估计值 各 平 和 即 J l
7、 XXX k 1 en k 2 ET E Y T Y min 7 J 为 函 或 函 或目I函 Ch4 X E 4 1 O15 求解优化问K 7 e矩阵 T 奇异 K 估计公 LS T 1 TY 8 54 4 d 4 获 一批 据后 利用 8 可一次求 估计值 样处理问K 为 g 或1 n 54 5 LS D 5 3 估计过 中 没有考虑 D S列 5质 即无论D 白D 或其 均 立 D 5质会影 估计 计A5 Ch4 X E 4 1 O16 4 2 一SISOX uk与 yk满v关X yk b0uk b1uk 1 验获 一批 据XeL 利用 批处理 模 b0和b1 k1234567 uk1
8、11 21 31 21 11 00 9 yk0 8411 1601 3781 3541 2991 0811 015 解 过 据k 3 4可 估计值 b0 b1 0 6664 0 4264 Ch4 X E 4 1 O17 4 2 Y eL列 了 观 据 估计值 k b0 b1 3 40 66640 4264 3 4 50 53050 5727 3 4 5 60 67420 4198 3 4 5 6 70 69180 4014 0 70 4 54 6 为了J高 估计精 降 D 影 从 计 观 考虑 观 o次 l应 大于待 未知 目 个 Ch4 X E 4 1 O18 4 3 根据9力 理 给 质量
9、 气N N积V与 力P之 间 关X为PV 其中 和 为待 经 验 获 Xe一批 据XeL V 单位为立 英寸 P 单位为帕每平 英寸 利用 一次完 和 V54 361 872 488 7118 6194 0 P61 249 537 628 419 210 1 Ch4 X E 4 1 O19 4 4 用批处理LSE XeX 其中 用MS列 X 假 具有Xe yk 2 XXX i 1 aiyk i 2 XXX i 0 biuk i 值 为 a1 0 1 a2 0 2 b0 1 b1 0 5 b2 0 2 Ch4 X E 4 1 O20 3 WLS 3有 情况e 各次观 据 于 估计 来 价值 未7
10、 为此 计 中用一个 值来 L 观 据 之为 Jw l XXX k 1 wk en k 2 ETW E Y T W Y 9 其中W为一个 角正 矩阵 W w1 w2 wl Ch4 X E 4 1 O21 按 普 理来 OK函 Jw 为 X 估计值 Jw 2 TW Y 10 令 于零 e TW 奇异 K加 估 计值为 WLS T W 1 TWY 11 54 7 LS WLS A e 中W Il 即 有 观 据具有 价值 加 估计 WLS即为 估计 LS Ch4 X E 4 1 O22 54 8 W J X果有理由 为y 刻 据 过 刻 据可靠 那 么y 刻 加 值就要大于过 刻 加 值 X wk
11、 l k 0 1 ek 1K l 1 1 e k l wk 1 就Ny了 刻 据给予 g Ch4 X E 4 1 O23 4 Morkov LS Morkov O 3 结果 没有考虑D E A5 3一 件e e考虑D A5 可根据其 W进1 佳 J 即Xe介 Markov估计 e干6 E 均值为零 即E n E o 0或E E 0 其 矩阵R E 或RE可L 为 R E RE E EET E en 1en 1 E en 1en l E en len 1 E en Nen l R Ch4 X E 4 1 O24 e 值矩阵 W R 1 K 应 OK函 为 Jw Y T R 1 Y 12 e TR
12、 1 奇异 K3 种情况e加 LS估计值为 MLS T R 1 1 TR 1 Y 13 54 9 Morkov O O MLS中 用D 矩阵 逆 为 值 WLS 为Morkov估计 MLS估计具有较好 计A5 其为一 估计 I要了解 D 计A5 Ch4 X E 4 1 O25 4 2 O OA5 n种 估计 LS T 1 TY WLS T W 1 TWY MLS T R 1 1 TR 1 Y 3 估计 中 由于 和Y均具有 机5 K 估计量 LS WLS以及 MLS也 机 量 一般 可用 OA5来衡量 优良 和 可 节介 无偏5 有 5 Ch4 X E 4 2 O OA526 O 5 义4 1
13、 无偏估计 一个估计量 为 O e其 期望 于 值 即 E 其中 为 值 54 10 5 5 O 7 由于 估计 机C量 用 样 y 可以 估计值 e O 估计值3达 稳 3 值附近 Ch4 X E 4 2 O OA527 n4 1 LS X果D 量E 各 量均值为零 且和矩阵 计 立 K 估计值 LS 无偏估计量 即 E n LS o 54 11 WLS O 类q 可以 X果E 均值为零 和 计 立 K加 估计量 WLS也为无偏估计 例4 2理解无偏5 To Example 4 2 Ch4 X E 4 2 O OA528 54 12 kk D SISOX LS O 含有有 D SISOE X
14、 意 Xe 见文z 1 pp 58 60 1 棣u 5X E g A 6 2003 Ch4 X E 4 2 O OA529 O 5 4 2 k 5 Effi ciency 和 无偏估计 O为 2 和 2 e 2 Cov eMLS 结论 证明过 见 1 p72 1 o 5X E 6 IY Y 2006 Ch4 X E 4 2 O OA532 54 14 eD E 各 量 且 互 立 均值为零 且 2 E 2 E K LS估计 和Morkov估计 均为 估计 K RE R E E EET E n E ET o 2 EIl O代 16 和 18 Cov eLS Cov eMLS 2 E T 1 Ch
15、4 X E 4 2 O OA533 4 34 批处理LS LS WLS RLS 3应用中存3一 1 能用于3 E 2 观 据 E 精 高 T 阶 往往 较大 从 大大O加了计 量和存储 据 空间 3 每O加一个观 值 I用重 计 T 1 解决问K 办 将 估计公 化为4 k 1 k 正值 正值 具有 么样 k介 一个引理 n4 1 A Rn n B Rn m C Rm n 矩阵A A BC I CA 1B均为 奇异矩阵 K A BC 1 A 1 A 1B I CA 1B 1 CA 1 Ch4 X E 4 3 4 35 4 O ReLS e已有k 观 据 X 量 记为 Yk k ek 19 其中
16、 Yk y n 1 y n k k T n 1 T n k ek e n 1 e n k col a1a2 an b0b1 bn 解为 k T k k 1 T kYk 20 Ch4 X E 4 3 4 36 记Pk T k k 1 K k Pk T kYk 21 e2O加一 据 u n k 1 y n k 1 记为 uk 1 yk 1 K Yk 1 k 1 ek 1 22 其中 Yk 1 Yk yk 1 k 1 k T k 1 Ch4 X E 4 3 4 37 由 22 估计值 k 1 Pk 1 T k 1Yk 1 23 其中 Pk 1 T k 1 k 1 1 I P k k 1 Tk 1 1 Pk 24 令I A Pk k 1 B T k 1 C 由引理4 1 Pk 1 Pk Kk 1 T k 1Pk 25 其中 Kk 1 Pk k 1 1 T k 1Pk k 1 Ch4 X E 4 3 4 38 将 25 代 23 k 1 P k Kk 1 Tk 1Pk T k k 1 Yk yk 1 k Kk 1 T k 1 k Pk k 1yk 1 Kk 1 T k 1Pk k 1yk 1 k
