《CH3-1&2&3复习+3-4+3-5》由会员分享，可在线阅读，更多相关《CH3-1&2&3复习+3-4+3-5（70页珍藏版）》请在金锄头文库上搜索。
1、3 改进的最小二乘估计方法,当模型误差为相关噪声的情况下，如何改进最小二乘估计算法，使估计是无偏的。,本课程通常用 (k) 表示白噪声序列，用 e(k) 表示有色噪声序列。 一个平稳的 e(k)可视为以 (k) 为输入的一个线形系统的输出，该系统被称为“成型滤波器”。,有色噪声与白噪声的关系 e (k) = C(z-1) (k) C(z-1) e (k) = (k) C 与 C 的关系?,31广义最小二乘估计方法（GLS 法） Generalized Least Squares一、算法思路考虑两个方程联立的模型： A (z-1) y (k) = B (z-1) u (k) + e (k) 式（
2、3-2-1） 和 C (z-1) e (k) = (k) 式（3-2-2） e (k) 为有色噪声， (k) 为白噪声。,其中：A (z-1) = 1 + a1 z -1 + a n z n B (z-1) = b1 z -1 + b n z n C(z-1) = 1 + c1 z -1 + c r z r由式（3-2-1）和 式（3-2-2）有：A (z-1) C(z-1) y (k) = B (z -1) C(z -1) u (k) + (k) 式（3-2-3）,对 y (k) 和 u (k) 做如下变换： y (k) = C(z -1) y (k) 式（3-2-4） u (k) = C(
3、z -1) u (k) 式（3-2-5） 则模型成为： A (z -1) y (k) = B (z -1) u (k) + (k) 式（3-2-6）,讨论 ： a) 如果C(z-1)的参数c= c1 ,., cr T 已知,可由y(k)和u(k)用式（3-2-4) 和式（3-2-5）计算出 y(k) 和 u(k) ，再用LS 法得出 = a1,a n,b1,bn T ,可是 c 未知； b) 如果 已知，可由 式（3-2-1）计算出 (k) , 式（3-2-2) 为u (k) 0 的自回归 AR模型，也可利用 LS 法估计出c , 但是 未知。 GLS 法的思路是用迭代法 ，逐次逼近地估计出
4、和 c（松弛算法）。,二、GLS 算法: 由以下六步骤组成（1）先假设C0 (z-1) = 1 ，并置初值 0 = 0 ；（2）进行以下变换 y (k) = C(z-1) y (k) 和 u (k) = C(z-1) u (k) 计算出 y (k) 和 u (k) ；（3）由 y (k) 和 u (k) 用 LS 法估计出 1 ；, 1= T -1 T y 式（3-2-7）,其中：,（4）计算出 e (k) ,e (k) = y (k) - kT 1 ; k=1,N 式（3-2-8） k = -y (k-1) -y (k-n), u (k-1) u (k-n) T,（5）对 C(z-1) e
5、(k) = (k) 用LS法估计： c1 = c1 . cr T c1 = E T E -1 E T e 式（3-2-9）其中：,（6）用下式校验是否继续迭代，若需要继续则转 至步骤（2）再次估计。,式（3-2-10）, 足够小的正数,GLS法计算框图,五、GLS 法评价 有色干扰下估计精度较高； 迭代收敛较快，但是收敛性未得到证明； （有可能收敛在局部最优点） 能同时得到过程参数和噪声参数的估计； 计算量大，费机时。,GLS 法也有与之对应的 RGLS 法。,RGLS:,两个递推过程,1(k) :A, B ; 2(k):C新一轮数据: y(k+1), u(k)计算k+1* : (cy, cu
6、)递推计算1(k+1) : 利用RLS利用1(k+1)计算e(k+1) e (k+1) = y (k+1) - (k+1)T 1(k+1)4)递推计算2(k+1): 利用RLS RGLS与GLS不完全等价, 收敛性与信噪比?,32递推增广最小二乘法（增广矩阵法 RELS） 一、思路： 考虑 CARMA 模型 A (z-1) y (k) = B (z-1) u (k) + C (z-1) (k) 式（3- 3-1）其中： A (z-1) = 1 + a1 z- 1 + a n z- n B (z-1) = b1 z- 1 + b n z- n C (z-1) = 1 + c1 z- 1 + c
7、r z- r 还可表示为：,式（3- 3 -2）,其中：,以上两向量均由 2n 维扩展为 ( 2n+r ) 维。 在式（3- 3 -2）中若 ( k-1) ( k-r) 是已知量，则可直接用 LS 法估计出 ，但是 ( k) 是不可测的未知量。,一个简单可行的方法是用计算的 ( k-1) 代替( k-1) . ( k-r) 。 ( k) 由下式递推得出：(k) = y(k) - k k-1 (计算残差) 式（3- 3 3）其中： k = -y (k-1),., -y (k-n), u(k-1) ,., u(k-n) , (k-1) ,., (k-r) T, N+1 = N+ K N+1(y(N
8、+1) N+1T N) 式（3-3-4）,式（3-3-5）,式（3-3-6）,二、 递推算式,递推初值： 0= 0 ; P 0= 10 6 I ; (0) = (-1) = = (1-r) = 0, (N+1) = y(N) - N+1T N 式（337）N= -y(N-1),.,-y(N-n),u(N-1),u(N-n),(N-1),., (N-r) T 式（3-3-8）,讨论:收敛速度初值误差的原因, 3 3最小二乘方法的改进辅助变量法 （I V 法 Instrument Variable ） 辅助变量法是在模型误差为相关噪声的情况下，通过引进辅助变量矩阵，对线性最小二乘估计的一种改进。,
9、1参数的辅助变量估计,考虑模型,式（3- 3- 1）,其中：,当进行了 k = 1-n,2-n, 0,1,2, ,N 共计（N+n）次采样，得到 N 个方程,用矩阵表示成 ： y N = N + eN 式（3 -3- 2） 其中 e N = e (1), . , e(N) T,设（N T N ）满秩最小二乘估计为： LS =（ N T N）-1 N T y N,将过程模型式（3 -3-2）带入上式，得出： LS =（ N T N）-1 N T（N + e N）,式（3-3- 3）,有：,和,依据 Frechek 定理： 若随机序列 xK ，,则 f (xK) f ( ) 故有： LS + -1
10、 e 式（3 -1- 8）如果： 满秩，且e = 0 ，则 LS 为一致性无偏估计，如e 0 ，则 LS + 为有偏估计。,分析 e= E k e(k) ,k = -y(k-1),-y(k-n), u(k-1),u(k-n) T, 即 e 不仅依赖于e ( k )，也依赖于e ( k-1 )、e (k - 2) . ，如果 e (k) 是白噪声，e(k)与e(k-1)、e(k-2).不相关，则 e = 0， 如果 e (k) 是有色噪声, 则 e 0，, + ,问题：如何在有色噪声条件下得到无偏估计？,通过构造一个与 N 相似，但是能满足以下关系的矩阵Z N2n , 使得当N 时能满足,满秩
11、式（3-1- 9）,式（3 -1- 10）,则： IV =（Z N T N）-1 Z N T y N (无偏估计)其中： IV I V 估计；Z N I V 矩阵。,对应的,关键在于如何具体构造出辅助变量矩阵ZN 。人们已经得出几种不同的方案，要严格证明它们满足上述条件是很难的，但是在实际应用中已经取得很好的结果。,方案之一 用 LS 得出的模型, 计算输出量代替 中的实测输出, 组成 z kT 和 ZN , 即 ：z kT= -y(k-1),.,-y(k-n),u(k-1),u(k-n) 式（3-1-11） 其中：y(k)= z kT LS 式（3-1-12）对比： kT = -y (k-1) ,., - y(k-n) , u(k-1) , u(k-n),b) 由 LS 用式（2-3-12）计算出y(k) k=1,2,N 组成矩阵 Z N c) 计算 IV =（Z N T N）-1 Z N T y N 式（3-1-12）,2I V法的计算步骤 a) 先用 LS 法估计出 LS,3递推辅助变量算法（R I V 法） R I V 法是在 I V 法思路启发下得出的，它并不与 I V 法等价 。R I V 法由以下几个递推公式组成：,
