《小二乘估计课件》由会员分享,可在线阅读,更多相关《小二乘估计课件(24页珍藏版)》请在金锄头文库上搜索。
1、最小二乘估计最小二乘估计 Least Squares Estimate Least Squares Estimate20102010年年5 5月月小二乘估计最小二乘估计1、概述2、线性最小二乘估计3、线性最小二乘加权估计4、线性最小二乘递推估计5、单参量的线性最小二乘估计小二乘估计1、概述最小二乘估计起源于1795年,当时高斯运用这种估计方法研究行星运动。最小二乘估计不需要任何先验知识,只需估计量的观测信号模型。平均估值方法是最小二乘估计的一个特例。小二乘估计最小二乘估计方法设被估计量信号模型为 ,因为存在观测噪声或者信号模型不精确性,设受到扰动的 记为 如果进行N次观测,的估计值设为求达到最
2、小。我们把这种估计称为最小二乘估计。(5.8.1)小二乘估计2、线性最小二乘估计(1)估计量的构造规则 若被估计矢量是M维的,线性观测方程为:其中,第k次观测矢量与 同次的观测噪声矢量 同维,但是每个 的维数不一定是相同的,其维数分别记为 ;第k次的观测矩阵 为 。如果把全部L次观测矢量 合成一个维数为 的矢量:(5.8.3)小二乘估计相应的定义NM观测矩阵H和N维观测噪声矢量n如下:小二乘估计这样,线性观测方程(5.8.3)写成:使(5.8.5)式中 达到最小,这就是线性最小二乘估计量的构造规则。(2)估计量的构造公式为了使(5.8.5)式中 达到最小,根据构造规则,有:小二乘估计即所求的的
3、最小二乘估计误差为 。(3)估计量的性质a.估计矢量是观测矢量的线性函数b.如果观测噪声矢量N的均值为零,则线性最小二乘估矢量是无偏的。小二乘估计因为,如果E(n)=0,则:所以,是 无偏估计量。c. 如果观测噪声矢量n的均值矢量为零,协方差矩阵为 ,则线性最小二乘估计矢量的均方误差阵为:小二乘估计例:根据以下对二维矢量的两次观测:求出的线性最小二乘估计矢量。 解:解:由两次观测方程,可得矩阵形式观测方程为:小二乘估计利用线性最小二乘矢量的构造公式,得:小二乘估计3、线性最小二乘加权估计假定观测噪声矢量n的均值矢量和协方差矩阵为: 线性最小而成加权估计的性能指标是使其中W为加权矩阵。将(5.8
4、.11)式求偏导,令结果等于零,得到线性最小二乘加权估计矢量和估计误差为:小二乘估计线性最小二乘加权估计矢量的主要性质:a.估计矢量是观测矢量的线性函数;b.如果观测噪声矢量n的均值矢量E(n)=0,则估计矢量是无偏估计量;c.如果观测噪声矢量n的均值矢量E(n)=0,协方差矩阵则估计误差矢量的均方误差阵为:小二乘估计当 时,W才能使均方误差阵取最小值,证明推导过程如下(其中A和B分别为任意两个矩阵):小二乘估计例:用电表对电压进行两次测量,测量结果分别为216V和220V。观测方程为:其中,观测噪声矢量的均值矢量和协方差矩阵分别为:求电压的最小二乘估计量和最小二乘加权估计量。小二乘估计解:解
5、:非加权估计时,电压的最小二乘估计量和估计量的均方误差分别为:小二乘估计采用加权估计,加权矩阵取最佳加权矩阵,即:可见,线性最小二乘加权估计量的均方误差小于非加权估计量的均方误差。小二乘估计4、线性最小二乘递推估计 使用前面两种估计,主要存在两个问题。一是没进行一次观测,需要利用过去的全部观测数据重新进行计算,比较麻烦;而是估计量的计算中需要完成矩阵求逆,这样如果碰到高阶矩阵的话求逆比较有难度,因此我们寻求到了一种递推算法,即利用前一次的估计结果和本次的观测量,通过适当计算,就能获得当前的估计量,这种方法就是线性最小二乘递推估计。具体推算如下:设第k-1次的线性观测方程为:小二乘估计为了强调进
6、行了k-1次观测,采用如下记号:小二乘估计小二乘估计求出上述 、 和 后,得到第一个递推公式,再利用第一次的观察矢量 ,由:求出 和 。同样,从第二次观测开始进行递推估计。也可以令其中c1.这样从第一次观测就开始进行递推估计。虽然开始误差较大,但是如果 较大,则增益矩阵 较大,于是经过若干次递推估计后,初始值不准确的影响会逐渐消失,从而获得满意的递推估计结果。小二乘估计5、单参量的线性最小二乘估计 如果被估计量是单参量,线性观测方程为:如果观测噪声 满足条件则有以下的简明最小二乘估计量构造公式:小二乘估计而估计量的均方误差为当 时,的最小二乘估计退化为平均值估计,估计量和均方误差分别为:而上述两式就是平均值估计。小二乘估计Thank you!小二乘估计