《第五章参量估计》由会员分享，可在线阅读，更多相关《第五章参量估计（26页珍藏版）》请在金锄头文库上搜索。
1、第五章 参数估计信号估计(Estimations )理论：在受噪声干扰的观测信号中，由观察估计信号的某些参数(如幅值、频率、延迟时 间等)的问题，即为参数估计问题。参数估计问题包括参数估计问题和波形估计问题， 其数学基础：分别为统计估计理论、滤波理论。 估计理论研究的对象是随机现象。估计理论根据受到噪声污染的观测数据来估计随 机变量和随机过程的一种数学运算。包括参数估计和波形估计理论： 参量估计被估计的量是随机变量(静态估计) 波形估计被估计的量是随机过程(动态估计) 若接收某一判决假设为真，但与信号有关的某个参量是未知的。那么，参量估计的目的 就是：在有限个信号观测样值中，以最佳方式估计该参
2、量。5.1 概述 数理统计中由随机信号的一组样本估计信号的统计特征，如均值、方差、均方、相 关函数、功率谱等，是一种简单而常见的参数估计。在数理统计中，均值、均方和方差的估计是按照定义，用有限个样本采用直接估计 法来估计。具体方法例如：均值定义：E (x) = lim 送xN f T i1均方定义：E (x 2) = lim 为x 2N f N i=i ，1方差定义：Var(x) = lim 送xNN . =i 均值估计：m二丄为xx N ii=1 均方估计：D =-送X2x Ni=1 i1-E(x)2 方差估计：Var(x)= 送x - E(x)2 N i=1i式中xi为观察样本。这里的参数
3、估计问题应为：从含有噪声的观察中估计信号的参数。设观察x=xi，x2，.,xN为随机变量s的独立同分布的N个观测样值， x=s(a)+n ,。为信号的参数，而心严才你)是用来估计参量a的观测样值函数 a统计量)，称：a二/(叫叫叫)为参量a的估计量。的均值即为E =E f(x1,x2,.,xN) 。a要求通过一定的估计算法，使得为按某一判据的a的最优估计值，比如使得估计误差均方最小为最小均方误差估计。5.1.1 估计算法分类 估计算法分为两类：非线性估计和线性估计。一、 非线性估计已知待估参数的先验概率p(a)和条件先验概率p(xla)，依据某 些最优判据，通过非线性数理统计算法估计参数，得出
4、a的估计值a ；随机参量一其特性用概率密度来表征一贝叶斯估计非随机参量一仅为一般的未知量一最大似然估计 非线性估计方法经典，计算复杂，估计质量较好，但是要求先验概率知识。二、线性估计在估计参数 a 为观察值 x 的线性函数，基于最小均方误差准则进 行估计。前提条件：估计a必须是观察值x的线性函数。线性估计方法计算简便，只要求一、二阶统计知识，故先验知识要求低，估计质量 较差，近年来发展较快。5.1.2 估计准则和估计质量的评价评价估计质量的有关术语有：1、估计偏差b 二 Ea - a无偏估计一一如果待估计参数a和它的估计值a的均值e( a)相等，即 E( a )=a，就称为无偏估计，否则称为有
5、偏估计。2、估计方差：表示各次估计值相对于估计值的均值的分散程度，估计方差越小， 各次估计值就越集中于估计值均值附近。b 2 二 EaE(a)2a3、估计值的均方误差D =b 2 + b 2 二 E(a a)2 a a a估计偏差越小，则各次估计值的均值接近于真实值，但并不能保证每次估计值都接 近于真实值，而且各次估计值可能分布很分散；而估计方差很小，表明估计值都接近于 均值，即 分布很集中，但并不能保证均值 E( )接近于真实值，也就是不能保证各 个 集中分布于真实值 a 附近。因此，只有估计偏差和估计方差同时趋于0，才能保证该次估计得到足够准确的估 计值。实际上，常常将估计偏差和方差结合起
6、来的综合量表示估计质量的好坏，即估计 值的均方误差。4、一致估计：如果随着样本数目的增加，估计的均方误差趋于0,即要求当Nf+ 时，偏差和方差都趋于 0，则称此估计为一致估计，即：lim E(a - a)2 = 0N -+a5、有效估计： 由某一种估计方法得出的估计值的方差小于其它任何估计方法得出 的方差，则称该估计为有效估计。即：Ea -E(a)2 0，对所有的s G A，s丘 对应于每个s E 和C(s，s) = ,在A中有一个最小的s。风险函数(Risk func tiOn定义为代价函数的均值，即： R = EC(s, s)贝叶斯估计一使风险函数最小的估计。入由于估计误差s =s -s决
7、定估计问题中估计质量的好坏，所以，通常仅对估计值与入入真实值之差s = s 一 s感兴趣。若考虑误差函数的代价，这时C可定义为(s 一 s)的单变量函数，有下列三种情况：(a)平方误差 C(s，s)=(s - s)2(b)绝对值误差C (s, s)二s - s(c) 均匀代价函数C(s,s)1, s一s A0，s - s c(e;e)c(e;e)c(e?e)Asquare estimation)其风险函数为：C =fgfg(s s )2 p (s, x) dsdx1 1 A 0 A62(c) 2由于c是s一s的函数，而食又是观察值x的函数，所以c就是x和s的联合函数,所以有：c = f g f
8、 g cp (s, x) dsdxg g用后验概率函数表示为：cp (s | x)ds p(x)dx令：R f g cp(s I x)ds ， R称为条件风险函数。g 下面针对三种代价函数分三种情况探讨估计准则：情况(a):平方误差情况下，风险函数最小的估计量称为最小均方估计(minimum meang g由于：p(s,x) = p(s I x)p(x).则风险函数为：c = f g f g (s 一 )2p(s I x)dsp(x)dx.g gp(x)$O故Rms最小即等效为上式括号内项最小。d入上式内项对佥求导，故有石匸(s 一盯p( s I x) ds 0则有：由于2 r (s s) p
9、( s I x) ds gf g p ( s I x) ds1 故sMSg f g sp (s I x)ds E(s I x). g此即为最小均方估值sMS，表示已知x时，s的条件均值。 情况(b)：绝对值误差情况下，风险函数为：s s p (s I x) ds p (x) dx.c = fg fgg g上式括号 内项为：R = fs(s s)p(s I x)ds+fg(s 一s)p(s I x)ds.八sabs小小。于是s I可则有:故Rms最小即等效为上式括号内项最ABS 估计应取在后验概率密度函数面积入的平分线上，即估值sabs为条件概率密度函数的中值(median)。称为后验中值估计情
10、况(c)：均匀代价函数Ap(x) 1 J + 2 p(s I x)ds dx.As1-2 gc =f g fs 2 p(s I x)ds + f g p(s I x)dsp(x)dx = f g 入Ag gs+上式 号中的后面一项：.a八A八AI s+ 2 p(s I x) = p(s - s s + _ I x)ds.s-A222当此式最大，即p(sIx)最大时，平均代价Runf最小。此时sMAp尔为最大后验估值(Maximum a Posteriori) 。取对数，则有：即满足畔d ln p (s I x)dsSSMAPs SMAP最后，将三种情况估计式中后验概率密度函数借助于贝叶斯公式用
11、先验概率代替得到:ABS 估计为：Isabs p(s) p(x I s)ds =p(s)p(x I s)ds.-gsabsMAP 估计为：d ln p(s I x)dsMS 估计为：sMSd ln p(s)d ln p(x I s)dsdss=smapS=SMAPi rIJg sp (s) p(x I s)ds = _j p(x)-gIsp (s) p(x I s)dsp(s)p(x I s)ds-g5.2.2 极大似然估计 (Maximum Likelihood Estimation-MLE)设xx2,., xN为随机变量x的独立同分布的N个观测样值，p(x|e)为x的依赖参量0分 布密度函
12、数，参量0为待估计的量。则似然函数为：L)= p(x ,xx 0) = p(x|0)1 2Ni=11估计准则：选取使似然函数L(0)为最大的於作为0的估计量，称为0的最大似然估计。L (0)最大等效ln L(0)最大。要求0的最大似然估计於，必需解似然方程：daup(x U) = 0.由于对数函数的单调性，取对数似然函数进行估计，则有：Lnp (x U) = 0.此式为必要条件，而不是充分条件。例5.1在假设斗和H0下，接收信号为：H1:Zk=m+vK, k=1,2,.NH0:Zk= vK, k=1,2,.NA当常数m为未知时，求m的最大似然估计m Ml。 解：用前面的检测理论是判决那个假设为
13、真。其均本节的估计理论，H假设为真，vK为高斯噪声。本例中，参量估计炉=m ML，值为 m,独立同分布，似然函数为：r (z - m)kp( zlm)=打_1_ exp k=1 何0 I2a 2丿L 2a n eX-m)2、k2a 2丿k=1两边取对数得：1Lnp( Zm) = Ln 厶I(2兀N/2a Nk=1解此似然方程，可得最大似然估计：z Nmk 02 a 2 k=1dLnp(z|m)=牙2 -m 牙dma 2k=1=N (送 z m) = 0a 2 N kk=1于是可得最大似然估计为：1N工zML = N kk=15.2.3 估计量的性质 Cramer-Rao 下限设x1,x2,.,xN为随机变量x的独立同分布的N个观测样值，p（xl0）为x的依赖参量3分布密度函数，且E於=3，则有Cramer-Rao下限Var 何=E(e-eLnp( x| e)5.1)满足此式等号成立的估计称为最小方
