《信号检测与估计理论(3)第三章 克拉美-罗下限》由会员分享，可在线阅读，更多相关《信号检测与估计理论(3)第三章 克拉美-罗下限（57页珍藏版）》请在金锄头文库上搜索。
1、第三章第三章第三章第三章 克拉美克拉美克拉美克拉美- - - -罗下界（罗下界（罗下界（罗下界（CRLBCRLBCRLBCRLB） 授课教师授课教师授课教师授课教师 : : : : 王菊王菊王菊王菊 北京理工大学雷达技术研究所北京理工大学雷达技术研究所北京理工大学雷达技术研究所北京理工大学雷达技术研究所 在实际应用中，知道参量的所有无偏估计下界是在实际应用中，知道参量的所有无偏估计下界是 极其有用的，它表现在如下几方面：极其有用的，它表现在如下几方面： 1 1、如果一个估计量对未知参量的所有可能值其方差、如果一个估计量对未知参量的所有可能值其方差 均等于这个界限，那么可以断言这个估计量就是均等
2、于这个界限，那么可以断言这个估计量就是 MVUMVU估计。估计。 2 2、下界提供了比较无偏估计性能好坏的一个基准。、下界提供了比较无偏估计性能好坏的一个基准。 3 3、不可能找到方差小于、不可能找到方差小于CRLBCRLB的无偏估计。的无偏估计。 4 4、可以确定是否存在方差等于、可以确定是否存在方差等于CRLBCRLB的估计。的估计。 基于上述原因，这一章我们集中讨论基于上述原因，这一章我们集中讨论CRLBCRLB。 3.1 3.1 3.1 3.1 估计的准确性估计的准确性估计的准确性估计的准确性 ? ? 在学习在学习CRLBCRLB理论之前，首先我们来讨论影响估计理论之前，首先我们来讨论
3、影响估计 参量准确性的因素。由于所有信息都包含在观测参量准确性的因素。由于所有信息都包含在观测 数据和这些数据下的数据和这些数据下的PDFPDF中，因此估计的准确性直中，因此估计的准确性直 接取决于这个接取决于这个PDFPDF。 ? ? 如果如果PDFPDF与待估计参量的关系很弱，我们不可能期与待估计参量的关系很弱，我们不可能期 望得到高精度的参量估计。望得到高精度的参量估计。 ? ? 待估计参量对待估计参量对PDFPDF影响越强，所得到的参数估计就影响越强，所得到的参数估计就 越准确。越准确。 3.1 3.1 3.1 3.1 估计的准确性估计的准确性估计的准确性估计的准确性 ? ? 例例例例
4、3 3 3 3- - - -1 PDF1 PDF1 PDF1 PDF与未知参量的依赖关系与未知参量的依赖关系与未知参量的依赖关系与未知参量的依赖关系 如果单个观测值如果单个观测值 作为作为A A的估计，这里的估计，这里服从正态分布服从正态分布，那么，那么， 若若很小，则期望得到一个较好的估计。很小，则期望得到一个较好的估计。 是一个无偏估计，且方差为是一个无偏估计，且方差为，因此，随，因此，随 着着的减少，估计的准确性得到提高。的减少，估计的准确性得到提高。 2 00xAw=+ 0w 2 (0,)N 2 0Ax= 2 对于对于2 2个不同方差的个不同方差的PDFPDF，它们是给定，它们是给定
5、x x 00下的关下的关 于于 A A 的函数。的函数。 i=(1 2)i=(1 2) (3(3- -1)1) 如果如果则基于则基于的估计应该更准确。的估计应该更准确。 2 2 2 11 ( 0;)exp( 0) 2 2 i i i p xAxA = 22 12 44几乎不可能，几乎不可能， A A 的可能取值范围为的可能取值范围为3 3 3 3 =2=2，4 4。 图图3 3- -1 1（b b）中）中PDFPDF与与 A A 的依赖关系较弱，的依赖关系较弱， A A 的可能取值范围为的可能取值范围为0 0，6 6，比图，比图 3 3- -1 1（a a）范围宽。）范围宽。 1 3.1 3.
6、1 3.1 3.1 估计的准确性估计的准确性估计的准确性估计的准确性 ? ? 对于给定的对于给定的x x，PDFPDF看作未知参量的函数时，看作未知参量的函数时，PDFPDF称为似然函称为似然函 数。图数。图3 3- -1 1中可以看出似然函数的锐度（中可以看出似然函数的锐度（sharpnesssharpness）决定着估）决定着估 计的精度。计的精度。 ? ? 为了证明这一点，用峰值处的为了证明这一点，用峰值处的2 2阶导数的负数来有效地测量这阶导数的负数来有效地测量这 个锐度。这就是似然函数的曲率。我们考虑图个锐度。这就是似然函数的曲率。我们考虑图3 3- -1 1中的中的PDFPDF的自
7、的自 然对数然对数 其一阶导数其一阶导数 (3(3- -2)2) 2 2 1 ln( 0;)ln2( 0) 2 p xAxA = 2 ln( 0; )1 ( 0) p xA xA A = 3.1 3.1 3.1 3.1 估计的准确性估计的准确性估计的准确性估计的准确性 二阶导数的负数二阶导数的负数 (3(3- -3)3) 显然曲率随着显然曲率随着的减少而增加。前面已经知道的减少而增加。前面已经知道 的方差为的方差为，因此因此 (3(3- -4)4) 2 2 22 ln( 0;)1p xA A = 2 2 1 var( ) ln( 0;) A p xA A = 0Ax= 2 3.1 3.1 3.
8、1 3.1 估计的准确性估计的准确性估计的准确性估计的准确性 即方差随着曲率的增加而减少。尽管这里的二阶导数与即方差随着曲率的增加而减少。尽管这里的二阶导数与 x x 00无关，但通常是有关的。因此，曲率的更合适的测量应该无关，但通常是有关的。因此，曲率的更合适的测量应该 是似然函数取自然对数后的是似然函数取自然对数后的平均曲率平均曲率（即数学期望）（即数学期望） (3(3- -5) 5) 与与有关，仅是有关，仅是A A的函数。上式值越大，估计量的方差的函数。上式值越大，估计量的方差 就越小。就越小。 2 2 ln( 0;)p xA E A ( 0; )p xA 3.2 3.2 3.2 3.2
9、 克拉美克拉美克拉美克拉美- - - -罗下界（罗下界（罗下界（罗下界（CRLBCRLBCRLBCRLB） ? ? 定理定理定理定理3 3 3 3- - - -1 1 1 1（标量形式的（标量形式的CRLBCRLB）假设）假设PDF PDF 对对 所有可能的所有可能的满足满足“ “正则正则” ”条件条件 那么任何无偏估计那么任何无偏估计的方差一定满足的方差一定满足 (3(3- -6)6) ln( ;) 0 p E = x ( ; )px 2 2 1 var( ) ln( ;)p E x 3.2 3.2 3.2 3.2 克拉美克拉美克拉美克拉美- - - -罗下界（罗下界（罗下界（罗下界（CRL
10、BCRLBCRLBCRLB） 这里导数值是真值这里导数值是真值下的值。对所有可能下的值。对所有可能 的的，对于，对于某个函数某个函数 g g 和和 I I ，当且仅当当且仅当 (3(3- -7)7) 则估计量则估计量是是MVUMVU估计，其方差为估计，其方差为1/1/ I I ( )( )是是 CRLBCRLB。 ln( ; ) ( )( ( ) p Ig = x x ( )g=x 3.2 3.2 3.2 3.2 克拉美克拉美克拉美克拉美- - - -罗下界（罗下界（罗下界（罗下界（CRLBCRLBCRLBCRLB） ? ? 例例例例3 3 3 3- - - -2 2 2 2 例例例例3 3
11、3 3- - - -1 1 1 1的的的的CRLBCRLBCRLBCRLB 考虑例考虑例3 3- -1 1，根据式（，根据式（3 3- -3 3）和式（）和式（3 3- -6 6）对于所有可能的）对于所有可能的 A A 所以可以确定不存在任何方差小于所以可以确定不存在任何方差小于的无偏估计。事实上，的无偏估计。事实上， 如果，如果，那么对于所有可能的那么对于所有可能的 A A ，则，则。由于。由于 是无偏估计，且方差等于是无偏估计，且方差等于CRLBCRLB，所以，所以一定是一定是MVUMVU估计。估计。 另外，我们还可以根据式（另外，我们还可以根据式（3 3- -7 7）来确定）来确定是是M
12、VUMVU估计。估计。 观察式（观察式（3 3- -2 2），令），令 则式（则式（3 3- -2 2）满足式（）满足式（3 3- -7 7），因此，），因此，是是MVUMVU估估 计，计，是是CRLBCRLB。 2 var( )A 2 0Ax= 2 var( )A= A A= 2 1 ( )I = ( 0)0g xx= A A ( 0)0Ag xx= )(1) var( 2 IA= )(1) var( 2 IA= 3.2 3.2 3.2 3.2 克拉美克拉美克拉美克拉美- - - -罗下界（罗下界（罗下界（罗下界（CRLBCRLBCRLBCRLB） 例例例例3.33.33.33.3高斯白噪声
13、（高斯白噪声（高斯白噪声（高斯白噪声（WGNWGNWGNWGN）中直流量的）中直流量的）中直流量的）中直流量的CRLBCRLBCRLBCRLB 考虑多个观测值：考虑多个观测值： 这里这里是方差为是方差为的的WGNWGN。（由于。（由于是独立样本，因此是独立样本，因此 似然函数是似然函数是N N个一维高斯密度函数的连乘）个一维高斯密度函数的连乘） x nAw n=+ 0,1,1nN= w n 2 x n 3.2 3.2 3.2 3.2 克拉美克拉美克拉美克拉美- - - -罗下界（罗下界（罗下界（罗下界（CRLBCRLBCRLBCRLB） 我们知道我们知道A A的似然函数的似然函数 一阶偏导一阶
14、偏导 1 2 2 2 0 11 ( ; )exp( ) 2 2 N n pAx nA = = x () 1 2 2 02 2 11 exp( ) 2 2 N N n x nA = = 1 22 2 2 0 ln( ; )1 ln(2)( ) 2 N N n pA x nA AA = = x 1 2 0 1 ( ) N n x nA = = 2 () N xA = (3 8) 3.2 3.2 3.2 3.2 克拉美克拉美克拉美克拉美- - - -罗下界（罗下界（罗下界（罗下界（CRLBCRLBCRLBCRLB） 这里这里是样本均值。再求偏导是样本均值。再求偏导 是一常数。根据式（是一常数。根据式
15、（3 3- -6 6）得）得 （3 3- -9 9） 比较式（比较式（3 3- -7 7）和（）和（3 3- -8 8），我们可以看出样本均值估计可获），我们可以看出样本均值估计可获 得得CRLBCRLB，因此是，因此是MVUMVU估计。估计。 在下面的例子中我们将看到不满足在下面的例子中我们将看到不满足CRLBCRLB的估计。的估计。 x 2 22 ln( ; )pAN A = x 2 var( )A N 3.2 3.2 3.2 3.2 克拉美克拉美克拉美克拉美- - - -罗下界（罗下界（罗下界（罗下界（CRLBCRLBCRLBCRLB） ? ? 例例3 3- -4 4相位估计相位估计相位估计相位估计 假设正弦信号受到假设正弦信号受到WGNWGN的干扰，幅值和频率已知，根据观测的干扰，幅值和频率已知，根据观测 值值 估计相位估计相位。已知似然函数。已知似然函数 0
