《第五讲估计量的优良性准则续培训资料》由会员分享，可在线阅读，更多相关《第五讲估计量的优良性准则续培训资料（49页珍藏版）》请在金锄头文库上搜索。
1、第五讲估计量的优良性准则（续）,一、一致最小方差无偏估计（续）,二、信息不等式,三、相合估计,一、一致最小方差无偏估计（续）,定理4.3(Lehmann-Scheffe),无偏估计，,UMVUE，,注：,Lehmann-Scheffe定理实际上给出了两,种寻找UMVUE的方法，,（1）,（2）,但首先必须知,即寻找完全充分统,计量的函数使之成为的无偏估计。,例4.5,样本。,解,首先求完全充分统计量。,由于,又,的函数，,例4.6,注：,解,由因子分解定理可知,它是充分统计量。,由于,下证它也是完全的。,这个只,又因为,UMVUE。,二、信息不等式,在上一节，我们知道如果UMVUE存在，,则它
2、在无偏估计类中是最好的，,且其方差不可,能是零，,不是无偏估计。,因为参数的方差为零的平凡估计,那么，现在的问题是：,对的无偏估计类，,（1）,既然无偏估计的方差不是零，,在一定的条件下，,一个下界，,则必存在,这个下界到底是多少？,（2）,若UMVUE存在，那么它的方差是否可以,达到这个下界？,问题（1）已由Cramer-Rao不等式（信息不,等式）揭示；,问题（2）不一定成立，,我们举例,予以阐述。,为了使问题简化，在这一小节中，我们仅讨,单参数和连续总体情况。,对多参数及离散总体,也有相应结论，可参看高等数理统计学,（茆诗松），或线性统计推断及应用,（C.R.Rao）。,（1）,（2）,
3、Cramer-Rao正则族：,分可交换次序，,即,当仅有（1）成立时，我们可以定义所谓的,Fisher信息量（FisherInformationNumber）,例4.7,设总体分布是Poisson分布族，,即,则,因而,可以证,明，,定理4.4(Cramer-RaoorInformationInequality),的统计量，,如果分布族是,Cramer-Rao正则族，,则对所,证明,由于对所有，,等式两边对求导可得,有,有,又因为对所有的，,等式两边对求导可得,即就是,这样就有,从而有,由SchwarzInequality,有,而,所以有,即就是,在信息不等式中，下界通过依赖于,因它是的数学期
4、望，,也就是说对,不同的统计量而言，下界是变化的。,如果将此,有,特别地，,有,通常称量为Cramer-Rao下界。,注意：（1）在以上三个不等式中,的密度函数或分布率。,通常将看成一次观察所能获得的关于,参数的信息，,即一个观测值所含的信息，,那么就表示样本所含的信息。,（2）,在将定理4.4应用于无偏估计类时，,一定要注意定理的条件是否满足。,Cramer,在1946年举例说明当定理的条件不满足时，,存在这样的无偏估计，,其方差小于信息不等,式的下界。,这个例子为：,取充分统计量作为参数的估计，,通过取其数学期望可获得参数的无偏估计为,则有,其具体证明过程课后自己完成。,对无偏估计类而言，
5、,了方差的下界，,那么UMVUE方差是否一定取,既然信息不等式给出,得这个下界？,我们用下述例子说明不一定。,例4.8,一个简单样本。,试求参数的UMVUE，,并,证明其方差大于信息不等式的下界。,解,由于,由定理4.2知完全充分统计量为，,所以,UMVUE为，,且服从。,而由,有,统计量的函数，,所以它是的UMVUE。,为了计算UMVUE的方差，,令,则,而,所以,这说明的UMVUE的方差未达到信息不等,式的下界。,信息不等式的下界，,即,例4.9,一个简单样本。,解,由于,从而,对任,有,所以,即,故,定义4.4,则族，,其方差达到信息不等式的下界，,如果存在某无偏估计,即,则称为的,定义
6、4.5,令,有效率(Efficiency)。,显然,因此，有效估计乃是有效率为1的无偏估计。,定义4.6,如果,都有,例如对证态总体，,我们知道是总,体方差的有偏估计，,且,这样有,定义4.7,如果存在无偏估,使得,成立，,则称为的,例如,由于,所以,即,而Cramer-Rao下界为,是有效估计。,但是,需要说明的是,当UMVUE的方差较大时，,方差小,的有偏估计也不失为一个好的估计。,三、相合估计,引例,假设掷一枚硬币，,出现正面的概率是，,出现反面的概率为。,为了估计正面出,现的概率，,做次独立重复试验，,即将硬币,反复掷次，,令,由大数定律知，,试验次数越多，,频率越,频,率稳定于（趋于
7、）概率。,接近于正面出现的概率，,时，,当样本容量变大,要求参数的估计量具有这种极限性质实际,上是对估计量的基本要求，,这就是下面要介绍,估计量的相合性(Consistency)准则。,定义4.8,任一估计序列，,一般情形下证明估计的相合性可使用定义或大,数定律。,即大样本性质，,当样本容量有限时是无意义的。,例4.10,相合估计。,的一个简单样本，,证明,由例4.6知的密度函数为,且,这样,下面的定理在证明估计的相合性时很有用。,定理4.5,相合估计。,且,证明,从而,这样,即就是,在Hardy-Weinberg模型中同位基因,之一发生频率的三个频率替换估计为,又因为相应的函数,且由大数定律
8、知,估计，,都是连续函数，,例如4.11,注：,（1）,这里仅介绍（弱）相合性(依概率收敛)，,还有强相合性(依概率1收敛或几乎必然收,敛)就不涉及。,（2）,相合性本身不能说明估计达到某一可靠度,时，要求样本容量至少为多少。,（3）,对同一参数而言，满足相合性的估计也许,有多个。,（4）,在一定的条件下，可以证明频率替换估计，,矩估计，极大似然估计都是相合估计。,对于(3)，当存在多个相合估计时，,关于它们,的优劣往往可通过比较其渐近分布的渐近方差,的大小来进行，,定义4.9,都有,对任意实数，,最常用的渐近分布是正态分布。,简记为,列，,的,注意：,因满,足,和,的任,意序列也能使定义的条件成立。,这说明渐近正态性并不能确定用,近似概率,达到某精度时样本容量必须至少是多少。,一般情形下，,可取,对频率替换估计，,其中,在Hardy-Weinberg模型中,例如4.12,都是相合估计，,频率替换估计,的三个,它们相应的函数为,究竟哪个最优呢？,正态分布的方差。,比较其渐近,从而有,其中,比较这三个渐近方差，,可知最小，,因此可,以认为是的较好估计，,实际上,是的MLE。,注：,在一定的条件下，可以证明矩估计，极,大似然估计也具有渐近正态性。,
