《估计量的优良性准则续》由会员分享，可在线阅读，更多相关《估计量的优良性准则续（49页珍藏版）》请在金锄头文库上搜索。
1、第五讲第五讲 估计量的优良性准则（续）估计量的优良性准则（续）一、一致最小方差无偏估计（续）一、一致最小方差无偏估计（续）二、信息不等式二、信息不等式三、相合估计三、相合估计一、一致最小方差无偏估计（续）一、一致最小方差无偏估计（续）定理定理4.3(Lehmann-Scheffe)无偏估计，无偏估计，UMVUE，注：注： Lehmann-Scheffe定理实际上给出了两定理实际上给出了两种寻找种寻找UMVUE的方法，的方法，（1）（2）但首先必须知但首先必须知即寻找完全充分统即寻找完全充分统计量的函数使之成为计量的函数使之成为 的无偏估计。的无偏估计。样本。样本。解解首先求完全充分统计量。首先
2、求完全充分统计量。 由于由于所以由所以由定理可知完全充分统计量为定理可知完全充分统计量为且是完全充分统计量且是完全充分统计量 的函数，的函数，知时，知时， 的的UMVUE为为 。故当故当 未未无论无论 是已知或未知，是已知或未知，注：注：又又的函数，的函数，注：注：解解由因子分解定理可知由因子分解定理可知它是充分统计量。它是充分统计量。由于由于下证它也是完全的。下证它也是完全的。这个只这个只又因为又因为UMVUE。二、信息不等式二、信息不等式在上一节，我们知道如果在上一节，我们知道如果UMVUE存在，存在，则它在无偏估计类中是最好的，则它在无偏估计类中是最好的，且其方差不可且其方差不可能是能是
3、零零，不是无偏估计。不是无偏估计。因为参数因为参数 的方差为零的平凡估计的方差为零的平凡估计那么，现在的问题是：那么，现在的问题是： 对对 的无偏估计类的无偏估计类 ，（1） 既然无偏估计的方差不是零，既然无偏估计的方差不是零，在一定的条件下，在一定的条件下，一个下界，一个下界，则必存在则必存在这个下界到底是多少？这个下界到底是多少？（2）若若UMVUE存在，那么它的方差是否可以存在，那么它的方差是否可以达到这个下界？达到这个下界？问题（问题（1）已由）已由Cramer-Rao不等式（信息不不等式（信息不等式）揭示；等式）揭示；问题（问题（2）不一定成立，）不一定成立，我们举例我们举例予以阐述
4、。予以阐述。为了使问题简化，在这一小节中，我们仅讨为了使问题简化，在这一小节中，我们仅讨单参数和连续总体情况。单参数和连续总体情况。对多参数及离散总体对多参数及离散总体也有相应结论，可参看高等数理统计学也有相应结论，可参看高等数理统计学（茆诗松），或线性统计推断及应用（茆诗松），或线性统计推断及应用（）。（）。（1）（2）Cramer-Rao正则族：正则族：分可交换次序，分可交换次序，即即当仅有（当仅有（1）成立时，我们可以定义所谓的）成立时，我们可以定义所谓的Fisher 信息量（信息量（Fisher Information Number）例例设总体分布是设总体分布是Poisson分布族，分
5、布族，即即则则因而因而可以证可以证明明 ，定理定理4.4(Cramer-Rao or Information Inequality )的统计量，的统计量，如果分布族是如果分布族是Cramer-Rao正则族，正则族，则对所则对所证明证明由于对所有由于对所有 ，等式两边对求导可得等式两边对求导可得有有有有又因为对所有的又因为对所有的 ，等式两边对求导可得等式两边对求导可得即就是即就是这样就有这样就有从而有从而有由由Schwarz Inequality有有而而所以有所以有即就是即就是在信息不等式中，下界通过在信息不等式中，下界通过 依赖于依赖于因它是的因它是的 数学期望，数学期望，也就是说对也就是说
6、对不同的统计量而言，下界是变化的。不同的统计量而言，下界是变化的。如果将此如果将此有有特别地，特别地，有有通常称量通常称量 为为Cramer-Rao下界下界。注意注意：（：（1）在以上三个不等式中在以上三个不等式中的密度函数或分布率。的密度函数或分布率。通常将通常将 看成一次观察所能获得的关于看成一次观察所能获得的关于参数参数 的信息，的信息，即一个观测值即一个观测值 所含所含 的信息，的信息，那么那么 就表示样本就表示样本 所含所含 的信息。的信息。（2） 在将定理在将定理4.4应用于无偏估计类应用于无偏估计类 时，时，一定要注意定理的条件是否满足。一定要注意定理的条件是否满足。Cramer
7、在在1946年举例说明当定理的条件不满足时，年举例说明当定理的条件不满足时，存在这样的无偏估计，存在这样的无偏估计，其方差小于信息不等其方差小于信息不等式的下界。式的下界。这个例子为：这个例子为：取充分统计量取充分统计量 作为参数作为参数 的估计，的估计，通过取其数学期望可获得参数的无偏估计为通过取其数学期望可获得参数的无偏估计为则有则有其具体证明过程课后自己完成。其具体证明过程课后自己完成。对无偏估计类而言，对无偏估计类而言，了方差的下界，了方差的下界，那么那么UMVUE方差是否一定取方差是否一定取既然信息不等式给出既然信息不等式给出得这个下界？得这个下界？我们用下述例子说明不一定。我们用下
8、述例子说明不一定。例例一个简单样本。一个简单样本。试求参数试求参数 的的UMVUE，并并证明其方差大于信息不等式的下界。证明其方差大于信息不等式的下界。解解由于由于由定理由定理4.2知完全充分统计量为知完全充分统计量为 ，所以所以UMVUE为为 ，且服从且服从 。 而由而由有有统计量统计量 的函数，的函数，所以它是所以它是 的的UMVUE。为了计算为了计算UMVUE的方差，的方差，令令则则而而所以所以这说明这说明 的的UMVUE的方差未达到信息不等的方差未达到信息不等式的下界。式的下界。信息不等式的下界，信息不等式的下界，即即例例一个简单样本。一个简单样本。解解由于由于从而从而对任对任有有所以
9、所以即即故故定义定义则族，则族，其方差达到信息不等式的下界，其方差达到信息不等式的下界，如果存在某无偏估计如果存在某无偏估计即即则称则称 为为 的的有效估计有效估计。(Efficient Estimate)定义定义令令有效率有效率(Efficiency)。显然显然因此，有效估计乃是有效率为因此，有效估计乃是有效率为1的无偏估计。的无偏估计。定义定义如果如果都有都有渐近无偏估计。渐近无偏估计。（Asymptotic Unbiased Estimate）例如例如对证态总体对证态总体 ，我们知道我们知道 是总是总体方差体方差 的有偏估计，的有偏估计， 且且这样有这样有定义定义如果存在无偏估如果存在无
10、偏估使得使得成立，成立，则称则称 为为 的的渐近有效估计渐近有效估计。(Asymptotic Efficient Estimate)例如例如由于由于所以所以即即而而Cramer-Rao下界为下界为是有效估计。是有效估计。但是但是需要说明的是需要说明的是当当UMVUE的方差较大时，的方差较大时，方差小方差小的有偏估计也不失为一个好的估计。的有偏估计也不失为一个好的估计。三、相合估计三、相合估计引例引例 假设掷一枚硬币，假设掷一枚硬币，出现正面的概率是出现正面的概率是 ，出现反面的概率为出现反面的概率为 。 为了估计正面出为了估计正面出现的概率现的概率 ，做做 次独立重复试验，次独立重复试验，即将
11、硬币即将硬币反复掷反复掷 次，次，令令由大数定律知，由大数定律知， 试验次数试验次数 越多，越多，频率频率 越越频频率率 稳定于（趋于）概率稳定于（趋于）概率 。接近于正面出现的概率接近于正面出现的概率 ，时，时，当样本容量变大当样本容量变大要求参数的估计量具有这种极限性质实际要求参数的估计量具有这种极限性质实际上是对估计量的基本要求，上是对估计量的基本要求，这就是下面要介绍这就是下面要介绍估计量的估计量的相合性相合性(Consistency)准则。准则。定义定义任一估计序列，任一估计序列，相合估计。相合估计。(Consistent Estimate)一般情形下证明估计的相合性可使用定义或大一
12、般情形下证明估计的相合性可使用定义或大数定律。数定律。即大样本性质，即大样本性质，当样本容量有限时是无意义的。当样本容量有限时是无意义的。例例相合估计。相合估计。的一个简单样本，的一个简单样本，证明证明 由例由例4.6知知 的密度函数为的密度函数为且且这样这样下面的定理在证明估计的相合性时很有用。下面的定理在证明估计的相合性时很有用。定理定理相合估计。相合估计。且且证明证明从而从而这样这样即就是即就是在在Hardy-Weinberg模型中同位基因模型中同位基因之一发生频率之一发生频率 的三个频率替换估计为的三个频率替换估计为又因为相应的函数又因为相应的函数且由大数定律知且由大数定律知估计，估计
13、，都是连续函数，都是连续函数，例如例如注：注：（1）这里仅介绍（弱）相合性这里仅介绍（弱）相合性(依概率收敛依概率收敛)，还有强相合性还有强相合性(依概率依概率1收敛收敛或或几乎必然收几乎必然收敛敛)就不涉及。就不涉及。（2）相合性本身不能说明估计达到某一可靠度相合性本身不能说明估计达到某一可靠度时，要求样本容量至少为多少。时，要求样本容量至少为多少。（3）对同一参数而言，满足相合性的估计也许对同一参数而言，满足相合性的估计也许有多个。有多个。（4）在一定的条件下，可以证明频率替换估计，在一定的条件下，可以证明频率替换估计，矩估计，极大似然估计都是相合估计。矩估计，极大似然估计都是相合估计。对
14、于对于(3)，当存在多个相合估计时，当存在多个相合估计时，关于它们关于它们的优劣往往可通过比较其渐近分布的渐近方差的优劣往往可通过比较其渐近分布的渐近方差的大小来进行，的大小来进行，定义定义都有都有对任意实数对任意实数 ，最常用的渐近分布是正态分布。最常用的渐近分布是正态分布。简记为简记为列，列，(Asymptotic Normality)渐近正态性渐近正态性,渐近正态估计，渐近正态估计，(Asymptotic normal Estimate) (Asymptotic Mean)渐近均值，渐近均值，渐近方差。渐近方差。(Asymptotic Variance)的的注意：注意：因满因满足足和和的
15、任的任意序列意序列 也能使定义的条件成立。也能使定义的条件成立。这说明渐近正态性并不能确定用这说明渐近正态性并不能确定用近似概率近似概率达到某精度时样本容量达到某精度时样本容量 必须至少是多少。必须至少是多少。一般情形下，一般情形下，可取可取对频率替换估计，对频率替换估计，其中其中在在Hardy-Weinberg模型中模型中,例如例如都是相合估计，都是相合估计，频率替换估计频率替换估计的三个的三个它们相应的函数为它们相应的函数为究竟哪个最优呢？究竟哪个最优呢？正态分布的方差。正态分布的方差。比较其渐近比较其渐近从而有从而有其中其中比较这三个渐近方差，比较这三个渐近方差，可知可知 最小，最小，因此可因此可以认为以认为 是是 的较好估计，的较好估计，实际上实际上是是 的的MLE。注：注：在一定的条件下，可以证明矩估计，极在一定的条件下，可以证明矩估计，极大似然估计也具有渐近正态性。大似然估计也具有渐近正态性。
