第六章 第三节最小方差无偏估计最小方差无偏估计 一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式 优良的无偏估计都是充分统计量的函数优良的无偏估计都是充分统计量的函数. .将之应用在参数估计中可得将之应用在参数估计中可得:其中等号成立的充要条件为其中等号成立的充要条件为X与与 (Y)几乎处处相等几乎处处相等.定理定理1:设设X和和Y是两个是两个r.v.,EX=μ,VarX>0,令令则有则有是样本是样本, 是是θ的充分的充分统计量量,定理定理2: 设总体的概率函数为设总体的概率函数为p(x;θ), 对对θ的任一无偏估的任一无偏估计 一、Rao-Blackwell 定理 注注:定理定理2表明表明: 若无偏估计不是充分统计量的函数若无偏估计不是充分统计量的函数,则将之对充分则将之对充分统计量求条件期望可得一个新的无偏估计统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函且它为充分统计量的函数且方差会减小数且方差会减小. 即即, 考虑点估计只需在充分统计量的考虑点估计只需在充分统计量的函数中进行函数中进行, 这就是这就是 — 充分性原则充分性原则.令令θ=p2 , 则则为为θ的无偏估计的无偏估计.因为因为 是充分统计量是充分统计量 ,由定理由定理2, 从而可从而可令令可得可得故故 为为θ的无偏估计的无偏估计.且且例例1.1.设设为来自为来自b(1,p) 的样本的样本, 求求p2的的U.E为为p 的充分统计量的充分统计量解：解：前已求过前已求过:进一步改进：进一步改进： 二、最小方差无偏估计定义定义:注：注： 一致最小方差无偏估计是一种最优估计一致最小方差无偏估计是一种最优估计.由定理由定理2, 只要它存在只要它存在.它一定是充分统计量的函数它一定是充分统计量的函数.一般地一般地,若依若依赖于充分统计量的无偏估计只有一个赖于充分统计量的无偏估计只有一个,它一定是它一定是UMVUE.Problem：： 无偏估计的方差是否可以任意小无偏估计的方差是否可以任意小? ? 如果不能任意小如果不能任意小, ,那么它的下界是什么那么它的下界是什么? ? 是总体是总体X的样本的样本,定理定理3: (UMVUE准则准则) 设设如果对任一个满足如果对任一个满足 是是θ的任一无偏估的任一无偏估计,例例2:2: 设设为来自为来自Exp(1/θ) 的样本的样本,则则为为θ 的充分统计量的充分统计量,证明证明:为为θ的的UMVUE.反之亦成立. 1 1、、 Fisher信息量的信息量的定义定义. .三、罗三、罗- -克拉美（克拉美（Cramer–Rao ））不等式不等式(1)(1) 是实数轴上的一个开区间是实数轴上的一个开区间; ; 设设总体总体X 的概率函数为的概率函数为p(x; ), , ,且满足条且满足条件件: :正则条件 (1)(1)I(θ)越大越大,总体分布中包含未知参数的信息越多。
总体分布中包含未知参数的信息越多 例例3:3:设设总体为总体为Poisson分布，即分布，即注：注： 例例4:4: 设设总体为指数分布总体为指数分布Exp(1/θ)，，即即 (2) I( )的另一表达式为的另一表达式为 注：注：常见分布的信息量常见分布的信息量 I( )公式公式 两点分布两点分布X ~ ~ b(1,p)b(1,p)泊松分布泊松分布 指数分布指数分布正态分布正态分布 设设总体总体X 的概率函数为的概率函数为p(x ; ), , , 满足上面定满足上面定义中的条件；义中的条件；x1,….,xn 是来自总体是来自总体X的一个样本的一个样本, , T(x1,….,xn )是是g( )的一个无偏估计的一个无偏估计. .2、定理、定理4 (Cramer-Rao不等式不等式):的微分可在积分号下进行，即的微分可在积分号下进行，即则有则有 特别地对特别地对θθ的无偏估计有的无偏估计有上述不等式的右端称为上述不等式的右端称为C-R下界下界, I( ) 为为Fisher信息量信息量. 注注:(1) 定理对离散型总体也适用定理对离散型总体也适用.只需改积分号为求和号。
只需改积分号为求和号 (2) 在定理在定理4条件下条件下, 若若g( ) 的无偏估计量的无偏估计量T 的方差的方差VarT达到下界达到下界, 则则T必为必为g( ) 的最小方差无偏估计的最小方差无偏估计. 但是它不一定存在但是它不一定存在, 也就是说也就是说, C-R不等式有时给不等式有时给出的下界过小出的下界过小.(3) 当等号成立时当等号成立时, T 为达到方差下界的无偏估计为达到方差下界的无偏估计, 此时称此时称T 为为g(θ)的的有效估计有效估计 有效估计一定是有效估计一定是UMVUE.（（反之不真）反之不真） 3. 有效估计有效估计定义定义:定义定义:注注: 综上综上, 求证求证T是是g( )的有效估计的步骤为的有效估计的步骤为: 例例5.5. 设总体设总体 X~Exp(1/θ),密度函数为密度函数为为为 X 的一个样本值的一个样本值.求求 的的最大似然估计量最大似然估计量, 并判断它是否为达到方并判断它是否为达到方差下界的无偏估计差下界的无偏估计,即有效估计即有效估计.为参数为参数解解: 由似然函数由似然函数 经检验知经检验知 的最大似然估计为的最大似然估计为所以它是所以它是 的无偏估计量的无偏估计量,且且而而故故 是达到方差下界的无偏估计是达到方差下界的无偏估计. 所以C-R下界为下界为 例例8. 设设x1 ,….xn 为取自总体为正态分布为取自总体为正态分布N(μ,σ2)的样本的样本, 验证验证 因此因此, 是是μ的有效估计的有效估计.解：解：已证过已证过 为为U.E, 下求下求μ的的C-R下界下界,由于由于而而μμ的的C-R下界为下界为是是μμ的有效估计的有效估计因此因此 因此因此:解解: 由于由于 所以所以σ2的的C-R下界为下界为: 例例9.(接前例接前例)设设x1 ,….xn 取自正态分布总体取自正态分布总体N(μ,σ2) ,若若μ未知，讨论未知，讨论σ2的无偏估计的无偏估计是否为有效估计是否为有效估计. 由于由于 其期望为其期望为n-1 , 方差为方差为2(n-1））所以所以 即即不是不是σσ2的有效估计，但为的有效估计，但为σσ2 2的的渐近有效估计渐近有效估计. .,而而σ2的的C-R下界为下界为 注注1: 由由P308第四题知第四题知 其方差大于其方差大于C-R下界下界, 即有时即有时C-R下界过小下界过小.是是σσ2的的UMVUE.UMVUE.2:若若μ已知已知, 此时此时 为为σσ2 2的有效估计的有效估计. . 注注3对于对于 的的C-R下界为下界为: 当已知当已知μ=0时,易易证σ的无偏估计为的无偏估计为可证可证, 这是这是σ的的UMVUE,其方差大于其方差大于C-R下界下界.因此所有因此所有σ的无偏估计的方差都大于其的无偏估计的方差都大于其C-R下界下界,即即C-R下界过小下界过小.(P307) 4. 最大似然估计的渐近正态性最大似然估计的渐近正态性定理定理(略略) 在总体的分布满足一定条件(P307)的情况下,存在具有相合性和渐近正态性的最大似然估计 , 且 即,最大似然估计通常是渐近正态的,且其渐近方差有一个统一的形式并主要依赖于Fisher信息量.例例10: 设设x1 ,….xn 为取自总体为正态分布为取自总体为正态分布N(μ,σ2),(1)在在σ2已知时已知时,求求μ的的MLE 的近似分布的近似分布. (2)若若μ已知，讨论已知，讨论σ2的的MLE 的渐近分布的渐近分布. 。