《C-R不等式和贝叶斯估计(数理统计必考)》由会员分享，可在线阅读，更多相关《C-R不等式和贝叶斯估计(数理统计必考)（54页珍藏版）》请在金锄头文库上搜索。
1、第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第1 1页页第六章 参数估计 6.2 点估计的评价标准 6.3 最小方差无偏估计 6.4 贝叶斯估计第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2 2页页一般常用 表示参数，参数 所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。参数估计的形式有两种：点估计与区间估计。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第3 3页页设 x1, x2, xn 是来自总体 X 的一个样本，我们用一个统计量 的取值作 为 的估计值， 称为 的点估计（量），简 称
2、估计。在这里如何构造统计量 并没有明 确的规定，只要它满足一定的合理性即可。 这就涉及到两个问题： 其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估计的好坏判断标准。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第4 4页页6.2 点估计的评价标准 6.2.1 相合性我们知道，点估计是一个统计量，因此它是一个随 机变量，在样本量一定的条件下，我们不可能要求 它完全等同于参数的真实取值。但如果我们有足够 的观测值，根据格里纹科定理，随着样本量的不断 增大，经验分布函数逼近真实分布函数，因此完全 可以要求估计量随着样本量的不断增大而逼近参数 真值，这
3、就是相合性，严格定义如下。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第5 5页页定义6.2.1 设 为未知参数， 是 的一个估计量，n 是样本容量，若对任 何一个0，有(6.2.1) 则称 为 参数的相合估计。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第6 6页页相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时，它 都不能把被估参数估计到任意指定的精度, 那么这个估计是很值得怀疑的。 通常, 不 满足相合性要求的估计一般不予考虑。证明 估计的相合性一般可应用大数定律或直接由 定义来证.第六章第六章 参数估计参数估计华东师范
4、大学华东师范大学* *第第7 7页页若把依赖于样本量n的估计量 看作一个随机变量序列,相合性就是 依概率收敛于 ,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第8 8页页在判断估计的相合性时下述两个定理是很有用的 。定理6.2.1 设 是 的一个估计量，若则 是 的相合估计，定理6.2.2 若 分别是 1, , k 的相合估计， =g( 1 , , k) 是 1, , k 的连续函数，则 是 的相合估计。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第9 9页页例6.2.2 设 x1, x2 , , x
5、n 是来自均匀总体U(0, )的样本，证明 的极大似然估计是相合估计。 证明：在例6.1.7中我们已经给出 的极大似然估 计是 x(n)。由次序统计量的分布，我们知道 x(n) 的分布密度函数为 p(y)=nyn-1/ n, y 1， 比 有效。这表明用全部数据的平均估计总体均值要比只使用部分数据 更有效。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第1616页页例6.2.7 均匀总体U(0, )中 的极大似然估计是x(n) ，由于 ，所以x(n)不是 的无偏估计，而 是 的渐近无偏估计。经过修偏后可以得到 的一个无偏估计： 。且另一方面，由矩法我们可以得到 的另一个无偏
6、估计 ，且由此，当n1时， 比 有效。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第1717页页6.2.4 均方误差 无偏估计不一定比有偏估计更优。评价一个点估计的好坏一般可以用：点估计值 与参数真值 的距离平方的期望，这就是下式给 出的均方误差均方误差是评价点估计的最一般的标准。我们希 望估计的均方误差越小越好。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第1818页页注意到 ，因此(1) 若 是 的无偏估计，则 ，这说明用方差考察无偏估计有效性是合理的。(2) 当 不是 的无偏估计时，就要看其均方误差 。下面的例子说明：在均方误差的含义下有些有偏估计优
7、于无偏估计。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第1919页页例6.2.8 对均匀总体U(0, )，由 的极大似然估计得到的无偏估计是 ，它的均方误差 现我们考虑的形如 的估计，其均方差为 用求导的方法不难求出当 时上述均方误差达到最小，且其均方误差 所以在均方误差的标准下，有偏估计 优于无偏估 计 。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2020页页6.3 最小方差无偏估计 6.3.1 Rao-Blackwell定理 以下定理说明：好的无偏估计都是充分统计量的函数。定理6.3.2 设总体概率函数是 p(x, )， x1, x2 , ,
8、xn 是其样本，T=T(x1, x2 , , xn )是 的充分统计量，则 对 的任一无偏估计 ，令 ，则 也是 的无偏估计，且 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2121页页第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2222页页定理6.3.2说明：如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期望可以得到一个新的无偏估计，该估计的方差比原来的估计的方差要小，从而降低了无偏估计的方差。换言之，考虑 的估计问题只需要在基于充分统计量的函数中进行即可，该说法对所有的统计推断问题都是正确的，这便是所谓的充分性原则。 第六章第六章 参数
9、估计参数估计华东师范大学华东师范大学* *第第2323页页例6.3.1 设 x1, x2 , , xn 是来自b(1, p)的样本，则 是p 的充分统计量。为估计 =p2，可令由于 ，所以 是 的无偏 估计。这个只使用了两个观测值的估计并不好. 下面我们用Rao-Blackwell定理对之加以改进：求 关于充分统计量 的条件期望，得第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2424页页6.3.2 最小方差无偏估计 定义6.3.1 对参数估计问题，设 是 的一个无偏估计，如果对另外任意一个 的无偏估计 ，在参数空间上都有则称 是 的一致最小方差无偏估计，简记为UMVUE。如
10、果UMVUE存在，则它一定是充分统计量的函数。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2525页页定理6.3.3 设 x=(x1, x2 , , xn) 是来自某总体的一个样本， 是 的一个无偏估计， 如果对任意一个满足E(x)=0的(x)，都有则 是 的UMVUE。关于UMVUE，有如下一个判断准则。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2626页页例6.3.2 设 x1,x2 ,xn 是来自指数分布Exp(1/ )的样 本，则T = x1+xn 是 的充分统计量，而 是 的无偏估计。设 =(x1 , x2 , , xn)是0的任一无偏 估计
11、，则两端对 求导得这说明 ，从而 ， 由定理6.3.3，它是 的UMVUE。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2727页页6.3.3 Cramer-Rao不等式 定义6.3.2 设总体的概率函数 P(x, ), 满足下列条件：(1) 参数空间是直线上的一个开区间；(2) 支撑 S=x: P(x, )0与 无关；(3) 导数 对一切 都存在；(4) 对P(x, )，积分与微分运算可交换次序；(5) 期望 存在；则称 为总体分布的费希尔(Fisher) 信息量。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2828页页费希尔信息量是数理统计学中一
12、个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下 界等都与费希尔信息量I( )有关。I( )的种种 性质显示，“I( )越大”可被解释为总体分布中包含未知参数 的信息越多。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2929页页例6.3.3 设总体为泊松分布P()分布，则于是第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第3030页页例6.3.4 设总体为指数分布，其密度函数为可以验证定义6.3.2的条件满足，且于是第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第3131页页定理6.3.4（Cram
13、er-Rao不等式）设定义6.3.2的条件满足，x1, x2 , , xn 是来自 该总体的样本，T=T(x1, x2 , , xn )是g( )的任一个无偏估计， 存在，且对 中一切 ，微分可在积分号下进行，则有 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第3232页页 上式称为克拉美-罗（C-R）不等式; g()2/(nI( )称为g( )的无偏估计的方差 的C-R下界，简称g( )的C-R下界。 特别，对 的无偏估计 ,有 ; 如果等号成立，则称 T=T(x1, , xn) 是 g( )的有效估计，有效估计一定是UMVUE 。第六章第六章 参数估计参数估计华东师范大学
14、华东师范大学* *第第3333页页例6.3.5 设总体分布列为p(x, )= x(1- )1-x, x=0,1，它满足定义6.3.2的所有条件，可以算得该分布的费希尔信息量为 ， 若 x1, x2, , xn 是该总体的样本，则 的C-R 下界为(nI( )-1= (1- )/n。因为 是 的无 偏估计，且其方差等于 (1- )/n，达到C-R 下界，所以 是 的有效估计，它也是 的UMVUE。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第3434页页例6.3.6 设总体为指数分布Exp(1/ )，它满足定 义6.3.2的所有条件，例6.3.4中已经算出该分布的费希尔信息量为I( ) = -2，若x 1, x2, , xn 是 样本，则 的C-R下界为(nI( )-1= 2
