概率论和数理统计参数估计

《概率论和数理统计参数估计》由会员分享，可在线阅读，更多相关《概率论和数理统计参数估计（105页珍藏版）》请在金锄头文库上搜索。

1、第六章参数估计 6 1点估计的概念与无偏性 6 2矩估计及相合性 6 3最大似然估计与EM算法 6 4最小方差无偏估计 6 5贝叶斯估计 6 6区间估计 一般常用 表示参数 参数 所有可能取值组成的集合称为参数空间 常用 表示 参数估计问题就是根据样本对上述各种未知参数作出估计 参数估计的形式有两种 点估计与区间估计 设x1 x2 xn是来自总体X的一个样本 我们用一个统计量的取值作为 的估计值 称为 的点估计 量 简称估计 在这里如何构造统计量并没有明确的规定 只要它满足一定的合理性即可 这就涉及到两个问题 其一是如何给出估计 即估计的方法问题 其二是如何对不同的估计进行评价 即估计的好坏判

2、断标准 6 1点估计的概念与无偏性 6 1 1点估计及无偏性定义6 1 1设x1 x2 xn是来自总体的一个样本 用于估计未知参数 的统计量称为 的估计量 或者称为 的点估计 简称估计 6 1 1无偏性 定义6 1 2设是 的一个估计 的参数空间为 若对任意的 有则称是 的无偏估计 否则称为有偏估计 对任一总体而言 样本均值是总体均值的无偏估计 当总体k阶矩存在时 样本k阶原点矩ak是总体k阶原点矩 k的无偏估计 但对中心矩则不一样 譬如 由于 样本方差s 2不是总体方差 2的无偏估计 对此 有如下两点说明 1 当样本量趋于无穷时 有E s 2 2 我们称s 2为 2的渐近无偏估计 2 若对s

3、 2作如下修正 则s2是总体方差的无偏估计 例6 1 2设总体为N 2 x1 x2 xn是样本 则s2是 2的无偏估计 且可求出这说明s不是 的无偏估计 利用修正技术可得cns是 的无偏估计 其中是修偏系数 可以证明 当n 时 有cn 1 这说明s是 的渐近无偏估计 无偏性不具有不变性 即若是 的无偏估计 其函数g 不是g 的无偏估计除非g 是 的线性函数 6 1 2有效性 定义6 1 3设是 的两个无偏估计 如果对任意的 有且至少有一个 使得上述不等号严格成立 则称比有效 10 例6 1 4设x1 x2 xn是取自某总体的样本 记总体均值为 总体方差为 2 则 都是 的无偏估计 但显然 只要

4、n 1 比有效 这表明用全部数据的平均估计总体均值要比只使用部分数据更有效 6 2矩估计及相合性 6 2 1替换原理和矩法估计 替换原理是指用样本矩及其函数去替换相应的总体矩及其函数 譬如 用样本均值估计总体均值E X 即 用样本方差估计总体方差Var X 即用样本的p分位数估计总体的p分位数 用样本中位数估计总体中位数 例6 2 1对某型号的20辆汽车记录其每加仑汽油的行驶里程 km 观测数据如下 29 827 628 327 930 128 729 928 027 928 728 427 229 528 528 030 029 129 829 626 9经计算有由此给出总体均值 方差和中位

5、数的估计分别为 28 695 0 9185和28 6 矩法估计的实质是用经验分布函数去替换总体分布 其理论基础是格里纹科定理 6 2 2概率函数P x 已知时未知参数的矩法估计 设总体具有已知的概率函数P x 1 k x1 x2 xn是样本 假定总体的k阶原点矩 k存在 若 1 k能够表示成 1 k的函数 j j 1 k 则可给出诸 j的矩法估计为其中 例6 2 2设总体服从指数分布 由于EX 1 即 1 EX 故 的矩法估计为另外 由于Var X 1 2 其反函数为因此 从替换原理来看 的矩法估计也可取为s为样本标准差 这说明矩估计可能是不唯一的 这是矩法估计的一个缺点 此时通常应该尽量采用

6、低阶矩给出未知参数的估计 例6 2 3x1 x2 xn是来自 a b 上的均匀分布U a b 的样本 a与b均是未知参数 这里k 2 由于不难推出由此即可得到a b的矩估计 6 2 3相合性我们知道 点估计是一个统计量 因此它是一个随机变量 在样本量一定的条件下 我们不可能要求它完全等同于参数的真实取值 但如果我们有足够的观测值 根据格里纹科定理 随着样本量的不断增大 经验分布函数逼近真实分布函数 因此完全可以要求估计量随着样本量的不断增大而逼近参数真值 这就是相合性 严格定义如下 定义6 2 1设 为未知参数 是 的一个估计量 n是样本容量 若对任何一个 0 有 6 2 1 则称为 参数的相

7、合估计 相合性被认为是对估计的一个最基本要求 如果一个估计量 在样本量不断增大时 它都不能把被估参数估计到任意指定的精度 那么这个估计是很值得怀疑的 通常 不满足相合性要求的估计一般不予考虑 证明估计的相合性一般可应用大数定律或直接由定义来证 若把依赖于样本量n的估计量看作一个随机变量序列 相合性就是依概率收敛于 所以证明估计的相合性可应用依概率收敛的性质及各种大数定律 在判断估计的相合性时下述两个定理是很有用的 定理6 2 1设是 的一个估计量 若则是 的相合估计 定理6 2 2若分别是 1 k的相合估计 g 1 k 是 1 k的连续函数 则是 的相合估计 例6 2 5设x1 x2 xn是来

8、自均匀总体U 0 的样本 证明x n 是 的相合估计 证明 由次序统计量的分布 我们知道x n 的分布密度函数为p y nyn 1 n y 故有由定理6 2 1可知 x n 是 的相合估计 由大数定律及定理6 2 2 我们可以看到 矩估计一般都具有相合性 比如 样本均值是总体均值的相合估计 样本标准差是总体标准差的相合估计 样本变异系数是总体变异系数的相合估计 6 3最大似然估计与EM算法 定义6 3 1设总体的概率函数为P x 是参数 可能取值的参数空间 x1 x2 xn是样本 将样本的联合概率函数看成 的函数 用L x1 x2 xn 表示 简记为L 称为样本的似然函数 如果某统计量满足则称

9、是 的极 最 大似然估计 简记为MLE MaximumLikelihoodEstimate 人们通常更习惯于由对数似然函数lnL 出发寻找 的极大似然估计 当L 是可微函数时 求导是求极大似然估计最常用的方法 对lnL 求导更加简单些 例6 3 3 6 2 6 设一个试验有三种可能结果 其发生概率分别为现做了n次试验 观测到三种结果发生的次数分别为n1 n2 n3 n1 n2 n3 n 则似然函数为其对数似然函数为 将之关于 求导 并令其为0得到似然方程解之 得由于所以是极大值点 例6 3 4对正态总体N 2 2 是二维参数 设有样本x1 x2 xn 则似然函数及其对数分别为 将lnL 2 分

10、别关于两个分量求偏导并令其为0 即得到似然方程组 6 3 6 6 3 7 解此方程组 由 6 3 6 可得 的极大似然估计为将之代入 6 3 7 得出 2的极大似然估计利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值 虽然求导函数是求极大似然估计最常用的方法 但并不是在所有场合求导都是有效的 例6 3 5设x1 x2 xn是来自均匀总体U 0 的样本 试求 的极大似然估计 解似然函数要使L 达到最大 首先一点是示性函数取值应该为1 其次是1 n尽可能大 由于1 n是 的单调减函数 所以 的取值应尽可能小 但示性函数为1决定了 不能小于x n 由此给出 的极大似然估计 极大似然估

11、计有一个简单而有用的性质 如果是 的极大似然估计 则对任一函数g 其极大似然估计为 该性质称为极大似然估计的不变性 从而使一些复杂结构的参数的极大似然估计的获得变得容易了 例6 1 9设x1 x2 xn是来自正态总体N 2 的样本 则 和 2的极大似然估计为 于是由不变性可得如下参数的极大似然估计 它们是 标准差 的MLE是 概率的MLE是 总体0 90分位数x0 90 u0 90的MLE是 其中u0 90为标准正态分布的0 90分位数 6 4最小方差无偏估计 6 4 1均方误差无偏估计不一定比有偏估计更优 评价一个点估计的好坏一般可以用 点估计值与参数真值 的距离平方的期望 这就是下式给出的

12、均方误差均方误差是评价点估计的最一般的标准 我们希望估计的均方误差越小越好 注意到 因此 1 若是 的无偏估计 则 这说明用方差考察无偏估计有效性是合理的 2 当不是 的无偏估计时 就要看其均方误差 下面的例子说明 在均方误差的含义下有些有偏估计优于无偏估计 例6 4 1对均匀总体U 0 由 的极大似然估计得到的无偏估计是 它的均方误差现我们考虑 的形如的估计 其均方差为用求导的方法不难求出当时上述均方误差达到最小 且其均方误差所以在均方误差的标准下 有偏估计优于无偏估计 定理6 4 2说明 如果无偏估计不是充分统计量的函数 则将之对充分统计量求条件期望可以得到一个新的无偏估计 该估计的方差比

13、原来的估计的方差要小 从而降低了无偏估计的方差 换言之 考虑 的估计问题只需要在基于充分统计量的函数中进行即可 该说法对所有的统计推断问题都是正确的 这便是所谓的充分性原则 例6 4 3设x1 x2 xn是来自b 1 p 的样本 则是p的充分统计量 为估计 p2 可令由于 所以是 的无偏估计 这个只使用了两个观测值的估计并不好 下面我们用Rao Blackwell定理对之加以改进 求关于充分统计量的条件期望 得 定义6 4 2对参数估计问题 设是 的一个无偏估计 如果对另外任意一个 的无偏估计 在参数空间 上都有则称是 的一致最小方差无偏估计 简记为UMVUE 如果UMVUE存在 则它一定是充

14、分统计量的函数 6 4 2一致最小方差无偏估计 定理6 4 1设x x1 x2 xn 是来自某总体的一个样本 是 的一个无偏估计 如果对任意一个满足E x 0的 x 都有则是 的UMVUE 关于UMVUE 有如下一个判断准则 例6 4 2设x1 x2 xn是来自指数分布Exp 1 的样本 则T x1 xn是 的充分统计量 而是 的无偏估计 设 x1 x2 xn 是0的任一无偏估计 则两端对 求导得这说明 从而 由定理6 3 3 它是 的UMVUE 6 4 4Cramer Rao不等式 定义6 4 3设总体的概率函数P x 满足下列条件 1 参数空间 是直线上的一个开区间 2 支撑S x P x

15、 0 与 无关 3 导数对一切 都存在 4 对P x 积分与微分运算可交换次序 5 期望存在 则称为总体分布的费希尔 Fisher 信息量 费希尔信息量是数理统计学中一个基本概念 很多的统计结果都与费希尔信息量有关 如极大似然估计的渐近方差 无偏估计的方差的下界等都与费希尔信息量I 有关 I 的种种性质显示 I 越大 可被解释为总体分布中包含未知参数 的信息越多 例6 4 4设总体为泊松分布P 分布 则于是 例6 4 5设总体为指数分布 其密度函数为可以验证定义6 3 2的条件满足 且于是 定理6 4 3 Cramer Rao不等式 设定义6 3 2的条件满足 x1 x2 xn是来自该总体的样

16、本 T T x1 x2 xn 是g 的任一个无偏估计 存在 且对 中一切 微分可在积分号下进行 则有 上式称为克拉美 罗 C R 不等式 g 2 nI 称为g 的无偏估计的方差的C R下界 简称g 的C R下界 特别 对 的无偏估计 有 如果等号成立 则称T T x1 xn 是g 的有效估计 有效估计一定是UMVUE 例6 4 6设总体分布列为p x x 1 1 x x 0 1 它满足定义6 3 2的所有条件 可以算得该分布的费希尔信息量为 若x1 x2 xn是该总体的样本 则 的C R下界为 nI 1 1 n 因为是 的无偏估计 且其方差等于 1 n 达到C R下界 所以是 的有效估计 它也是 的UMVUE 例6 4 7设总体为指数分布Exp 1 它满足定义6 3 2的所有条件 例6 3 4中已经算出该分布的费希尔信息量为I 2 若x1 x2 xn是样本 则 的C R下界为 nI 1 2 n 而是 的无偏估计 且其方差等于 2 n 达到了C R下界 所以 是 的有效估计 它也是 的UMVUE 能达到C R下界的无偏估计不多 例6 4 8设总体为N 0 2 满足定义6 3 2的条件 且