《华东师范大学茆诗松《概率论与数理统计教程》第6章 参数估计》由会员分享，可在线阅读，更多相关《华东师范大学茆诗松《概率论与数理统计教程》第6章 参数估计（105页珍藏版）》请在金锄头文库上搜索。
1、第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第1 1页页 第六章 参数估计 6 1 点估计的几种方法 6 2 点估计的评价标准 6 3 最小方差无偏估计 6 4 贝叶斯估计 6 5 区间估计 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第2 2页页 一般常用 表示参数 参数 所有可能取值 组成的集合称为参数空间 常用 表示 参 数估计问题就是根据样本对上述各种未知参 数作出估计 参数估计的形式有两种 点估计与区间估计 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第3 3页页 设 x1 x2 xn 是来自总体 X 的一个样本 我们用一个统计量 的取
2、值作 为 的估计值 称为 的点估计 量 简 称估计 在这里如何构造统计量 并没有明 确的规定 只要它满足一定的合理性即可 这就涉及到两个问题 其一 是如何给出估计 即估计的方法问题 其二 是如何对不同的估计进行评价 即估 计的好坏判断标准 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第4 4页页 6 1 6 1 点估计的几种方法点估计的几种方法 6 1 1 替换原理和矩法估计 一 矩法估计 替换原理是指用样本矩及其函数去替换相应的 总体矩及其函数 譬如 用样本均值估计总体均值E X 即 用样本方差估计总体方差Var X 即 用样本的 p 分位数估计总体的 p 分位数 用样本中位
3、数估计总体中位数 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第5 5页页 例6 1 1 对某型号的20辆汽车记录其每加仑汽油 的行驶里程 km 观测数据如下 29 8 27 6 28 3 27 9 30 1 28 7 29 9 28 0 27 9 28 7 28 4 27 2 29 5 28 5 28 0 30 0 29 1 29 8 29 6 26 9 经计算有 由此给出总体均值 方差和中位数的估计分别 为 28 695 0 9185 和 28 6 矩法估计的实质是用经验分布函数去替换总体 分布 其理论基础是格里纹科定理 第六章第六章 参数估计参数估计 华东师范大学华东师范
4、大学 第第6 6页页 二 概率函数二 概率函数P P x x 已知时未知参数的矩法估计已知时未知参数的矩法估计 设总体具有已知的概率函数 P x 1 k x1 x2 xn 是样本 假定总体的k阶原点矩 k 存在 若 1 k 能够表示成 1 k 的函数 j j 1 k 则可给出诸 j 的矩法估计为 其中 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第7 7页页 例6 1 2 设总体服从指数分布 由于EX 1 即 1 EX 故 的矩法估计为 另外 由于Var X 1 2 其反函数为 因此 从替换原理来看 的矩法估计也可取为 s 为样本标准差 这说明矩估计可能是不唯一的 这是矩法估计
5、的一个缺点 此时通常应该尽量采 用低阶矩给出未知参数的估计 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第8 8页页 例6 1 3 x1 x2 xn是来自 a b 上的均匀分布 U a b 的样本 a与b均是未知参数 这里k 2 由于 不难推出 由此即可得到a b的矩估计 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第9 9页页 6 1 26 1 2 极极 最最 大似然估计大似然估计 定义6 1 1 设总体的概率函数为P x 是参 数 可能取值的参数空间 x1 x2 xn 是样本 将样本的联合概率函数看成 的函数 用L x1 x2 xn 表示 简记为L 称为样本
6、的似然函数 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第1010页页 如果某统计量 满足 则称 是 的极 最 大似然估计 简记为MLE Maximum Likelihood Estimate 人们通常更习惯于由对数似然函数lnL 出发寻 找 的极大似然估计 当L 是可微函数时 求导是求极大似然估计最 常用的方法 对lnL 求导更加简单些 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第1111页页 例6 1 6 设一个试验有三种可能结果 其发生概率 分别为 现做了n次试验 观测到三种结果发生的次数分 别为 n1 n2 n3 n1 n2 n3 n 则似然函数为 其
7、对数似然函数为 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第1212页页 将之关于 求导 并令其为0得到似然方程 解之 得 由于 所以 是极大值点 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第1313页页 例6 1 7 对正态总体N 2 2 是二维 参数 设有样本 x1 x2 xn 则似然函数及 其对数分别为 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第1414页页 将 lnL 2 分别关于两个分量求偏导并令 其为0 即得到似然方程组 6 1 9 6 1 10 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第1515页页 解此
8、方程组 由 6 1 9 可得 的极大似然估计为 将之代入 6 1 10 得出 2的极大似然估计 利用二阶导函数矩阵的非正定性可以说明上述 估计使得似然函数取极大值 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第1616页页 虽然求导函数是求极大似然估计最常用的方 法 但并不是在所有场合求导都是有效的 例6 1 8 设 x1 x2 xn 是来自均匀总体 U 0 的样本 试求 的极大似然估计 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第1717页页 解 似然函数 要使L 达到最大 首先一点是示性函数取值 应该为1 其次是1 n尽可能大 由于1 n是 的单调减函数
9、所以 的取值应尽可能小 但 示性函数为1决定了 不能小于x n 由此给出 的极大似然估计 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第1818页页 极大似然估计有一个简单而有用的性质 如果 是 的极大似然估计 则对任一函数 g 其极大似然估计为 该性质称为极大似然 估计的不变性 从而使一些复杂结构的参数的 极大似然估计的获得变得容易了 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第1919页页 例6 1 9 设 x1 x2 xn是来自正态总体N 2 的样本 则 和 2的极大似然估计为 于是由不变性可得如下参数的极大似然估计 它 们是 标准差 的MLE是 第六章
10、第六章 参数估计参数估计 华东师范大学华东师范大学 第第2020页页 概率 的MLE是 总体0 90分位数 x0 90 u0 90 的MLE是 其中u0 90为标准正态分布的0 90分位数 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第2121页页 6 2 6 2 点估计的评价标准点估计的评价标准 6 2 1 相合性 我们知道 点估计是一个统计量 因此它是一个随 机变量 在样本量一定的条件下 我们不可能要求 它完全等同于参数的真实取值 但如果我们有足够 的观测值 根据格里纹科定理 随着样本量的不断 增大 经验分布函数逼近真实分布函数 因此完全 可以要求估计量随着样本量的不断增大
11、而逼近参数 真值 这就是相合性 严格定义如下 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第2222页页 定义6 2 1 设 为未知参数 是 的一个估计量 n 是样本容量 若对任 何一个 0 有 6 2 1 则称 为 参数的相合估计 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第2323页页 相合性被认为是对估计的一个最基本要求 如果一个估计量 在样本量不断增大时 它 都不能把被估参数估计到任意指定的精度 那么这个估计是很值得怀疑的 通常 不 满足相合性要求的估计一般不予考虑 证明 估计的相合性一般可应用大数定律或直接由 定义来证 第六章第六章 参数估计参数估计
12、 华东师范大学华东师范大学 第第2424页页 若把依赖于样本量n的估计量 看作一个 随机变量序列 相合性就是 依概率收敛 于 所以证明估计的相合性可应用依概率 收敛的性质及各种大数定律 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第2525页页 在判断估计的相合性时下述两个定理是很有用的 定理6 2 1 设 是 的一个估计量 若 则 是 的相合估计 定理6 2 2 若 分别是 1 k 的相合估 计 g 1 k 是 1 k 的连续函数 则 是 的相合估计 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第2626页页 例6 2 2 设 x1 x2 xn 是来自均匀总体
13、U 0 的样本 证明 的极大似然估计是相合估计 证明 在例6 1 7中我们已经给出 的极大似然估 计是 x n 由次序统计量的分布 我们知道 x n 的分布密度函数为 p y nyn 1 n y 1 比 有效 这表明用全部 数据的平均估计总体均值要比只使用部分数据 更有效 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第3333页页 例6 2 7 均匀总体U 0 中 的极大似然估计是x n 由于 所以x n 不是 的无偏估计 而 是 的渐近无偏估计 经过修偏后可以得到 的 一个无偏估计 且 另一方面 由矩法我们可以得到 的另一个无偏 估计 且 由此 当n 1时 比 有效 第六章第
14、六章 参数估计参数估计 华东师范大学华东师范大学 第第3434页页 6 2 46 2 4 均方误差均方误差 无偏估计不一定比有偏估计更优 评价一个点估计的好坏一般可以用 点估计值 与参数真值 的距离平方的期望 这就是下式给 出的均方误差 均方误差是评价点估计的最一般的标准 我们希 望估计的均方误差越小越好 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第3535页页 注意到 因此 1 若 是 的无偏估计 则 这说明用方差考察无偏估计有效性是合理的 2 当 不是 的无偏估计时 就要看其均方 误差 下面的例子说明 在均方误差的含义下有些有偏 估计优于无偏估计 第六章第六章 参数估计参
15、数估计 华东师范大学华东师范大学 第第3636页页 例6 2 8 对均匀总体U 0 由 的极大似然估计得到 的无偏估计是 它的均方误差 现我们考虑 的形如 的估计 其均方差为 用求导的方法不难求出当 时上述均方 误差达到最小 且其均方误差 所以在均方误差的标准下 有偏估计 优于无偏估 计 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第3737页页 6 3 最小方差无偏估计 6 3 1 Rao Blackwell定理 以下定理说明 好的无偏估计都是充分统计量的函数 定理6 3 2 设总体概率函数是 p x x1 x2 xn 是其样本 T T x1 x2 xn 是 的充分统计量 则
16、 对 的任一无偏估计 令 则 也是 的无偏估计 且 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第3838页页 定理6 3 2说明 如果无偏估计不是充分统计 量的函数 则将之对充分统计量求条件期 望可以得到一个新的无偏估计 该估计的 方差比原来的估计的方差要小 从而降低 了无偏估计的方差 换言之 考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可 该说法对所有的统计推断问题 都是正确的 这便是所谓的充分性原则 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第3939页页 例6 3 1 设 x1 x2 xn 是来自b 1 p 的样本 则 是p 的充分统计量 为估计 p2 可令 由于 所以 是 的无偏 估计 这个只使用了两个观测值的估计并不好 下面我们用Rao Blackwell定理对之加以改进 求 关于充分统计量 的条件期望 得 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 第第4040页页 6 3 26 3 2 最小方差无偏估计最小方差无偏估计 定义6 3 1 对参数估计问题 设 是 的一个无 偏估计 如果对另外任意一个 的无偏估计 在
