数理统计——参数估计

《数理统计——参数估计》由会员分享，可在线阅读，更多相关《数理统计——参数估计（95页珍藏版）》请在金锄头文库上搜索。

1、第六章 参数估计 6.1 参数的点估计 6.2 区间估计 6.3 一个总体均值的估计 6.4 一个总体方差与频率的估计,数理统计的一类基本问题就是依据样本提供的信息，对总体的分布或总体分布的数字特征作出统计推断。统计推断涉及两类基本问题，一是估计问题，二是假设检验问题，本章介绍估计问题中参数估计的理论与方法。 设总体的分布函数为 ， 为未知参数， 为总体的样本， 为样本的一次实现。参数估计就是不论总体 的分布函数 已知还是未知，由样本对总体参数 或总体的某些数字特征作出估计的方法和过程。参数估计依据做结论的方式不同分为点估计和区间估计。 参数估计的基本理论可归纳为三个问题： 一是如何由样本为总

2、体参数制定估计量，即估计量的制定；二是判定制定的估计量是否良好，即估计量优良性判定； 三是研究估计方法，寻找出估计的误差限和可靠性。,6.1 点估计（Point Estimation） 样本 出发对总体参数 或总 体 的某些数字特征作出估计，首先要将样本中有关总体的信息加工提取出来，建立用于估计的统计量，把用于估计 总体参数 的统计量 称为 的估计量，简记为 ，制定合适的统计量后,若得到样本的一个实现 ，则可用 的实现 作为总体参数 的估计值。由于这种估计只获得 的一个近似值，称之为点估计或定值估计。因此点估计的关键是为总体参数 制定一个合适的估计量 。 制定估计量的方法很多，仅介绍矩估计法和

3、极大似然估计法。,一、矩估计法（ME） 1.矩估计法的思想 由样本矩或样本矩的连续函数作为相应总体矩或总体矩的连续函数的估计量。 矩估计的思想得益于独立同分布R.V.序列的大数定律。设总体 的 阶矩 存在， 是抽自总体的 ，则由大数定律知,Def 以样本矩作为相应总体矩的估计量，以样本矩的连续函数作为相应总体矩的连续函数的估计量。这种估计量称为矩估计量，也称矩估计，矩估计量的样本实现称为矩估计值 2.矩估计的一般步骤 （1）建立待估参数与总体矩的关系式； （2）用矩估计法建立矩估计方程，解矩估计方程； （3）写出参数的矩估计量及矩估计值。 例6.1 设 是抽自正态总体 的 ，求参数 的矩估计量

4、。 解：总体 ，则,所以 的矩估计量为 不论总体服从什么分布，只要 存在，则它们的矩估计量分别为,例6.2 设总体 的密度函数为 求 的矩估计量。 解：因为 所以 ,故 的矩估计量为,例6.3 设总体X在a , b上服从均匀分布，其中a , b未知， 是来自X的样本 , 试求a , b的矩估计量。,解：由题设条件,于是a , b的矩估计量为,例6.4 总体 ，则 的矩估计量 为 ， 。 矩估计的优点：简单易行，不需事先知道总体的分布。 矩估计的缺点：若总体分布已知，没有充分利用信息，浪费许多信息；一般场合下，矩估计量不具有唯一性。其主要原因是建立矩估计方程时，选用哪些总体矩用相应的样本矩去估计

5、具有一定的随机性。,二、极大似然估计法（MLE） 极大似然估计法的思想来源于极大似然原理。 什么是极大似然原理呢？通过例子给出：某同学和一位猎人一起外出打猎，只听一声枪响，野兔应声倒下。要你推测，你觉得是谁打中的？我们会想， 只用了一发子弹便 打中，猎人命中的概率一般大于该同学命中的概率，看来这一枪应该是猎人打中的。 极大似然原理：如果一个随机试验 的所有可能结果 为 ，在一次试验中，结果 出现，则 随机试 验 的条件对 结果 出现更为有利，即认为 出现的概率最大。,MLE的基本思想：选取 作为 的估计值，使当 时，样本实现出现可能性最大，这种估计值称为极大似然估计值，相应的估计量称为极大似然

6、估计量。 MLE要求总体的分布已知，其应用范围相对矩估计窄。 下面分别介绍离散型总体和连续型总体参数的极大似然估计法的概念和步骤。 1.离散型的似然函数： 若总体 的概率函数 形式已知， 为待估参数， 是 的 取值范围， 为来自总体的 ， 为样本的一个实现，则样本的联合概率函数为,为样本取到样本实现 的概 率其为 的函数，称函数 为样本似然函数。 2.连续型的似然函数： 若总体 的密度函数为 ， 形式已知， 为待估参数， 是 的取值范围, 为来自 总体 的样本， 为样本的一个实现，则样本 的联合概率密度函数为,为样本取到样本实现 的概率 其为 的函数，称函数 为样本似然函数。 3.极大似然估计

7、法：对样本的一个实现 在 的取值范围内选一个 ，使似然函数在 点处达到最 大值，即 满足,这样的 与样本实现 有关，记为 称为参数 的极大似然估计值，相应的 统计量 为 的极大似然估计量。 极大似然估计法求解的一般步骤： （1）求似然函数 ； （2）对似然函数取对数，求导确定其最大值点 ； （3）写出 的极大似然估计值和极大似然估计量。,例6.5 总体 ， 为来自总体 的 ， 为样本的一个实现，求 的极大似然估计量。 解：因为 ，所以有 从而似然函数为 对其取对数有 对上式关于 求导，并令其为0，则有,解得 的极大似然估计值为 的极大似然估计量为,例6.6 设总体 ， 为来自总体的 ， 为样本

8、的一个实现，求 的极大似然估计量。 解：因为 ，所以有 所以 的似然函数为 取对数得,对上式关于 求导，并令其为0，整理得 解得 的极大似然估计值和极大似然估计量分别为,例6.7 设总体 ， 为未知参数， 为抽自总体的 ， 为样本的 一个实现，求 的极大似然估计量。 解：因为 所以 似然函数为 对其取对数得,对其关于 求导并令其为0，得 解得 的极大似然估计值为 所以， 的极大似然估计量为,解：参数 的似然函数为 记 则,例6.8 设总体X在a , b上服从均匀分布，其中a , b未知， 是来自 的样本 , 是样本的 一个实现， 试求a , b的极大使然估计量。,所以参数 的极大似然估计值为

9、参数 的极大似然估计量为,由前面的内容知，对同一参数，用不同的估计方法求出的估计量可能不同，原则上任何统计量都可作为未知参数的估计量。 问题：（1）对同一参数究竟采用哪种估计量好？ （2）评价估计量的标准是什么？ 三、估计量的优良性评价标准 1.无偏估计（最基本标准） 设 为总体的待估参数， 为 的估计量，若有 ，则称 为 的一个无偏估计量。 无偏估计的实际意义是：没有系统误差 如：用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随机的在0附近波动。对同一统计问题大量重复使用不会产生系统误差。,例6.9 设总体 的均值 方差 均存在且未知， 是来自总体的 ，以样本均值

10、和样本 方差分别作为 的估计量，证明它们满足无偏性。 证明：因为 为总体的 ，则,样本均值 是总体均值 的无偏估计量；样本方差 是总体方差 的无偏估计量。样本二阶中心矩 不是总体 方差 的无偏估计量。,2.有效估计 设 为待估参数 的两个无偏估计 量，若满足 ，则称估计量 比 更有效 由于方差是R.V.取值与数学期望的偏离程度，所以有效估计在无偏估计的基础上，方差小者为更好。 最小方差无偏估计简称为最优无偏估计。对其作如下说明： （1）不是所有总体中的未知参数都有最小方差无偏估计量 （2）判断一个估计量是否是最优无偏估计量较复杂； （3）事件发生的频率是事件发生概率的最优无偏估计量； （4）若

11、总体服从正态分布 ，则样本均值 和样本 方差 分别为总体均值 和总体方差 的最优无偏估计量。,例6.10 设 是来自参数为 的指数分布的 总体分布的概率密度函数为 其中参数 未知，证明 与 都是无偏估计，并比较其有效性。 证明： 有极小分布可知 Z 服从参数为 的指数分布，则有 所以 都是无偏估计量。,3.一致估计 设 为总体的待估参数 的估计量，对任意 ，总成立 则称 为 的一致估计量。 一致估计又称为相合估计，一致估计从理论上保证了样本容量越大，估计值出现大误差机会越小。在实际中，若估计量满足一致性，则想降低估计值与待估参数间的差距常采用增大样本容量的方法。 例6.11 证明在重复抽样情况

12、下，样本均值 是总体均值 的一致估计。,证明：对重复抽样有 则对任意 ，由Chebychev大数定律知 因此，样本均值是总体均值的一致估计。 注： （1）样本的 阶原点矩是总体 阶原点矩的一致估计； 若参数 ，其中 g 为实连续函数，则 的矩估计量 是参数 的一致估计。 （2）由极大似然估计法得到的估计量一般具有一致性； （3）一致性是对一个估计量的基本要求，若估计量不具有一致性，则不论样本容量多大，都不能将参数估计的足够准确，这样的估计量不可取。,四、点估计的应用 从前面的讨论不难看出，从统计理论上讲点估计法只给出了待估参数的估计值，并没有给出参数估计值与真实值之间的误差，也没有作出估计结论

13、的可靠性，而这些是实际工作中最关心的。因此，为了满足实际应用的需要，从应用的角度提出对参数点估计的一般性约定： Def 设 是参数 的无偏估计量,对给定的 ,若能确定一个仅依赖于样本和 的实数 使得下式恒成立 则称 的一个实现 是参数 的估计值， 为估计值的误差限（即最大绝对误差）， 为估计值的可靠性（可信程度）。,在实际应用中，估计误差限 常被转换为估计精 度，简称精度。估计精度的定义为：,6.2 区间估计（Interval Estimation） 参数估计除了点估计外，还有一种实际中常用的形式-区间估计（给出参数的一个范围）。这种估计的最大特点就是在结论中能体现估计的误差限和可靠性，其与我

14、们对点估计的约定异曲同工。 一、区间估计 1.区间估计的思想 从样本出发构造两个统计量，使得这两个统计量所形成的随机区间尽可能短，涵盖待估参数的概率尽可能大。,2.区间估计定义 设 为参数 的估计量，对于给 定的 如果满足 则称 为参数 的置信度为 的置信区间， 分别称为置信下限和置信上限。若以上关系式中只 涉及置信下限 或置信上限 ，则称为单侧置信限,若两者均涉及则称置信区间为双侧置信区间。 对参数估计问题，我们希望置信区间越短越好，置信度 越大越好，但从概率意义上这是矛盾的。为了解决这一矛盾，我们需要折中，因此实际是在保证可靠性的前提下，尽量使估计区间尽可能短。,二、枢轴变量法 例6.12 总体 ，其中 未知 已知， 是抽自总体的 ，求参数 的置信度为 的置信区间。 解：对给定的置信度 ，构造统计量 ， 使得 成立，同时使 在平均意义下尽可能短。为此选 的无偏估计量 ，则,