概率论与数理统计教程第6章课件

《概率论与数理统计教程第6章课件》由会员分享，可在线阅读，更多相关《概率论与数理统计教程第6章课件（56页珍藏版）》请在金锄头文库上搜索。

1、第二章 参数估计,2.1 点估计的几种方法 2.2 点估计的评价标准 2.3 最小方差无偏估计 2.4 贝叶斯估计 2.5 区间估计,一般常用 表示参数，参数 所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。 参数估计的形式有两种：点估计与区间估计。,设 x1, x2, xn 是来自总体 X 的一个样本，我们用一个统计量 的取值作为 的估计值， 称为 的点估计（量），简称估计。在这里如何构造统计量 并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：,其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估

2、 计的好坏判断标准。,2.1 点估计的几种方法,2.1.1 替换原理和矩法估计,一、矩法估计 替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如： 用样本均值估计总体均值E(X)，即 ； 用样本方差估计总体方差Var(X)，即 用样本的 p 分位数估计总体的 p 分位数， 用样本中位数估计总体中位数。,例2.1.1 对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9

3、经计算有 由此给出总体均值、方差和中位数的估计分别为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。,二、概率函数P(x,)已知时未知参数的矩法估计,设总体具有已知的概率函数 P(x, 1, , k)， x1, x2 , , xn 是样本，假定总体的k阶原点矩k存在，若1, , k 能够表示成 1, , k 的函数j = j(1, ,k)，则可给出诸j 的矩法估计为 其中,例2.1.2 设总体服从指数分布，由于EX=1/， 即 =1/ EX，故 的矩法估计为 另外，由于Var(X)=1/2，其反函数为 因此，从替换原理来

4、看，的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。,例2.1.3 x1, x2, , xn是来自(a,b)上的均匀分布U(a,b)的样本，a与b均是未知参数，这里k=2，由于 不难推出 由此即可得到a, b的矩估计：,2.1.2 极(最)大似然估计,定义2.1.1 设总体的概率函数为P(x; )，是参数 可能取值的参数空间，x1, x2 , , xn 是样本，将样本的联合概率函数看成 的函数，用L( ; x1, x2, , xn) 表示，简记为L( )， 称为样本的似然函数。,如果某统计量 满足 则称 是

5、 的极(最)大似然估计，简记为MLE（Maximum Likelihood Estimate）。,人们通常更习惯于由对数似然函数lnL( )出发寻找 的极大似然估计。 当L( )是可微函数时，求导是求极大似然估计最常用的方法，对lnL( )求导更加简单些。,例2.1.6 设一个试验有三种可能结果，其发生概率分别为 现做了n次试验，观测到三种结果发生的次数分别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，则似然函数为 其对数似然函数为,将之关于 求导，并令其为0得到似然方程 解之，得 由于 所以 是极大值点。,例2.1.7 对正态总体N(, 2)，=(, 2)是二维参数，设有样

6、本 x1, x2 , , xn，则似然函数及其对数分别为,将 lnL(, 2) 分别关于两个分量求偏导并令其为0, 即得到似然方程组 (6.1.9) (6.1.10),解此方程组，由(6.1.9)可得 的极大似然估计为 将之代入(6.1.10)，得出 2的极大似然估计 利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。,虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。,例2.1.8 设 x1, x2 , , xn 是来自均匀总体 U(0, )的样本，试求 的极大似然估计。,解 似然函数 要使L( )达到最大，首先一点是示性函数取值应该为1，其次是1/

7、 n尽可能大。由于1/ n是的单调减函数，所以 的取值应尽可能小，但示性函数为1决定了 不能小于x(n)，由此给出的极大似然估计： 。,2.2 点估计的评价标准,2.2.1 相合性 我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。但如果我们有足够的观测值，根据格里纹科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下。,定义2.2.1 设 为未知参数， 是 的一个估计量，n 是样本容量，若对任何一个0，有 (2.2.1) 则称 为 参数

8、的相合估计。,相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时，它都不能把被估参数估计到任意指定的精度, 那么这个估计是很值得怀疑的。 通常, 不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由定义来证.,若把依赖于样本量n的估计量 看作一个随机变量序列,相合性就是 依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。,在判断估计的相合性时下述两个定理是很有用的。 定理2.2.1 设 是 的一个估计量，若 则 是 的相合估计，,定理2.2.2 若 分别是1, , k 的相合估 计， =g(1 , , k) 是1, ,

9、k 的连续函数，则 是 的相合估计。,2.2.2 无偏性,定义2.2.2 设 是 的一个估计， 的参数空间为，若对任意的，有 则称 是 的无偏估计，否则称为有偏估计。,例2.2.4 对任一总体而言，样本均值是总体均值的无偏估计。当总体k阶矩存在时，样本k阶原点矩ak是总体k阶原点矩 k的无偏估计。但对中心矩则不一样，譬如，由于 ，样本方差s*2不是总体方差 2的无偏估计，对此，有如下两点说明： (1) 当样本量趋于无穷时，有E(s*2) 2， 我们称 s*2 为 2的渐近无偏估计。 (2) 若对s*2作如下修正： ， 则 s2 是总体方差的无偏估计。,2.2.3 有效性,定义2.2.3 设 是

10、 的两个无偏估计，如果对任意的 , 有 且至少有一个 使得上述不等号严格成立，则称 比 有效。,例2.2.6 设 x1, x2 , , xn 是取自某总体的样本，记总体均值为 ，总体方差为 2，则 , , 都是 的无偏估计，但 显然，只要 n1， 比 有效。这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。,2.2.4 均方误差,无偏估计不一定比有偏估计更优。 评价一个点估计的好坏一般可以用：点估计值 与参数真值 的距离平方的期望，这就是下式给出的均方误差 均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。,注意到 ，因此 (1) 若 是 的无偏估计，则 ， 这说明

11、用方差考察无偏估计有效性是合理的。 (2) 当 不是 的无偏估计时，就要看其均方 误差 。 下面的例子说明：在均方误差的含义下有些有偏 估计优于无偏估计。,例2.2.8 对均匀总体U(0, )，由 的极大似然估计得到的无偏估计是 ，它的均方误差 现我们考虑的形如 的估计，其均方差为 用求导的方法不难求出当 时上述均方误差达到最小，且其均方误差 所以在均方误差的标准下，有偏估计 优于无偏估计 。,2.3.2 最小方差无偏估计,定义2.3.1 对参数估计问题，设 是 的一个无 偏估计，如果对另外任意一个 的无偏估计 ， 在参数空间上都有 则称 是 的一致最小方差无偏估计，简记为 UMVUE。如果U

12、MVUE存在，则它一定是充分 统计量的函数。,2.5 区间估计,2.5.1 区间估计的概念,定义6.5.1 设 是总体的一个参数，其参数空间为，x1, x2 , , xn是来自该总体的样本，对给定的一个 (0 1)，若有两个统计量 和 ，若对任意的 ，有 （6.5.1）,则称随机区间 为 的置信水平为1- 的置信区间，或简称 是 的1-置信区间. 和 分别称为 的（双侧）置信下限和置信上限.,这里置信水平1- 的含义是指在大量使用该置信区间时，至少有100(1-)%的区间含有 。,例2.5.1 设x1, x2 , , x10是来自N(, 2)的样本，则 的置信水平为1- 的置信区间为 其中，

13、,s 分别为样本均值和样本标准差。这个置信区间的由来将在6.5.3节中说明，这里用它来说明置信区间的含义。 若取 =0.10，则t0.95(9)=1.8331，上式化为,现假定 =15, 2 =4，则我们可以用随机模拟方法由N(15,4)产生一个容量为10的样本，如下即是这样一个样本：14.85 13.01 13.50 14.93 16.97 13.80 17.9533 13.37 16.29 12.38 由该样本可以算得 从而得到 的一个区间估计为 该区间包含 的真值-15。现重复这样的方法 100次，可以得到100个样本，也就得到100个区 间，我们将这100个区间画在图6.5.1上。,由

14、图2.5.1可以看出，这100个区间中有91个包含参数真值15，另外9个不包含参数真值。,图2.5.1 的置信水平为0.90的置信区间,取=0.50，我们也可以给出100个这样的区间，见图6.5.2。可以看出，这100个区间中有50个包含参数真值15，另外50个不包含参数真值。,图2.5.2 的置信水平为0.50的置信区间,定义2.5.2 沿用定义6.5.1的记号，如对给定的 (0 1)，对任意的，有 （2.5.2） 称 为 的1- 同等置信区间。 同等置信区间是把给定的置信水平1- 用足了。常在总体为连续分布场合下可以实现。,定义 若对给定的 (0 1)和任意的，有 ，则称 为 的置信水平为

15、1- 的（单侧）置信下限。假如等号对一切成立，则称 为 的1- 同等置信下限。若对给定的 (0 1)和任意的，有 ,则称 为 的置信水平为1- 的（单侧）置信上限。若等号对一切成立，则称 为1- 同等置信上限。 单侧置信限是置信区间的特殊情形。因此，寻求置信区间的方法可以用来寻找单侧置信限。,2.5.3 单个正态总体参数的置信区间,一、 已知时 的置信区间 在这种情况下，枢轴量可选为 ，c和d应满足P(cGd)=(d)-(c)= 1-，经过不等式变形可得 该区间长度为 。当d=-c=u1-/2时，d-c达到最小，由此给出了的同等置信区间为 ， 。 （2.5.8） 这是一个以 为中心，半径为 的对称区间，常将之表示为 。,例2.5.3 用天平秤某物体的重量9次，得平均值为 （克），已知天平秤量结果为正态分布，其标准差为0.1克。试求该物体重量的0.95置信区间。 解：此处1- =0.95， =0.05，查表知u0.975=1.96，于是该物体重量 的0.95置信区间为 ， 从而该物体重量的0.95置信区间为 15.3347，15.4653。,例2.5.4 设总体为正态分布N(,1)，为得到 的置信水平