第六章参数估计

《第六章参数估计》由会员分享，可在线阅读，更多相关《第六章参数估计（150页珍藏版）》请在金锄头文库上搜索。

1、1,概率论与数理统计,第六章参数估计,2,第六章 参数估计,在实际问题中，所研究的总体的分布类型往往是已知的，但依赖于一个或几个未知参数.,这时，求总体分布的问题就归结为求一个或几个未知参数的问题.,例如，某灯泡厂在稳定地生产条件下生产的灯泡的寿命X是一个随机变量，由实际经验知道它服从N(,2)分布.,要了解该厂生产的灯泡的质量就要估计参数和2的值.,3,又如在一定时间间隔内某电话交换台接到的呼叫次数X是一个随机变量，由泊松流的性质推知它是服从泊松分布的.,要了解该电话交换台在一定时间间隔内接到k次呼叫的概率就要估计参数的值.,因此，在总体分布类型已知的情况下，如何从样本估计总体分布中的未知参

2、数就成为数理统计的基本问题之一.,如上这一类问题就是参数估计问题.,另外，在有些实际问题中，人们并不关心总体分布的形式，而只想知道它的某些数字特征(例如均值与方差).对这些数字特征的估计问题，也称为参数估计问题.,4,参数估计有点估计与区间估计两方面问题，下面将分别予以介绍.,5,第六章 参数估计,6.1 点估计,设是总体X的未知参数，可以用样本X1,X2,Xn构成的一个统计量,来估计，称,为的估计量.,6,对于具体的样本值x1,x2,xn，估计量,的值,称为的估计值，仍简记为,在没有必要强调估计量或估计值的时候，常把二者都简称为估计.,如果总体X有m个未知参数需要估计，我们就要构造m个统计量

3、分别作为对每一个参数的估计.,7,点估计就是寻求未知参数的估计量与估计值.,由于抽样的随机性，人们不能单靠一次抽样结果所确定的估计值去评价这个估计的好坏，应该寻求统计量,作为的估计量，考虑到抽样的一切可能结果，使得在某种统计意义下,是的好的估计.,有了的一个好的估计量与样本值，只要经过计算就可以得到的估计值.,8,因此，现在的主要问题是建立求估计量的方法和鉴定估计量的标准.,9,第六章 参数估计,6.1 点估计,6.1.1 矩估计法,众所周知，随机变量的矩是描写随机变量统计规律的最简单、最基本的数字特征.,随机变量的一些参数往往本身就是随机变量的矩或者是某些矩的函数.,例如XN(,2),10,

4、于是，在进行点估计时，人们自然想到，如果可以把未知参数用总体矩k=EXk(k=1,2,m)的函数表示为=h(1,2,m)，,那么就可以用样本矩,估计总体矩k，进而用样本矩的函数,11,作为未知参数的估计，这就是所谓的矩估计法.,这种估计法的优良性在下面的7.1.3中将会看到.,现在就连续型总体来具体说明这一估计法.,离散型总体的情况完全类似，不予重复.,设总体X的概率密度为f(x;1,2,m )，其中1,2,m为未知参数.,假设X的前m阶矩k=EXk(k=1,2,m)都存在，它们是1,2,m的函数，记为gk(1,2,m ) (k=1,2,m)，即,12,如果从此方程(组)可以解出,那么，当1,

5、2,m均未知时，,13,就是k的矩估计，其中,为样本k阶原点矩.,14,例1 设总体X的概率密度为,试求未知参数的矩估计.,解 因,15,解 因,故,从而的矩估计为,16,例2 求总体均值=EX与方差2=DX的矩估计.,解 由矩估计法得到方程组,解得,于是和2的矩估计为,17,18,例3 设总体XB(1,p)，0p1，试求参数p的矩估计.,解 因,故,从而p的矩估计为,19,这里,实际上是事件的频率，而p为事件的概率.,所以，人们得到的矩估计就是用事件的频率估计事件的概率.,20,例4设总体服从正态分布XN(3,2) ，2为未知参数，试求参数2的矩估计.,解 1=EX=3，,解得,故得2的矩估

6、计为,21,第六章 参数估计,6.1 点估计,6.1.2 极大似然估计法,极大似然估计法的直观想法是：一个试验有若干个可能的结果A1,A2,An ,，如果在一次试验中A1发生了，那么一般说来作出的估计应该有利于A1的出现，即使A1出现的概率最大 .,例如，设甲箱中有99个白球1个黑球，乙箱中有1个白球99个黑球，今随机取出一箱，再从该箱中任取一球，结果取出的是白球.,22,例如，设甲箱中有99个白球1个黑球，乙箱中有1个白球99个黑球，今随机取出一箱，再从该箱中任取一球，结果取出的是白球.,我们自然估计这球是从甲箱内取出的，因为从甲箱中取得白球的概率为99%，远大于自乙箱中取得白球的概率为1%

7、.,又如，甲(国家级射手)、乙(普通射手)两人射击同一目标，每人各打一发，结果有一人击中目标，我们当然估计是甲射中的.,设总体X的概率密度为f(x; 1,2,m )，其中1,2,m为未知参数，x1,x2,xn是取自总体的样本值.现在用上述的直观想法来估计1,2,m.,23,设总体X的概率密度为f(x;1,2,m )，其中1,2,m为未知参数，x1,x2,xn是取自总体的样本值.,现在用上述的直观想法来估计1,2,m.,我们知道f(x;1,2,m )在x处的值越大，总体X在x附近取值的概率也越大，而样本(X1,X2,Xn)的概率密度,在(x1,x2,xn)处的值越大，样本(X1,X2,Xn)在x

8、1,x2,xn附近取值的概率也越大.,24,现在抽样结果是样本值为(x1,x2,xn)，就是说在一次试验中样本(X1,X2,Xn)取样本值(x1,x2,xn)这一事件发生了.,所以人们作出对1,2,m的估计时，应有利于这一事件的发生，即取使,达到最大的,作为对1,2,m的估计.,25,根据这个朴素的想法，英国统计学家费歇耳(R.A.Fisher)提出了极大似然估计的概念并严格证明了这一估计的某些优良性.,下面称,为似然函数(likelihood function)，对确定的样本值x1,x2,xn，它是1,2,m的函数.,26,若有,使得,则称,是j (j=1,2,m)的极大似然估计量(maxi

9、mum likelihood estimator).,27,由于lnx是x的单调函数，使,成立的,也使式,成立.,28,为了计算方便，常从式,来求,29,通常采用微积分学求函数极值的一般方法，即从方程(组),求得lnL的驻点，然后再从这些驻点中找到满足式,的,30,称式,为似然方程(组)(likelihood equation).,31,例6 设总体X服从正态分布N(,2)，参数、2未知，求它们的极大似然估计.,解 似然函数为,32,于是,从而似然方程组为,33,解似然方程得,这就是和2的极大似然估计.,和2的极大似然估计与例2中求得的矩估计是相同的.,34,例5 设总体X服从指数分布,求未知

10、参数的极大似然估计.,解 似然函数为,35,例5 设总体X服从指数分布,求未知参数的极大似然估计.,解 似然函数为,36,解 似然函数为,于是,从而似然方程为,37,解似然方程得,从而的极大似然估计为,38,例7 设总体X的概率密度为,试求未知参数的极大似然估计.,解 似然函数为,39,例7 设总体X的概率密度为,试求未知参数的极大似然估计.,解 似然函数为,40,O,L(),x(1),x(2),x(n),41,42,O,L(),x(1),x(2),x(n),43,此处似然函数作为的函数不连续，因此不能从解似然方程得到的极大似然估计.,但是由L()的表达式易知L在=x(n)处取极大值，因此由极

11、大似然估计的定义知,为的极大似然估计.,44,解,由极大似然估计的定义知越小越好，但不能小于X(n)，故的极大似然估计为,45,对于离散型总体，似然函数表达式,为,同样地取使式,46,同样地取使式,或式,成立的,作为1,2,m的极大似然估计.,47,例8 设总体XB(1,p)，0p1，试求参数p的极大似然估计.,解 设X1,X2,Xn为X的一个容量为n的样本，那么Xi(i=1,2,n)的概率分布为,即,48,于是由离散型总体似然函数的表达式知此处的似然函数为,取对数得,似然方程为,49,解得,这就是未知参数p的极大似然估计，它与例3中求得的矩估计也是相同的.,50,例9 设总体X服从参数为的泊

12、松分布，求未知参数的极大似然估计.,解 设X1,X2,Xn为X的一个容量为n的样本，那么,似然函数为,51,取对数得,似然方程为,当,时，解得,52,此即为的极大似然估计.,当,时，的极大似然估计不存在.,53,上面介绍了未知参数的两种估计方法：矩估计法和极大似然估计法,用矩估计法估计参数通常比较方便，便于实际应用，但所得估计的优良性有时比较差.,极大似然估计法使用时常常要进行比较复杂的计算，然而得到的估计在许多情形下具有各种优良性，它是目前仍然得到广泛应用的一种估计方法.,54,例：(2002，试卷一，7分),设总体X的概率分布为,其中(0 1/2)是未知参数，利用总体X的如下样本值3，1，

13、3，0，3，1，2，3求的矩估计值和最大似然估计值.,55,解：,56,令,即,解得的矩估计值为,57,例：(2002，试卷一，7分),设总体X的概率分布为,其中(0 1/2)是未知参数，利用总体X的如下样本值3，1，3，0，3，1，2，3求的矩估计值和最大似然估计值.,58,对于给定的样本值，似然函数为,59,令,60,得,从而,因,不合题意，所以的最大似然估计值为,61,第六章 参数估计,6.1 点估计,6.1.3 鉴定估计量的标准,对同一未知参数用不同的估计方法得到的估计量可能是不同的，甚至于都用矩估计法或都用极大似然估计法也可能得到不同的估计量.,62,例如总体X服从参数为的泊松分布，

14、由于可用总体矩的不同函数来表示：,及,故用矩估计法也可能得到两种不同的估计量：,及,63,既然对同一未知参数可以找到种种不同的估计量(实际上，从估计量的定义可知，原则上任何统计量都可以作为未知参数的估计量)，那么它们中哪一个是较好的估计呢？,好的标准又是什么？,下面介绍最常用的三条标准.,64,1.无偏性,设,是的估计量，若对任何可能的参数值都有,则称,是未知参数的无偏估计量.,65,无偏性表示,围绕被估计参数而摆动，以致平均误差为零，即用,估计没有系统性误差.,这里和以后将用,分别表示随机变量T的概率分布中的参数值为时，随机变量T的数学期望和方差.,66,例10 样本k阶原点矩,是总体k阶原

15、点矩k=EXk(k1)的无偏估计.,特别地，样本均值是总体均值的无偏估计.,67,例11 样本方差,是总体方差2=DX的无偏估计.,证 设X1,X2,Xn独立，每个Xi与X总体有相同的分布，因而EXi=，DXi=2，i=1,2,n.,68,且,故由,69,得,70,由例11样本方差是总体方差的无偏估计可见，样本二阶中心矩,作为2的矩估计量和某些情况下的极大似然估计量是有偏的，这就是引进样本方差S2的原因.,通常用S2作为总体方差的估计.,当然，当样本容量较大时，S*2与S2之间相差是很小的.,71,由例10和11可见，用样本原点矩估计总体原点矩有无偏性，但一般矩估计不一定具有无偏性.,虽然无偏性只是表示平均误差为零，但从实际应用的角度看无偏估计的意义在于，如果使用这一估计量,反复计算出N个估计值,72,虽然无偏性只是表示平均误差为零，但从实际应用的角度看无偏估计的意义在于，如果使用这一估计量,反复计算出N个估计值,那么根据大数定律，当N很大时，它们的平均值,可以给出非常接近于真值的估计.,73,从这一意义上说，无偏性是衡量估计量好坏的一个重要标准.,但在实际应用问题中，并不是都能进行反复抽样的，通常只是由一个容量为的样本值，根据估计量来计算出一个估计值，就以此作为对未知参数的估计.,