第八章参数估计§8.1 点估计1. 点估计问题概述设总体x的分布函数为f (x, e), e是未知参数，X[, x2，…，x是x的一样本，样本值为 12nx1, x2，…，X，构造一个统计量°(X1, x2，…，X)，用它的观察值0(x , X , , x )作为e的估1 2 n 1 2 n 1, 2 n计值，这种问题称为点估计问题.习惯上称随机变量°(x ,X , ,X )为e的估计量•，称L(o)为0的估1, 2 n计值.构造估计量0(X , X , , X )的方法很多，下面仅介绍矩法和极大似然估计法.1， 2 n2. 矩估计矩估计的基本步骤：设总体x〜f(X； e「e 2，…，e /其中e x,e 2,…,e l均未知. i°求出总体X的前k阶矩E(xk)=p k(e r 2,…,e)， (iwkwi).山(0 ,o , ,o)= a ,1 1 2 l 1» (0 , 0 , , 0 ) = A ,2° 令 < 2 1 2 … l 2» (0 , 0 , , 0 ) = A,J l 1 2 …l l其中Ak (lWkWl)为样本k阶矩.(3)解出上述方程组的解为°，…,°,我们称° (x,x，…,x)为参数e k(iwkWl)的矩1 2 l k k 1 2 n k估计量，° (X,X ,…,X)为参数e k的矩估计值.k k 1 2 n k例8・1设总体x服从二项分布B (n，p)，n已知，x, X,，…，x为来自x的样本, 12n求参数 p 的矩法估计.解 E(X ) = np, E(X ) = A1 = X,因此 np= X 所以p的矩估计量例8.2设总体X的二阶矩存在且未知，％, X2，…，Xn为来自总体的一个样本.求〃 =E(X), O 2=D(X)的矩估计量. "解 由于 E(X) =p , E(X2) = D(X) + (E(X))2=O 2+/j 2,令卩二 E (X)二 A X,1 1 n ii=1卩=E (X 2) = A =1 工 X 2.2 2 n ii=1故",O 2的矩估计量分别为=A -|12 = n^1 S 2 = 1 工(X - X)2.2 n n ii=1特别地，如果X为正态总体，我们可以对其期望和方差得到类似的估计.例 8.3 设总体 X 的密度函数f(x,e)靠(0-x),0,0 < x<0,其他.x1，x2，…，x为其样本，试求参数e的矩法估计. 12nA ——解 e的矩估计量为 0 = 3 x .矩估计法的优点是计算简单，且作矩法估计时无需知道总体的概率分布，只要知道总体矩即可. 但矩法估计量存在结果不唯一的缺点. 原则上，矩估计既可以使用样本的低阶矩估计总体的低阶矩 也可以使用样本的高阶矩估计总体的高阶矩•如总体x服从参数为人的泊松分布时，分别用一阶矩 和二阶矩进行估计，得到X和b2都是参数人的矩法估计.本书进行矩估计时采用就低不就高的原则.3. 极大似然估计极大似然估计法(Maximum likelihood estimation)只能在已知总体分布的前提下进行，为了对它的 思想有所了解，我们先看一个例子.例8.4 设有甲、乙两个袋子，袋中各装有4个同样大小的球，已知甲袋装有3个黑球和1个 白球，乙袋装有3 个白球和 1 个黑球. 现在任取一袋，有放回地从袋中取2 个球，结果取出的两球 均为黑球，问此球最象取自甲袋还是乙袋？解1 3 1在上例中,p是分布的参数，它只能取两个值丁和丁，需要通过抽样来决定分布中的参数是丁还4 4 43是4.在给定样本观察值后去计算该样本值出现的概率，这一概率依赖于P的值，在相对比较之下, 哪个概率大， p 就最象哪个.极大似然估计的基本思想就是根据上述想法引申出来的 . 如果随机抽样得到的样本观测值为 x1，£,•••, x,则我们应当这样来选取未知参数e的值，使得出现该样本值的可能性最大，我们把12n这样的参数0记为°，并称°为未知参数e的极大似然估计.下面分总体X是离散型和连续型两种情况加以讨论.1° 离散型总体设总体X为离散型，P{X=x}=p (x, 0),其中e为待估计的未知参数，假定x1，x2,-, x为 12n 样本X1, x2，…，X的一组观测值.12nP{Xl=x1, X2=x2，…，X =x }=P{Xl=x1}P{X2=x2}^P{X =x }= p(x ,0)p(x 0) p(x ,0)1 1 2 2 1 1 2 2 1 2,=n p(x ,0)-ii =1将Hp(x ,0 )看作是参数0的函数，记为L(0)，即L(0)= Hp(x ,0). (8.1)iii =1 i =1这一概率依赖于未知参数0 ,对不同的0 , L(0 )不一定一样.L(0 )越大，表明出现样本值xi， x2,…,x的机会越大，即要求对应的概率L(0)的值达到最大，所以选取这样的“作为未知参数0的估计， n使得L(0) = max L(0).2° 连续型总体设总体X为连续型，已知其分布密度函数为f(x，0)，0为待估计的未知参数，则样本(X], X2，…，X )的联合密度为：2f(x1, e)f(x2, e)•••/■ (x , e)=H f (x ,0).1 2 ii=1类似于离散型总体，将它也看作是关于参数e的函数，记为l (e)，即L(e )=H f(x,0). (8.2)ii=1综合上述两种情况，我们给出如下定义：定义8.1设总体的分布形式已知，但含有未知参数e (e可以是向量)，x ,x , x为来自12总体的样本，x ,x , ,x为样本观察值，称由(8.1)或(8.2)定义的L (e)为样本的似然函数.12由此可见：不管是离散型总体，还是连续型总体，只要知道它的概率分布或密度函数，我们总 可以得到一个关于参数e的似然函数l (e).如果随机抽样得到的样本观测值为x1, x2，-, x，则我们应当这样来选取未知参数e的值，使12得出现该样本值的可能性最大，即使得似然函数L(e)取最大值，从而求参数e的极大似然估计的问 题，就转化为求似然函数 L(e )的极值点的问题，一般来说，这个问题可以通过求解下面的方程 来解决d L (0 ) = 0-^0 = 0 - (8・3)然而，l (e)是〃个函数的连乘积，求导数比较复杂，由于inl (e)是l (e)的单调增函数, 所以L (e )与inL (e )在。
的同一点处取得极大值.于是求解(8.3)可转化为求解8.4)dlnL(0)dO称InL （0 ）为对数似然函数，方程（7.4）为对数似然方程，求解此方程就可得到参数&的估计值.例&5在泊松总体中抽取样本，其样本值为：X], x2，…，x ,试对泊松分布的未知参数Z作极大 12n似然估计.解例 8.6 设 X , X , X 是取自双参数指数分布总体的一组样本，密度函数为 12n... 1 _x_卩 、 7Te O , X >卩f （x;O，卩）=]O、0, 其它其中卩,O > 0是未知参数，X ,X , ,X是一组样本值，求：12n（1） 卩,0的矩法估计；（2） 卩,0的极大似然估计.…解： 例& 7设一批产品含有次品，今从中随机抽出100件，发现其中有8件次品，试求次品率0的极 大似然估计值.解矩估计法和极大似然估计法是两种不同的估计方法.对同一未知参数，有时候它们的估计相同， 有时候估计不同.一般情况下，在已知总体的分布类型时，最好使用极大似然估计法.当然，前提条件 是通过解方程（组）或其它方法容易得到极大似然估计.§8.2 估计量的评选标准对同一个未知参数，可以有不同的点估计，矩估计和极大似然估计仅仅是提供两种常用的估计而已.在众多的估计中，我们总是希望挑选“最优”的估计.这就涉及到一个评选标准问题.1. 无偏性定义8.2若估计量（X】，X2，…，X ）的数学期望等于未知参数0，即：E（0） ， （8.6）12n则称0’为0的无偏估计量。
估计量0的值不一定就是0 的真值，因为它是一个随机变量，若0是0的无偏估计，则尽管0 的值随样本值的不同而变化，但平均来说它会等于e的真值.例& 8设X1，X2，…，X为总体X的一个样本，E（X）=p，则样本平均数X二-工X是1 2 n n ii=1 “的无偏估计量.证 因为E（X）=p，所以E（X.）=卩，z=1，2,…，n,于是 e（X）= ef-工X ] = -He（X）=》.1 n i 丿 n ii =1 i=1所以X是"的无偏估计量.例8.9设有总体X，E（X）=/J，D（X）=O 2，（X1，X2，…，X ）为从该总体中抽得的一个1 2 n样本，样本方差S2及二阶样本中心矩B=-工（X - X）是否为总体方差2的无偏估计？2 n ii=1解2. 有效性对于未知参数e，如果有两个无偏估计量0与G，即e（ 0）=E（ 0）= e，那么在0，0中1 2 1 2 1 2谁更好呢？此时我们自然希望对e的平均偏差E（ e' -e）2越小越好，即一个好的估计量应该有尽可 能小的方差，这就是有效性.定义8.3设e和e都是未知参数e的无偏估计，若对任意的参数e,有12D （0 ）WD （0 ）， （8.7）12则称0比0有效.12如果e比。
有效，则虽然e还不是e的真值，但e在e附近取值的密集程度较0高，即用e估 1 2 1 1 2 1 计e精度要高些.例如，对正态总体N （“，O 2），X =-工X，X.和X都是E （X）=》的无偏估计量，但n i ii=1(X.) =(?，ib 2D ( X )=——WDn故X较个别观测值X.有效•实际当中也是如此，比如要估计某个班学生的平均成绩，可用两种方法i进行估计，一种是在该班任意抽一个同学，就以该同学的成绩作为全班的平均成绩；另一种方法是 在该班抽取n位同学，以这n个同学的平均成绩作为全班的平均成绩，显然第二种方法比第一种方 法好.3. 一致性无偏性、有效性都是在样本容量n 一定的条件下进行讨论的，然而M（X1, X2，•…X）不仅1 2 n与样本值有关，而且与样本容量n有关，不妨记为°，很自然，我们希望n越大时，0对e的估计nn应该越精确.定义 8.4如果0依概率收敛于e，即vg>0,有- lim P 脣 _0 < 1, (8.8)n* ' n则称 e 是 e 的一致估计量( Uniform estimator) .n由辛钦大数定律可以证明：样本平均数X是总体均值"的一致估计量，样本的方差S 2及二阶 样本中心矩B2都是总体方差0 2的一致估计量.§8.3 区间估计1.区间估计与置信区间 所谓区间估计就是依据样本估计未知参数在某一范围内，在数轴上往往表现为一个区间.具体来说，估计某个未知参数0，要求0的区间估计就是要设法根据样本构造两个统计量G（X1, X2，…,X ）及° （X^XyX），在抽样获得样本观察值（无，x2，…，x）后，便用一个具 1 1 2 n 2 1 2 n 1 2 n体的区间[0 （乙，X2，…,X），° （X「X2，…,X ）]来估计未知参数0的取值范围.1 1 2 2 1 2定义& 5设© （X], X2,…,Xn）及02 （暫。