《第六章参 数 估 计.doc》由会员分享，可在线阅读，更多相关《第六章参 数 估 计.doc（21页珍藏版）》请在金锄头文库上搜索。
1、第六章 参 数 估 计教学内容：本章主要讲述点估计（矩法估计，极大似然估计）；估计量的评价准则（无偏性、有效性一致性）；区间估计（区间估计的一般步骤，单个正态总体参数的区间估计，双正态总体参数的区间估计，非正态总体参数的区间估计）等内容。教学重点：1、 理解点估计的概念，掌握矩估计法（一阶、二阶）。了解极大似然估计法。2、 了解估计量的评选标准（无偏性、有效性、一致性）。理解区间估计的概念，会求单个正态总体的均值与方差的置信区间，会求两个正态总体的均值差与方差比的置信区间。教学难点：1、矩法估计，极大似然估计。2、估计量的评价准则。3、正态总体参数的区间估计。参数估计是统计推断的基本问题之一，
2、它所要解决的问题是，当所研究的总体的分布形式已知，但其中所含参数的真值未知时，可以借助样本所提供的信息，构造样本的函数，来对未知的参数作出某种估计。例如，某种产品的一项质量指标x服从正态分布，其概率密度为如下形式：但是，其中的两个参数m，s2的真值未知。通过从总体抽取一个样本来对m，s2作估计，便是本章所要讨论的参数估计问题。另外，在一些实际问题中，需要对已知或并不知道服从何种分布的随机变量x的数字特征，如Ex，Dx等做出估计。由于随机变量的数字特征同它的概率分布中的参数存在一定的关系，因而这种对数字特征的估计，也称之为参数估计。参数估计的形式有两种：点估计与区间估计。6.1 点 估 计设总体
3、x的分布形式F（X;q）（或f(X;q)亦或P(X;q）已知，但其中的k维参数未知待估。参数的点估计问题便是根据从总体中抽取的样本，对每一个未知参数，构造一个适当的统计量 作为 的估计。这样得到的 称为的估计量。由于样本是随机变量，所以估计量也是一个随机变量。若在具体抽样观测后得到样本的观测值，则将它代入估计量中，即可得到的一个具体数值，称其为的估计值。显然，对于不同的样本观测值，的估计值往往是不同的。在不致混淆的情况下，估计量与估计值都称为的估计，并都简记作。在参数点估计中，关键是构造点估计量，而构造点估计量的方法有多种，下面我们只介绍两种常用的方法：矩估计法和极大似然估计法。6.1.1 矩
4、估计法由皮尔逊(K.Pearson)提出的矩估计法，其基本思想是：以样本矩作为相应的总体矩的估计，以样本矩的函数作为相应总体矩的同一函数的估计。这是因为根据大数定律，如果总体x的j(为正整数)阶原点矩存在，则样本的j阶原点矩将依概率收敛于。矩估计法便是用样本的j阶原点矩作为总体的j阶原点矩的估计；用样本原点矩的函数来估计相应的总体原点矩的同一函数。设总体x的分布中含有k个未知参数，且x的前k阶原点矩 存在，并记由方程组 (6.1)解得 并以作为参数的估计量，则称为未知参数的矩估计量 。【例6.1】 设是取自总体x的一个样本（不论x服从何种分布）存在，但未知，试求的矩估计量。解 因为，所以根据(
5、6.1)式，由方程组 解得 即 (6.2)分别为所求的矩估计量。可见，对任意的总体x，总体的均值的矩估计量是样本均值，总体的方差的矩估计量是样本的二阶中心矩：它们不因总体的分布不同而异。例6.1的结论，可在一些求解矩估计量的问题中作为定理直接使用。例如，若总体xN()，其中，参数未知。由于正态总体中的两参数，分别是总体的均值和方差，故由例6.1的结论即得的矩估计量分别为:【例6.2】 设总体xU(a，b)，为取自x的一个样本，试求a，b的矩估计量。解 因为xU(a，b)，所以 ，由例6.1的结论，有： 即 解得 【例6.3】 设总体x具有密度函数 为取自x的一个样本，试求f(x)中的未知参数(
6、0)的矩估计量。解 若令，则有:于是由， 解得:矩估计法直观，简便，且正如例6.1所显示的，一般来说并不要求知道总体的分布情况，从而应用广泛。但也因该法没能充分利用已知分布对未知参数所提供的信息，因而有时精度较差。6.1.2 极大似然估计法由费歇（R.Fisher）引进的极大似然估计法，是当总体分布形式已知时，参数点估计中最重要且精度较高的一种方法。我们知道，总体分布中所含有的未知参数(可为一数或一向量)通常是可以取多个值的（参数全部可容许值组成的集合称为参数空间，记作）；再者，一随机试验也通常有多种可能结果，如果在一次抽样中得到了样本观测值，我们会自然认为，该组观测值是多种可能结果中出现的概
7、率最大的一组。于是应从的一切可能取值中（即中）选出这样的值（记作）作为的估计，它能使得上述的观测值出现的概率最大。因此，极大似然估计法的基本思想可以简单地表述为：以使样本观测值出现的概率达到最大的参数值作为总体分布中未知参数的估计值。若总体x是离散型随机变量，其分布律为，其中，(可为一数或一向量)为未知参数，当样本得到一组观测值时，样本的联合分布律为:对给定的样本观测值，它是未知参数的函数，记作L()，即 (6.3)称为似然函数。类似地，若总体x是连续型随机变量，其概率密度为f(x;)，其中，(可为一数或为一向量)为未知参数，当样本得到一组观测值时，样本的联合分布密度为对给定的样本观测值，它是
8、未知参数的函数，记作L()， 即 (6.4)亦称为似然函数。由(6.3)式与(6.4)式可见，似然函数L()的大小反映了样本观测值出现的概率大小，而为了使样本观测值出现的概率最大，自然是要选择使得似然函数L()达到最大的值，作为未知参数的估计值。因此，极大似然估计值是满足 (6.5)的解。或者说，极大似然估计法是把似然函数L()达到最大值的作为的估计值的点估计方法。若似然函数L()是的可微函数，则最大值点必满足似然方程 (6.6)似然方程(6.6)的解，便是未知参数的极大似然估计值。又由于lnx是x的单调递增函数，因而lnL()与L()在的同一点处取得最大值。这样，未知参数的极大似然估计值亦可
9、通过求解对数似然方程 (6.7)得到。并且由于似然函数是乘积的形式，在多数的情况下，它的对数最大值点更容易取得。当总体x分布中的未知参数是k维向量时，是通过求解似然方程组 (6.8)或对数似然方程组 (6.9)得到的分别作为的极大似然估计 。【例6.4】 设总体xB(m，p)，为取自x的样本观测值，试求参数p的极大似然估计。解 因为xB(m，p)，所以，x具有分布律：对于x的样本观测值，参数p的似然函数为：两边取对数: 由(6.7)式，令: 解得: 为p的极大似然估计值。而p的极大似然估计量为: 【例6.5】 设总体xN()，其中，参数均未知，为取自x的样本观测值，试求的极大似然估计。解 因为
10、xN()，所以，x具有密度函数对x的样本观测值，参数的似然函数为：两边取对数:由(6.9) 式，令: 解得: 分别为的极大似然估计值，而的极大似然估计量为： 本例和例6.1说明，当总体xN()时，矩估计和极大似然估计结果是一致的。【例6.6】 设总体x具有密度函数 为取自x的样本观测值，试求f(x)中未知参数(的极大似然估计。解 因为x具有密度函数 所以对于x的样本观测值，参数的似然函数为：而当时，有： 两边取对数: 解方程 得 故 注意：为的极大似然估计值，而的极大似然估计量为：比较例6.3和例6.6，可见，对总体x而言，其参数的矩估计和极大似然估计的结果是不一样的。上面介绍的两种常用的参数
11、点估计方法各有特点。运用矩估计法可以无需知道总体的分布形式，且只能估计与矩有关的参数；但运用极大似然估计法，则必须知道总体的分布形式，且能估计与矩无关的较复杂的参数。再者，极大似然估计法由于充分利用了总体分布中关于参数的信息，因此，其估计的精度一般来说比矩估计结果高。6.2 估计量的评选标准在上节介绍的两种常用的参数点估计方法中，所举的例子便说明：对总体的某一参数的估计，既可以用不同的方法构造出相同的估计量来，也可以用不同的方法构造出不同的估计量来。这就产生了一个问题，对同一参数的估计，究竟采用哪一个估计量好？而要比较估计量的“好坏”或“优劣”，又必然涉及到评判的标准。本节我们将从估计量的数学
12、期望和方差这两个重要的数字特征出发，引出无偏性、有效性、一致性等概念，给出评价估计量的优良性的基本准则。我们知道，作为样本的函数，估计量都是随机变量，对于不同的样本观测值，便会得到不同的参数估计值。因而要评价一个估计量的好坏，就不能仅仅依据某次抽样的结果来认定，而必须由多次抽样的平均结果来衡量。也就是说，尽管在一次抽样中得到的估计值常常不一定恰好等于待估参数的真值，但是在大量的重复抽样（样本容量相同）时，所得到的估计值的平均结果应与待估参数的真值相同，即应该要求估计量的数学期望等于被估参数的真值。这便产生了无偏性的要求。6.2.1 无偏性定义6.1 设是参数的估计量，若 (6.10)则称为的无
13、偏估计量。【例6.7】 设任意总体x存在，为取自x的样本，则与分别为与的无偏估计量。事实上，(5.9)式已给出了，这就表明，样本均值是总体均值的无偏估计量；样本方差是总体方差的无偏估计量。而，说明样本二阶中心矩不是总体方差的无偏估计量。因此 ，一般都是选择作为的估计量。【例6.8】 设 为取自总体x的样本，且均存在，试证明统计量都是的无偏估计量。证明 因为为取自总体x的样本，所以相互独立，且与x同分布，于是有：从而有： 故， 都是的无偏估计量。但若比较，二者的方差，则有： 显然，这表明，在相同的样本容量(n=3) 下，的观测值较更密集在总体均值的附近。从例6.8的讨论中，我们发现一个待估参数会有几个（甚至无穷多个）无偏估计量，这就产生哪一个
