《第七章 参数估计.doc》由会员分享，可在线阅读，更多相关《第七章 参数估计.doc（30页珍藏版）》请在金锄头文库上搜索。
1、概率论与数理统计教案 信息与数学学院第七章 参 数 估 计讲授内容：1 点 估 计教学目的与要求：、 理解参数估计的概念、 熟练掌握点估计中的矩估计和极大似然估计重难点：重点求矩估计和极大似然估计难点矩法估计和极大似然估计的思想.教学方法：课堂讲授教学建议：借助于生活中的简单例子使学生理解极大似然估计的思想.学时：2学时教学过程：一、 前 言上一章，我们讲了数理统计的基本概念，从这一章开始，我们研究数理统计的重要内容之一即统计推断所谓统计推断，就是根据从总体中抽取得到的一个简单随机样本对总体进行分析和推断，即由样本来推断总体，或者由部分推断总体这就是数理统计学的核心内容它的基本问题包括两大类问
2、题：一类是参数估计；另一类是假设检验这里我们主要研究参数估计这一部分数理统计的内容哪些问题是属于参数估计呢？它主要包括下面二个类型：1）在处理很多问题时，常常根据经验或理论（如中心极限定理）假设总体的分布函数类型为已知，但依赖于一个或多个未知参数例如，在某炸药制造厂，一天中发生着火现象的次数是一个随机变量，假设它服从以为参数的泊松分布，参数为未知现有若干样本值，试估计参数2）总体的分布函数类型为未知，要求估计总体的某些数字特征，如期望、方差等的问题例如，元件厂生产某种电子元件，其寿命是随机的，特别关心的是元件的平均寿命及的波动情况，即要求估计总体的数学期望和方差参数估计问题又可分为点估计和区间
3、估计两类二、点估计量的概念设总体的分布函数为已知，但它的一个或多个参数为未知，借助于总体的一个样本来估计总体未知参数的问题称为参数的点估计问题关于点估计的一般提法：设为总体分布函数中的未知参数或总体的某些未知的数字特征，是来自的一个样本，是相应的一个样本值,点估计问题就是构造一个适当的统计量，用其观察值作为未知参数的近似值，我们称为参数的点估计量，为参数的点估计值，在不至于混淆的情况下，统称为点估计由于估计量是样本的函数，因此对于不同的样本值，的估计值是不同的下面通过一个例题来看看：例1 在某炸药制造厂，一天中发生着火现象的次数是一个随机变量，假设它服从以 为参数的泊松分布，参数为未知现有以下
4、的样本值，试估计参数着火次数次着火天数分析：这个题目是一个很典型的点估计问题它有什么特征呢？很明显的是总体的分布函数为已知（泊松分布） ，知道样本（上表就是），但是含有参数（参数的泊松分布）我们知道，且，而=，所以我们可以用来估计解：由于，故有我们用样本均值来估计总体的均值而得的估计为即=1.22点估计量的求解方法很多，这里主要介绍矩估计法和极大似然估计法三、 矩估计法 （K.Pearson提出）1.基本思想：矩估计法是一种古老的估计方法大家知道，矩是描写随机变量的最简单的数字特征样本来自于总体，样本矩在一定程度上也反映了总体矩的特征，且在样本容量条件下，样本的阶原点矩依概率收敛到总体的阶原点
5、矩，即，因而自然想到用样本矩作为总体矩的估计具体来说就是：设为连续型随机变量，其概率密度为，或为离散型随机变量，其分布律为=，其中为待估参数，是来自的样本假设总体的前阶矩 = （为连续型随机变量）或 = （为离散型随机变量） （其中是可能取值的范围）存在一般来说，它们是的函数基于样本矩依概率收敛到总体的阶原点矩（），样本矩的连续函数依概率收敛于相应的总体矩的连续函数，我们就用样本矩作为总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量2.具体做法： 假设为总体的待估参数（），是来自的一个样本，令 ，这是一个包含个未知参数的联立方程组一般可以从中解出 ，得到以分别代替上式中的
6、，就以，分别作为的估计量，这种估计量称为矩估计量，矩估计量的观察值称为矩估计值该方法称为矩估计法（只需掌握的情形）例2设总体在上服从均匀分布，为未知是来自总体的容量为的样本，其观测值为，试求的矩估计量解： ， =即 得 分别以，代替，得a,b的矩估计量为例3设总体的均值及方差都存在但均未知，且有0，又设是来自总体的一个样本，试求，的矩估计量解：因为 令 所以得 注：、上述结果表明：对于不同分布的总体，总体均值与方差的矩法估计相同即矩估计没有充分利用总体分布的信息、对于同一个参数，矩估计不唯一，可能会有多种估计量请看下面的例子：例4设，未知，是的一个样本，求，所以由例3可知： 由以上可看出，显然
7、是两个不同的统计量，但都是的矩估计注：针对矩估计不唯一的情况，实际中采用低阶优先的原则四、 最（极）大似然估计法 （R.A.Fisher提出）设问：袋中有黑白两种颜色的小球，只知道其中一种占60%,如果作了一次观测,从袋中抽出一球,恰为白球,你对袋中两种球的比例将作何推断？1.基本思想：(1)离散分布场合：设总体是离散型随机变量，其分布律=的形式为已知，其中为待估参数若是来自的样本，则的联合分布律为 若我们已知样本取的值是，则事件发生的概率为这一概率随的值而变化从直观上来看，既然样本值出现了，它们出现的概率相对来说应比较大，即应该使取比较大的值换句话说，应使样本值的出现具有最大的概率将上式看作
8、的函数，并用表示，就有： （）称为似然函数极大似然估计法就是在参数的可能取值范围内，选取使达到最大的参数值，作为参数的估计值即取，使 （2）因此，求总体参数的极大似然估计值的问题就是求似然函数的最大值问题 ()连续分布场合：设总体是连续型随机变量，其概率密度函数为，若取得样本观察值为，则的联合密度为随机点落到点的邻域（边长分别为的维立方体）内的概率近似为 其值随的取值而变化和离散型的情况一样，应选择的值使此概率达到最大，但因子不随而变，故只需考虑的最大值这里称为样本的似然函数则称为参数的最大然估计值，统计量称为参数的最大似然估计量2.具体做法:据似然函数的特点，常把它变为如下形式：（或），该式
9、称为对数似然函数由高等数学知：的最大值点相同，在很多情况下，和关于可微令 ，求解得：，从而可得参数的极大似然估计量为； 当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义出发直接求的极大值点例5设，为未知参数，是一个样本值，求参数的极大似然估计解：因为总体的分布律为：，故似然函数为 而令，解得的最大似然估计值为所以的最大似然估计量为：例6设，未知，为的一个样本，是的一个样本值，求，的极大似然估计值及相应的估计量解： 所以似然函数为：取对数，得 分别对，求导数，并令 由（），代入（）的最大似然估计值分别为： ；的最大似然估计量分别为：，例7设 未知
10、，是一个样本值，求的最大似然估计解：由于则似然函数为：通过分析可知，用解似然方程的方法求最大似然估计很难（因为无极值点），所以可用直接观察法：记，有则对于满足条件：的任意有即在时取得最大值故的极大似然估计值为，的极大似然估计量为最大似然估计量有如下的性质： 定理 设的函数，具有单值反函数，U.是的极大似然估计，则是的极大似然估计例如，在例6中得到的极大似然估计为 ，而具有单值反函数 据上述性质有：标准差的极大似然估计为作业布置P208：1，2，3，5，6讲授内容：3估计量的评选标准 4 区间估计教学目的与要求：1、掌握估计量好坏的三个评选标准，并会验证估计量的无偏性2、理解理解区间估计的概念重
11、难点：重点点估计的无偏性、有效性，区间估计的概念及计算步骤难点点估计有效性的判定，区间估计的概念.教学方法：课堂讲授教学建议：借助于简单例子使学生理解区间估计的概念.学时：2学时教学过程：3 估计量的评选标准从上一节得到：对于同一参数，用不同的估计方法求出的估计量可能不相同，也就是说，同一参数可能具有多种估计量，而且，原则上讲，其中任何统计量都可以作为未知参数的估计量，那么采用哪一个估计量为好呢？这就涉及到估计量的评价问题，而判断估计量好坏常用的标准是：有无系统偏差；波动性的大小；伴随样本容量的增大是否是越来越精确，这就是估计的无偏性，有效性和相合性一、无偏性设（）是未知参数的估计量，则是一个
12、随机变量，对于不同的样本值就会得到不同的估计值，我们总希望估计值比较接近的真实值，而若其数学期望恰等于的真实值，这就导致无偏性这个标准定义1:设（）是未知参数的估计量，若存在，且对有=，则称是的无偏估计量，称具有无偏性在科学技术中，-称为以作为的估计的系统误差，无偏估计的实际意义就是无系统误差例1 设总体的阶中心矩存在，是的一个样本，证明：不论服从什么分布，是的无偏估计证明：与同分布， 特别，不论服从什么分布，只要存在，总是的无偏估计例2 设总体的都存在，且，若均为未知，则估计量不是的无偏估计量证明：，若在的两边同乘以，则所得到的估计量就是无偏了即，而恰恰就是样本方差可见，可以作为的估计，而且
13、是无偏估计因此，常用作为方差的估计量从无偏的角度考虑，比作为的估计好在实际应用中，对整个系统（整个实验）而言无系统偏差，就一次实验来讲，可能偏大也可能偏小，实质上并说明不了什么问题，只是平均来说它没有偏差所以无偏性只有在大量的重复实验中才能体现出来；另一方面，我们注意到：无偏估计只涉及到一阶矩（均值），虽然计算简便，但是往往会出现一个参数的无偏估计有多个，而无法确定哪个估计量好例3设总体，密度为 其中为未知，又是的一样本，则和都是的无偏估计证明：，是的无偏估计而服从参数为的指数分布，其密度为 即是的无偏估计事实上，中的每一个均可作为的无偏估计那么，究竟哪个无偏估计更好、更合理，这就看哪个估计量
14、的观察值更接近真实值的附近，即估计量的观察值更密集的分布在真实值的附近我们知道，方差是反映随机变量取值的分散程度所以无偏估计以方差最小者为最好、最合理为此引入了估计量的有效性概念二、有效性定义2:设（）与（）都是的无偏估计量，若有，则称有效若对的无偏估计都有：，则称为的最小方差无偏估计例4在例3中，由于又当时，显然有 ，故较有效例5 设总体，且,，为总体的一个样本，(1) 设常数证明是 m 的无偏估计量(2) 证明比更有效证明：(1) (2) 三、一致性（相合性）关于无偏性和有效性是在样本容量固定的条件下提出的但我们不仅希望一个估计量是无偏的，而且是有效的，自然希望伴随样本容量的增大，估计值能稳定于待估参数的真值，为此引入一致性概念定义3：设是的估计量，若对，有，则称是的相合估计量例如：在
