《随机数学课件：7-1节 参数的点估计》由会员分享，可在线阅读，更多相关《随机数学课件：7-1节 参数的点估计（69页珍藏版）》请在金锄头文库上搜索。
1、 引引 言言 我们已介绍了总体、样本、简单随机我们已介绍了总体、样本、简单随机样本、统计量和抽样分布的概念，介绍了样本、统计量和抽样分布的概念，介绍了统计中常用的三大分布，给出了几个重要统计中常用的三大分布，给出了几个重要的抽样分布定理的抽样分布定理. 它们是进一步学习统计推它们是进一步学习统计推断断(基本问题有基本问题有:估计问题和假设检验问题估计问题和假设检验问题)的基础的基础.现在我们来介绍一类重要的统计推断问题现在我们来介绍一类重要的统计推断问题-参数估计问题参数估计问题参数估计问题参数估计问题是利用从总体抽样得到的信息是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数来
2、估计总体的某些参数或者参数的某些函数. 估计废品率估计废品率估计新生儿的体重估计新生儿的体重估计湖中鱼数估计湖中鱼数 估计降雨量估计降雨量例如例如参数估计参数估计点估计点估计区间估计区间估计（假定身高服从正态分布（假定身高服从正态分布 ） 设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69估计估计 为为1.68， 这是这是点估计点估计.这是这是区间估计区间估计.估计估计在区间在区间1.57, 1.84内，内，假如我们要估计某队男生的平均身高假如我们要估计某队男生的平均身高. 现从该总体选取容量为现从该总体选取容量为5的样本，我们的样本，我们的任务是要根据选出的样本（的任务
3、是要根据选出的样本（5个数）求出个数）求出总体均值总体均值 的估计的估计. 而全部信息就由这而全部信息就由这5个数个数组成组成 .第一节第一节 参数的点估计参数的点估计一、点估计问题的提法一、点估计问题的提法二、估计量的求法二、估计量的求法三、小结三、小结点估计问题的一般提法点估计问题的一般提法: :估计量的求法估计量的求法构造估计量的常用方法构造估计量的常用方法: (两种两种)矩估计法和最大似然估计法矩估计法和最大似然估计法.1.1 矩估计法矩估计法 基本思想基本思想：用：用样本矩样本矩估计估计总体矩总体矩 ,用用样本矩样本矩的连续函数的连续函数来估计来估计总体矩的连续函数总体矩的连续函数.
4、 . 理论依据理论依据: : 它是基于一种简单的它是基于一种简单的“替换替换”思想建立思想建立起来的一种估计方法起来的一种估计方法 .大数定律大数定律 记总体记总体k阶原点矩为阶原点矩为样本样本k阶原点矩为阶原点矩为记总体记总体k阶中心矩为阶中心矩为样本样本k阶中心矩为阶中心矩为 用样本矩来估计总体矩用样本矩来估计总体矩, , 用样本矩的连续函用样本矩的连续函数来估计总体矩的连续函数数来估计总体矩的连续函数, , 这种估计法称这种估计法称为为矩估计法矩估计法. . 设总体的分布函数中含有设总体的分布函数中含有k个未知参数个未知参数 都是这都是这k个参数的函数个参数的函数,记为：记为：,那么它的
5、前那么它的前k阶矩阶矩一般一般i=1,2,k从这从这k个方程中解出个方程中解出j=1,2,k那么用诸那么用诸 的估计量的估计量 Ai分别代替上式分别代替上式中的诸中的诸 , 即可得诸即可得诸 的矩估计量的矩估计量 ：j=1,2,k解解:由密度函数知由密度函数知 例例2 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的矩估计的矩估计.具有均值为具有均值为 的指数分布的指数分布故故 E(X- )= D(X- )=即即 E(X)= D(X)=解得解得令令用样本矩估计用样本矩估计总体矩总体矩即即 E(X)= D(X)=解解: 由矩法估计由矩法估计,样本矩样本矩总体矩
6、总体矩从中解得从中解得的矩估计的矩估计.即为即为数学期望数学期望是一阶是一阶原点矩原点矩 例例3 设总体设总体X的概率密度为的概率密度为是未知参数是未知参数,其中其中X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计.解解解方程组得到矩估计量分别为解方程组得到矩估计量分别为例例4上例表明上例表明: 总体均值与方差的矩估计量的表达式不因不总体均值与方差的矩估计量的表达式不因不同的总体分布而异同的总体分布而异.一般地一般地,解解根据矩估计法根据矩估计法,例例5解解例例6解方程组得到解方程组得到a, b的矩估计量分别为的矩估计量分别为解解例例7设总体设总体X的分布密度为的分布
7、密度为例例8为来自总体为来自总体X的样本的样本. 求参数求参数 的矩估计量的矩估计量.分析：分析：一般地，一般地，只需要求：只需要求： 的矩估计量的矩估计量.不含有不含有 ， 故不能由此得到故不能由此得到 的矩估计量的矩估计量.解解(方法方法1) 要求：要求： 的矩估计量的矩估计量(方法方法2) 要求：要求：所以所以 的矩估计量：的矩估计量：注注:此例表明：此例表明：同一参数的矩估计量可不唯一同一参数的矩估计量可不唯一. 矩法的矩法的优点是优点是简单易行简单易行,并不需要事先知并不需要事先知道总体是什么分布道总体是什么分布 . 缺缺点点是是，当当总总体体类类型型已已知知时时，没没有有充充分分利
8、利用用分分布布提提供供的的信信息息 . 一一般般场场合合下下,矩矩估估计计量量不不具具有唯一性有唯一性 . 其主要原因在于建立矩法方程时，选取那其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性些总体矩用相应样本矩代替带有一定的随意性 .小结小结: 1.2 最大似估计然法最大似估计然法 是是在在总总体体分分布布类类型型已已知知条条件件下下使使用用的的一一种种参数估计方法参数估计方法 . 最大似然法的最大似然法的基本思想基本思想 先看一个简单例子：先看一个简单例子：某位同学与一位猎人一某位同学与一位猎人一起外出打猎起外出打猎 .一只野兔从前方窜过一只野兔从前方窜过 .是
9、谁打中的呢？是谁打中的呢？如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 . 最最大大似似然然法法是是利利用用已已知知的的总总体体的的概概率率密密度度（概概率率分分布布）及及样样本本，根根据据概概率率最最大大的的事事件件在在一一次次试试验验中中最最可可能能出出现现的的原原理理，求求总总体体的的概概率率密密度度（或或概概率率分分布布）中中所所含含未未知知参参数数的的点估计的方法点估计的方法 . 只发一枪便打中只发一枪便打中,猎人命中的概率一般大猎人命中的概率一般大于这位同学命中的概率于这位同学命中的概率. 看来这一枪是猎人看来这一枪是猎
10、人射中的射中的 . 这个例子所作的推断已经体现了最大似这个例子所作的推断已经体现了最大似然法的基本思想然法的基本思想 .求最大似然估计量的步骤求最大似然估计量的步骤: 最大似然估计法也适用于分布中含有最大似然估计法也适用于分布中含有多个未知参数的情况多个未知参数的情况. 注意注意 与与 达到极大值的自变量达到极大值的自变量 相同相同,故问题可转化为求故问题可转化为求lnf (p)的的. 极大值点极大值点.对数似对数似然方程然方程7-23则定义似然函数为则定义似然函数为若关于关于 1, , k可微可微,则称则称3 总体的分布中含有多个未知参数的情形总体的分布中含有多个未知参数的情形 设设X 的密
11、度的密度(或分布或分布)为为为似然方程组.若对于某组给定的样本值若对于某组给定的样本值 x1, x2, xn，参数参数 使似然函数取得最大值使似然函数取得最大值, 即即 则称为为 1, k 的的最大似然估计值最大似然估计值7-24(MLE) maximum likelihood estimate说明：说明：1 上述求最大似然估计的方法，要求上述求最大似然估计的方法，要求lnL可微可微，若不满足此条件，则须从定义出发求最大似若不满足此条件，则须从定义出发求最大似然估计然估计.2 似然方程组是最大似然估计的必要条件，似然方程组是最大似然估计的必要条件，而非充分条件而非充分条件.3 有有时极大似然估
12、极大似然估计并不唯一并不唯一.4 同一未知参数其矩估同一未知参数其矩估计与极大似然估与极大似然估计未未必相同必相同.解解似然函数似然函数例例10下面举例说明如何求最大似然估计下面举例说明如何求最大似然估计这一估计量与矩估计量是相同的这一估计量与矩估计量是相同的.解解例例1111这一估计量与矩估计量是相同的这一估计量与矩估计量是相同的.例例12 设总体具有分布律设总体具有分布律0123今有样本今有样本3,1,3,0,3,1,2,3求求 的矩估计值和最大似然估计值的矩估计值和最大似然估计值.对于给定的样本值对于给定的样本值:0出现出现1次次,1出现出现2次次, 2出现出现1次次,3出现出现4次次,
13、故似然函数为故似然函数为 与矩估计量相同与矩估计量相同解：似然函数为解：似然函数为对数似然函数为对数似然函数为例例14 4 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本求求 的最大似然估计的最大似然估计.其中其中 0,求导并令其为求导并令其为0，得，得=0从中解得从中解得即为即为 的的MLE .对数似然函数为对数似然函数为解解似然函数为似然函数为例例1 15取对数取对数,得得得得它们与相应的它们与相应的矩估计量相同矩估计量相同.解解例例1616分析分析与矩估计不同与矩估计不同例例17. 设设X服从服从0,区间上的均匀分布区间上的均匀分布,参数参数0,求求的最大似然估计的最大似
14、然估计.解解:由题意得由题意得:无解无解.基本方法失效基本方法失效.应用最大似然估计基本思想应用最大似然估计基本思想: L越大越大,样本观察值越可能出现样本观察值越可能出现.考虑考虑L的取值的取值,要使要使L取值最大取值最大,应最小应最小,此时此时,L取值最大取值最大,取取所以所以,所求最大似然估计为所求最大似然估计为解：似然函数为解：似然函数为 例例18 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的最大似然估计的最大似然估计.i=1,2,n对数似然函数为对数似然函数为解：似然函数为解：似然函数为i=1,2,n=0 (2)由由(1)得得=0 (1)对对
15、分别求偏导并令其为分别求偏导并令其为0,对数似然函数为对数似然函数为用求导方法无法最终确定用求导方法无法最终确定用最大似然原则来求用最大似然原则来求 . .是是对对故使故使 达到最大的达到最大的 即即 的的MLE 于是于是 取其它值时，取其它值时，且是且是 的增函数的增函数4 最大似然估计的性质最大似然估计的性质(不变性原理）不变性原理）证明证明U, 此性质可以推广到总体分布中含有多此性质可以推广到总体分布中含有多个未知参数的情况个未知参数的情况. .P192-3-P192-3-（3 3）课堂练习：课堂练习： 设总体设总体 试求试求 的极大似然估计量。的极大似然估计量。三、小结三、小结两种求点
16、估计的方法两种求点估计的方法:矩估计法矩估计法最大似然估计法最大似然估计法 在统计问题中往往先使用最大似然估计法在统计问题中往往先使用最大似然估计法, 在最大似然估计法使用不方便时在最大似然估计法使用不方便时, 再用矩估计法再用矩估计法. 这一讲，我们介绍了参数点估计，给出了这一讲，我们介绍了参数点估计，给出了寻求估计量最常用的矩法和极大似然法寻求估计量最常用的矩法和极大似然法 . 参数点估计是用一个确定的值去估计未参数点估计是用一个确定的值去估计未知的参数知的参数. 看来似乎精确，实际上把握不大看来似乎精确，实际上把握不大. 为了使估计的结论更可信，需要引入区间估为了使估计的结论更可信，需要引入区间估计计. 这是下一讲的内容这是下一讲的内容 .
