《概率论与数理统计第十七讲.ppt》由会员分享，可在线阅读，更多相关《概率论与数理统计第十七讲.ppt（37页珍藏版）》请在金锄头文库上搜索。
1、概率论与数理统计概率论与数理统计基于截尾样本的最大似然估计基于截尾样本的最大似然估计估计量的评选标准估计量的评选标准 矩法估计的优点是简单易行矩法估计的优点是简单易行,并不需要并不需要事先知道总体是什么分布事先知道总体是什么分布 . 缺缺点点是是，当当总总体体类类型型已已知知时时，没没有有 充充分分利利用用分分布布提提供供的的信信息息 . 一一般般场场合合下下,矩矩估估计计量不具有唯一性量不具有唯一性 . 其主要原因在于建立矩法方程时，选取其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随那些总体矩用相应样本矩代替带有一定的随意性意性 .2 一一、 最大似然法最大似然法
2、最最大大似似然然法法是是在在总总体体类类型型已已知知条条件件下下使用的一种参数估计方法使用的一种参数估计方法 . 它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的 , Gauss Fisher 然而，这个方法常归功然而，这个方法常归功于英国统计学家于英国统计学家费歇费歇 . 费歇费歇在在1922年重新发现了年重新发现了 这一方法，并首先研究了这这一方法，并首先研究了这 种方法的一些性质种方法的一些性质 . 最大似然法的基本思想最大似然法的基本思想3例例1 设设XB(1,p), p未知未知.设想我们事先知道设想我们事先知道p只有两种可能只有两种可能:问问:应如何估计应
3、如何估计p?p=0.7 或或 p=0.3如今重复试验如今重复试验3次次,得结果得结果: 0 , 0, 0.由概率论的知识由概率论的知识, 3次试验中出现次试验中出现“1”的次数的次数k=0,1,2,34 将计算结果列表如下：将计算结果列表如下：应如何估计应如何估计p?p=0.7 或或 p=0.3p值值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.189 0.027出现出现估计估计出现出现出现出现出现出现估计估计估计估计估计估计0.3430.4410.4410.343k=0,1,2,35 最大似
4、然估计原理：最大似然估计原理： 当给定样本当给定样本X1,X2,Xn时，定义时，定义似似然函数然函数为：为： 设设X1,X2,Xn是取自总体是取自总体X的一个样本，的一个样本，样本的联合密度（连续型）或联合分布律样本的联合密度（连续型）或联合分布律(离散型离散型)为为 f (X1,X2,Xn; ) .f (X1,X2,Xn; )6 似然函数：似然函数： 最大似然估计法就是用使最大似然估计法就是用使 达到最达到最 大值的大值的 去估计去估计 . 称称 为为 的最大似然估计（的最大似然估计（MLE）. 看作参数看作参数 的函数，它可作为的函数，它可作为 将以多将以多大可能产生样本值大可能产生样本值
5、X1,X2,Xn的一种度量的一种度量 . f (X1,X2,Xn; )7 (4) 在最大值点的表达式中在最大值点的表达式中, 用样本值代入用样本值代入 就得参数的最大似然估计值就得参数的最大似然估计值 .求最大似然估计求最大似然估计(MLE)的一般步骤是：的一般步骤是：(1)由总体分布导出样本的联合分布律（或由总体分布导出样本的联合分布律（或(2) 联合密度）联合密度）;(2) 把样本联合分布律把样本联合分布律(或联合密度或联合密度)中自变中自变 量看成已知常数量看成已知常数,而把参数而把参数 看作变量看作变量, 得到得到似然函数似然函数L( );(3) 求似然函数求似然函数L( ) 的最大值
6、点的最大值点(常常转化常常转化 为求为求ln L( )的最大值点的最大值点) ，即，即 的的MLE;8两点说明：两点说明：1、求似然函数、求似然函数L( ) 的最大值点，可以应的最大值点，可以应用微积分中的技巧。由于用微积分中的技巧。由于ln(x)是是x的增函的增函数，数，lnL( )与与L( )在在 的同一值处达到的同一值处达到它的最大值，假定它的最大值，假定 是一实数，且是一实数，且lnL( )是是 的一个可微函数。通过求解所谓的一个可微函数。通过求解所谓“似似然方程然方程”：可以得到可以得到 的的MLE .2、用上述求导方法求参数的、用上述求导方法求参数的MLE有时行有时行不通，这时要用
7、最大似然原则来求不通，这时要用最大似然原则来求 .9L(p)= 例例1 设设X1,X2,Xn是取自总体是取自总体 Xb(1, p) 的的一个样本，求参数一个样本，求参数p的最大似然估计量的最大似然估计量.解：似然函数为解：似然函数为: 10对数似然函数为：对数似然函数为：对对p求导并令其为求导并令其为0，=0得得即为即为 p 的的MLE .11解：似然函数为解：似然函数为对数似然函数为对数似然函数为例例2 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本求求 的最大似然估计的最大似然估计.其中其中 0,12求导并令其为求导并令其为0=0解得解得即为即为 的的MLE .对数似然函数
8、为对数似然函数为13解：似然函数为解：似然函数为 例例3 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的最大似然估计的最大似然估计.i=1,2,n14对数似然函数为对数似然函数为解：似然函数为解：似然函数为i=1,2,n15=0 (2)由由(1)得得=0 (1)对对 分别求偏导并令其为分别求偏导并令其为0,对数似然函数为对数似然函数为用求导方法无法最终确定用求导方法无法最终确定用最大似然原则来求用最大似然原则来求 .16即即对对 使使 达到最大的达到最大的 即即 的的MLE， 于是于是 取其它值时，取其它值时，且是且是 的增函数的增函数由于由于17第二次捕
9、出的有记号的鱼数第二次捕出的有记号的鱼数X是是r.v, X具有具有超几何分布：超几何分布： 为了估计湖中的鱼数为了估计湖中的鱼数N，第一次捕上第一次捕上r条条鱼，做上记号后放回鱼，做上记号后放回. 隔一段时间后隔一段时间后, 再捕再捕出出S条鱼条鱼, 结果发现这结果发现这S条鱼中有条鱼中有k条标有记条标有记号号.根据这个信息，如何估计湖中的鱼数呢？根据这个信息，如何估计湖中的鱼数呢？我们用最大似然法估计湖中的鱼数我们用最大似然法估计湖中的鱼数.18应取使应取使L(N;k)达到最大的达到最大的N，作为作为N的最大似的最大似然估计然估计. 但用对但用对N求导的方法相当困难求导的方法相当困难, 我们
10、我们考虑比值考虑比值：把上式右端看作把上式右端看作N的函数，记作的函数，记作L(N;k) .经过简单的计算知，这个比值大于或小于经过简单的计算知，这个比值大于或小于1，或或而定而定 .由由19经过简单的计算知，这个比值大于或小于经过简单的计算知，这个比值大于或小于1，或或而定而定 .由由 这就是说，当这就是说，当N增大时，序列增大时，序列P(X=k;N)先是上升而后下降先是上升而后下降; 当当N为小于为小于 的最的最大整数时大整数时, 达到最大值达到最大值 . 故故N的最大似然的最大似然估计为估计为捕鱼问题捕鱼问题20 二二、基于截尾样本的最大似然估计、基于截尾样本的最大似然估计 研研究究产产
11、品品可可靠靠性性时时，需需对对寿寿命命分分布布进行统计推断进行统计推断.完全试验完全试验完全样本完全样本非完全试验非完全试验截截尾尾寿命试验寿命试验定数截尾试验定数截尾试验定时截尾试验定时截尾试验21对定数截尾样本，取似然函数为对定数截尾样本，取似然函数为设设产品的寿命分布是指数分布，概率密度为产品的寿命分布是指数分布，概率密度为其中其中22对定时截尾样本，取似然函数为对定时截尾样本，取似然函数为其中其中23三、估计量的优良性准则三、估计量的优良性准则 评价一个估计量的好坏，不能仅仅依评价一个估计量的好坏，不能仅仅依 据一次试验的结果，而必须由多次试验结据一次试验的结果，而必须由多次试验结 果
12、来衡量果来衡量 . 因为估计量是样本的函数，是随机变量因为估计量是样本的函数，是随机变量 . 不同的观测结果，会求得不同的参数估计值不同的观测结果，会求得不同的参数估计值. 一个好的估计，应在多次试验中体现出优良一个好的估计，应在多次试验中体现出优良性性 .24 估计量是随机变量，对于不同的样本值估计量是随机变量，对于不同的样本值会得到不同的估计值会得到不同的估计值 . 我们希望估计值在未我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数真值附近摆动，而它的期望值等于未知参数的真值知参数的真值. 这就导致无偏性这个标准这就导致无偏性这个标准 . 1无偏性无偏性则称则称 为为 的无偏
13、估计量的无偏估计量 .设设是未知参数是未知参数 的估计量，若的估计量，若 常用的标准：常用的标准：1无偏性无偏性2有效性有效性3相合性相合性25是总体X 的样本,证明: 不论 X 服从什么分布,是的无偏估计量.证证例例2 2 设总体X 的 k 阶矩存在，因而由于26特别地 样本二阶原点矩 是总体是总体期望 E( X ) 的样本均值无偏估计量的无偏二阶原点矩估计量27例例3 3 设总体 X 的密度函数为为常数为 X 的一个样本证明与都是 的无偏估计量证证 故是 的无偏估计量.28令即故 n Z 是 的无偏估计量.29都是总体参数 的无偏估计量, 且则称 比 更有效.定义定义 设2.有效性有效性无
14、偏性的实际意义是指没有无偏性的实际意义是指没有系统性系统性的偏差的偏差 .无偏性是对估计量的一个常见而重要的要求无偏性是对估计量的一个常见而重要的要求 .30所以,比更有效.是 的无偏估计量,问哪个估计量更有效？ 由例4可知, 与 都为常数例例4 4 设总体 X 的密度函数为解解 ，31例例5 5 设总体 X，且 E( X )= , D( X )= 2 为总体 X 的一个样本证明是 的无偏估计量(2) 证明比更有效证证 (1) (1) 设常数32(2) 而结论结论算术均值比加权均值更有效. .33例如 X N( , 2 ) , ( X 1 ,X 2 ) 是一样本.都是 的无偏估计量由例5(2) 知最有效.34定义定义 设 是总体参数 则称是总体参数 的一致(或相合)估计量.的估计量. 若对于任意的 , 当n 时, 3.一致性一致性依概率收敛于 , 即一致性估计量仅在样本容量 n 足够大时,才显示其优越性.35关于一致性的两个常用结论关于一致性的两个常用结论 1. 样本 k 阶矩是总体 k 阶矩的一致估计量. 是 的一致估计量.由大数定律证明由大数定律证明用切贝雪夫不用切贝雪夫不 等式证明等式证明矩法得到的估计量一般为一致估计量在一定条件下, 极大似然估计具有一致性2. 设 是 的无偏估计 量, 且 , 则3637
