【精选】第十七讲 极大似然估计

《【精选】第十七讲 极大似然估计》由会员分享，可在线阅读，更多相关《【精选】第十七讲 极大似然估计（10页珍藏版）》请在金锄头文库上搜索。

1、第十七讲 极大似然估计首先看矩估计法可能存在的问题。（上节课最后一道例题）设总体 X 的均值和方差 都存在，且有 .但 ，202均为未知。又设 是来自2 ,(1 )nX 的样本。试求 ， 的矩估计量。2例题的求解结论为：，niiX122例 设 ， 未知，)(X是 的一个样本，求 。,(21n 解 1： ， .)(EX解 2： , .Dnii12显然， 是两个不同的统niiX12)(与计量，但都是 的估计。就会给应用带来不便，为此， R.A.Fisher 提出了以下的改进的方法：最（极）大似然估计法。1. 基本思想：若总体 X 的分布律为 或);()(xpXP密度函数为 ，其中);(xf为待估参

2、数（ ） 。,(21k设 是来自总体 的一个)n样本， 是相应于样本的一样本,(21x值，易知：样本 取到观测值),(21nX的概率为),(21nxniinxpxXPp121 );(, 第七章 参数估计第一节 点估计,)(1XE222联立以上两式解得.,212，XAniiniiX12212基本思想简述：将简单随机样本 取相应的样),(21nX本值看作是一随机事件，既然这一事件已经发生，则说明该事件发生的可能性是比较大的。因此，不妨依据总体 X 的分布构造出该事件发生的概率，并通过改变总体 X 的待求分布参数，使该事件发生的概率趋于最大，并将使该事件发生的概率取最大值的相应分布参数值作为待求参数

3、的估计值。，或样本 落在点),(21nX的邻域（边长分别为 ),(21nx ,21dx的 维立方体）内的概率近似地为d（微分中值定理），令iiifp1);(或niinxpxL12 );();,) ，则niinf121 ;,(概率 随 的取值变化而变化，它是 的函p数， 称为样本的似然函数（注意，这)(L里的 是已知的样本值，它们都是nx,21常数） 。如果已知当 时使 取最大0)(L值，我们自然认为 作为未知参数 的估计较为合理。最大似然方法就是固定样本观测值，在 取值的可能范围 内，),(21nx 挑选使似然函数 达);,(21nxL到最大（从而概率 达到最大）的参数值p作为参数 的估计值，

4、即，);,(max);,( 2121 nn xxL 这样得到的 与样本值 有关，,常记为 ，称之为参数 的最),(21n大似然估计值，而相应的统计量称为参数 的最大似然估),(21nX计量。这样将原来求参数 的最大似然估计值问题就转化为求似然函数 的最大值)(L问题了。2. 具体做法:在很多情况下， 和 关);(xp);(f于 可微，因此据似然函数的特点，常把它变为如下形式： （或niifL1);(l)(l） ，该式称为对数似然函数。由niixp1);(l高等数学知： 的最大值点相)(ln(与同，令 ，求解得：kiLi ,210)l，从而可得参数 的极大),(21nx似然估计量为 ； ),(2

5、1nX若 和 关于 不可微时，);p);f需另寻方法。例 设 ， 为未知参数，),1(BXp是来自总体 的一个样本，,(21n X求参数 的极大似然估计。p解：设 是相应于样本),(21nx的一个样本值。,X因为总体 的分布律为：， =0,1xxpP1)(故似然函数为niniii xxni xx ppL11)()1()(,xi 20而 ni ni )pl()x(pl)x()pLl11令 ，解得0)(ln11pnini niinini xpx111的最大似然估计值为 。p1nipx所以 的最大似然估计量为：。Xnpii1例：设 ， ， 未知，),(2N2为 的一个样本，,(21n是 的一个样本)

6、x ),(21n值，求 ， 的极大似然估计值及相应的估计量。解： RxexfXx2)(1),;(所以似然函数为： niinixxnieL1222)()(212)(),( 取对数： niixnL1222 )()l(l), 令 niiniixLx124221 0)()(l)(由前一式解得 ，代入后一式ni1得 niix122)(的极大似然估计量分别为：,Xnii1212)(BXnii例：设 , 未知，baU是一个样本值，求 的极大),(21nx ba,似然估计。解：由于 ，其 它01)(xfX似然函数为： 其 它0,)(1),( 21bxabaLnn通过分析可知，用解似然方程极大值的方法求极大似然

7、估计很难求解（因为无极值点） ，所以可用直接观察法：记 ，有ininxx1)(1)( ma,bbxa)(21 ,则对于满足条件： 的任意xn)(1有b, nnabL)(), )1()(即 在 时取得最大值(a1,xnnx)(),1()max故 的极大似然估计值为b,， 的ininxbx1)(1)( ma, b,极大似然估计量为。iniini XXa1)(1)(,（课间休息）3. 最大似然估计的性质设 的函数 ， 具有单值)(u反函数 。又设 是 的概率分布中)(X参数 的最大似然估计，则 是)(的最大似然估计。)(u例如，在例 3 中得到 的极大似然估2计为 ，而niiX12)(具有单值反函数

8、22)(u。0据上述性质有：标准差 的极大似然估计为 niiX122)(4.基于截尾样本的最大似然估计（1）寿命分布的定义产品寿命 T 是一个随机变量,它的分布称为寿命分布.（2）完全样本的定义将随机抽取的 个产品在时间 时, n0t同时投入试验，直到每个产品都失效，记录每一个产品的失效时间，这样得到的样本（即由所有产品的失效时间所组成的样本）叫完全样ntt210本。(一种典型的寿命试验)获得完全样本的时间周期较长,花费较大,在实际中很难实现. 如果不能得到完全样本, 就考虑截尾寿命试验.（3）两种常见的截尾寿命试验定时截尾寿命试验：假设将随机抽取的 个n产品在时间 时同时投入试验，试验进0t

9、行到事先规定的截尾时间 停止。如试验截0t止时共有 个产品失效，它们的失效时间m分别为 ，此时 是一0210ttm个随机变量，所得的样本 称为定m,21时截尾样本。定数截尾寿命试验：假设将随机抽取的 个n产品在时间 时同时投入试验，试验进0t行到有 个（ 是事先规定的， ）产mm品失效时停止， 个失效产品的失效时间分别为 ，这里 是第m个tt210t产品的失效时间。所得的样本 称,21为定数截尾样本。（4）基于截尾样本的最大似然估计设产品的寿命分布是指数分布, 其概率密度是，0,1)(tetft未知。0定数截尾样本的最大似然估计：设有n个产品投入定数截尾试验, 截尾数为m, 得定数截尾样本 。

10、利用这一样本mtt210估计未知参数 (产品的平均寿命). 在时间区间 有m个产品失效，有n-m个产品的t,寿命超过 。利用最大似然估计法来估计 ，为了确定似然函数, 观察上述结果出现的概事件 n 个产品中在时间区间有 m 个产品失效，有 n-m 个t,0产品的寿命超过 的可能结果共t率.产品在 失效的概率近似地为,(iidtt，itietfi1) .,21m其余n-m个产品寿命超过 的概率为mtntnttmede1上述观察结果出现的概率近似地为 mtmnttmn mnttttn dteCedm 21)(1221 其中， 为常数。dtt,21取似然函数为 mtnttmeL)(12)(对数似然函

11、数为 mmi tnt)(1ln)(l令 ，即0dL0)(12mmi tnt得到 的最大似然估计值为 tstntmmi )()(1其中， 称为总试验时mimttts)()(1间，它表示直到时刻 为止 个产品的试验tn有 个，每一个结果发生的概率mnC为 mntttt meded112若任何一个可能结果出现，则该事件发生，又各可能结果互不相容，因此，该事件概率为各可能结果的概率之和。时间的总和。定时截尾样本的最大似然估计：设定时截尾样本 （其中 是截尾0210ttm 0t时间） 。与上面讨论类似, 得似然函数为021)()(tnttmmeL的最大似然估计值为 tstnti )()(100其中， 称

12、为总试验时010)()(tmttsi间，它表示直到时刻 为止 个产品的试验0tn时间的总和。例：设电池的寿命服从指数分布, 其概率密度是，0,1)(tetft未知。随机地取50只电池投入寿命试0验, 规定试验进行到其中有15只失效时结束试验, 测得失效时间(小时)为115, 119, 131, 138, 142, 147, 148, 155, 158, 159, 163, 166, 167, 170, 172. 试求电池的平均寿命 的最大似然估计值。解： ， ，50n1m115 + 119 131 + 138 + 142 + 147 )(1ts+ 148 + 155 + 158 + 159 + 163 + 166 + 167 + 170 + 172 + 172 =8270)150(的最大似然估计值为).(3.518270)(15小 时mts