《极大似然估计法算法简介》由会员分享，可在线阅读，更多相关《极大似然估计法算法简介（9页珍藏版）》请在金锄头文库上搜索。
1、1概率论与数理统计典型教案教学内容：极大似然估计法教学目的：通过本节内容的教学，使学生：1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用的参数估计方法；2、理解极大似然思想；3、掌握求极大似然估计值的一般步骤，会求常见分布参数的极大似然估计值教学重点：1、对极大似然思想阐述；2、极大似然估计值的求解教学难点：对不能通过求导方法获得极大似然估计的值的确定教学时数：学时教学过程：引例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎
2、人射中的这个例子所作的推断就体现了极大似然法的基本思想一、极大似然思想一般地说，事件 与参数 有关， 取值不同，则 也不A)(AP同若 发生了，则认为此时的 值就是 的估计值这就是极大似然思想看一例子：例、设袋中装有许多黑、白球，不同颜色球的数量比为 3:1，试设计一种方法，估计任取一球为黑球的概率 分析：易知 的值无非是 1/4 或 3/4为估计 的值，现从袋中有P放回地任取 3 只球，用 表示其中的黑球数，则 按极大似X),3(PbX然估计思想，对 的取值进行估计解：对 的不同取值， 取 的概率可列表如下:3,210k2 X41P62746941327故根据极大似然思想即知： 3,410k
3、P在上面的例子中， 是分布中的参数，它只能取两个值：1/4 或3/4，需要通过抽样来决定分布中参数究竟是 1/4 还是 3/4在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于 的值，为此需P要用 1/4、3/4 分别去计算此概率，在相对比较之下，哪个概率大，则就最象那个P二、似然函数与极大似然估计1、离散分布场合：设总体 是离散型随机变量，其概率函数为 ，其中 是未知X);(xp参数设 为取自总体 的样本 的联合概率n,21LXnX,21L函数为 ，这里， 是常量， 是变量niip1);(n,21若我们已知样本取的值是 ，则事件nx,21L发生的概率为 这一概率随 的,21nxXxX
4、Liip1);(值而变化从直观上来看，既然样本值 出现了，它们出现的nx,2L概率相对来说应比较大，应使 取比较大的值换句话说，niixp1);(应使样本值 的出现具有最大的概率将上式看作 的函数，nx,21L 并用 表示，就有：)(L3（）niixpxL121 );();,() 称 为似然函数极大似然估计法就是在参数 的可能取值范围 内，( 选取使 达到最大的参数值 ，作为参数 的估计值即取 ，使)L（）);,(max);,( 2121 nnxLx因此，求总体参数 的极大似然估计值的问题就是求似然函数的最大值问题这可通过解下面的方程 （）)(L 0(dL来解决因为 是 的增函数，所以 与 在
5、 的同一值处取得最Llnln大值我们称 为对数似然函数因此，常将方程（）写)()(成： （）0ld方程（）称为似然方程解方程（）或（）得到的 就是参数的极大似然估计值如果方程（）有唯一解，又能验证它是一个极大值点，则它必是所求的极大似然估计值有时，直接用（）式行不通，这时必须回到原始定义（）进行求解、连续分布场合：设总体 是连续离散型随机变量，其概率密度函数为 ，若X );(xf取得样本观察值为 ，则因为随机点 取值为nx,21L,(21nXL时联合密度函数值为 所以，按极大似然法，),(21nxLiixf1);应选择 的值使此概率达到最大我们取似然函数为，再按前述方法求参数 的极大似然估计值
6、niixf1);()(三、求极大似然估计的方法41、可通过求导获得极大似然估计：当函数关于参数可导时，常可通过求导方法来获得似然函数极大值对应的参数值例、设某工序生产的产品的不合格率为 ，抽 个产品作检验，pn发现有 个不合格，试求 的极大似然估计Tp分析：设 是抽查一个产品时的不合格品个数，则 服从参数为XX的二点分布 抽查 个产品，则得样本 ，其观察p),1(bnn,21L值为 ，假如样本有 个不合格，即表示 中有 个nx,21LTxT取值为， 个取值为按离散分布场合方法，求 的极大似然T p估计解：（）写出似然函数： ni xxiiPpL11)()(（）对 取对数，得对数似然函数 ：)(
7、pLl nini ii pxpxxpl 11 )l()l()1ln(l)(（）由于 对 的导数存在，故将 对 求导，令其为，)(pl l得似然方程： 0)1()1(1 11 nini xpnpxd（）解似然方程得： npi1（）经验证，在 时， ，这表明 可使似然函x0)(2dl xp数达到最大（）上述过程对任一样本观测值都成立，故用样本代替观察值便得 的极大似然估计为：pXp将观察值代入，可得 的极大似然估计值为： ，其中nTxp5nixT1若总体 的分布中含有多个未知参数 时，似然函数 是Xk,21LL这些参数的多元函数 代替方程（） ，我们有方程组),(1kL，由这个方程组解得 分别是参
8、数),2(0)(lniLi k,21的极大似然估计值k,21例、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从，其中 未知为估计 ，从中随机抽取 根轴，),(2N2, 2,10n测得其偏差为 试求 的极大似然估计1021xL分析：显然，该问题是求解含有多个（两个）未知参数的极大似然估计问题通过建立关于未知参数 的似然方程组，从而进行求2,解解：（）写出似然函数： 212 )(21)(2 ),( nii xnixeeL（）写出对数似然函数： 2122 )()ln(),( niixl （）将 分别对 求偏导，并令它们都为，得似然,2l、方程组为： 0)(21),( 242niiiixl （）
9、解似然方程组得：6，xniix122)(（）经验证 使 达到极大，2,2l（）上述过程对一切样本观察值成立，故用样本代替观察值，便得 的极大似然估计分别为：2,， X 212)(nniiSX、不可通过求导方法获得极大似然估计：当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义（）出发直接求 的)(L极大值点例 4、设总体 服从均匀分布 ，从中获得容量为 的样本X),0(Un，其观测值为 ，试求 的极大似然估计nX,21Lnx,21L分析：当写出其似然函数 时，我们会发现 的非零区域与)()(L有关，因而无法用求导方法来获得 的极大似然估计，从而转
10、向定义（）直接求 的极大值)(L解：写出似然函数： 其 它 场 合,0)()()1(nnx为使 达到极大，就必须使 尽可能小，但是 不能小于 ，L )(nx因而 取 时使 达到极大，故 的极大似然估计为：)(nx)()(nX进一步，可讨论估计 的无偏性：7由于总体 ，其密度函数与分布函数分别为：),0(UX， ，从而 的概率密度函数其 它,1)(xxpxF,10,)( )(nX为： ynypnn0,)(1 1)()() 00 ndXEn这说明 的极大似然估计 不是 的无偏估计，但对 作一修正可)(nX得 的无偏估计为： )(1通过修正获得未知参数的无偏估计，这是一种常用的方法在二次世界大战中，
11、从战场上缴获的纳粹德国的枪支上都有一个编号，对最大编号作一修正便获得了德国生产能力的无偏估计综上，可得求极大似然估计值的一般步骤四、求极大似然估计的一般步骤1、由总体分布导出样本的联合概率函数（或联合密度） ；2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数 看作自变量，得到似然函数 ；)(L3、求似然函数 的最大值点（常转化为求对数似然函数 的)(L )(l最大值点） ；4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值五、极大似然估计的不变性求未知参数 的某种函数 的极大似然估计可用极大似然估计的)(g不变原则，证明从略8定理（不变原则）设 是 的极大似然估计
12、， 是 的连续函数， )(g则 的极大似然估计为 )(g)(g例 5、设某元件失效时间服从参数为 的指数分布，其密度函数为， 未知现从中抽取了 个元件测得其失效时间0,);(xexf n为 ，试求 及平均寿命的极大似然估计n,21L分析：可先求 的极大似然估计，由于元件的平均寿命即为 的期X望值，在指数分布场合，有 ，它是 的函数，故可用极大似然1)(XE估计的不变原则，求其极大似然估计解：（）写出似然函数： nii xnixeL11)(（）取对数得对数似然函数： nil1l)(（）将 对 求导得似然方程为：)(l 01nixdl（）解似然方程得： xni1经验证， 能使 达到最大，由于上述过程对一切样本观察值成)(l立，故 的极大似然估计为： ；X1根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：XE1)(五、小结1、极大似然估计的思想；2、求解未知参数极大似然估计的一般步骤；93、极大似然估计的不变原则五、作业见参考文献 1 的第 278 页第 4，5，6 页参考文献：1、苏均和主编：概率论与数理统计，上海财经大学出版社1999 年 1 版2、茆诗松等编著：概率论与数理统计，中国统计出版社1999 年 1 版3、魏振军编：概率论与数理统计三十三讲，中国统计出版社2000 年 1 版4、唐生强主编：概率论与数理统计复习指导，科学出版社1999 年 1 版
