《最大似然估计的原理及其应用》由会员分享，可在线阅读，更多相关《最大似然估计的原理及其应用（3页珍藏版）》请在金锄头文库上搜索。
1、摘要：了解最大似然估计的原理，并通过其原理来解决生活中的某些概率与统计的问题。引言：似然函数了区日血）是e的函数，表示由参数e产生样本值了（兀兀眯禺）的“可能性”大小。将样本观察看成“结果” e是产生结果的“原因” 了（兀兔耳；（）则是度量产生该结果的各种 “原因”的机会。因此，e的一个合理的 估计应使这种机会（即了（工同尼宀战）达到最大的那个值。关键词：似然函数，最大似然估计，最大似然估计值。（1）似然函数设描述总体的随机变量X的概率密度函数为角甩屁），其中01，0 2，k都是 总体的未知参数（若x是离散型的，则约定帆砥息）表示概率分布 息），总体的样本X X2，X的测量值为Xr X2Xn，
2、也可以12n理解为是n维独立随机向量（Xj,X2，X ）的一个测量值。即是说，对一维随机变 量进行n次测量得到的n个测量值可以看成是对n维独立的随机向量进行一次测量得到的 n个测量值。由于n维随机向量的联合概率密度为打 f （x ;0 ,0 ,.0 ）0 0 0显然，对于样本的一个测量值，它是01 020k的函数，记为L =圮珂，习，用护，兔色）并称它为似然函数，简记为L。对于离散型随机变量。0 0 0应该注意，似然函数与参数J 020k有关，对于给定的样本值，它是这些参数 的函数。（2）最大似然估计值设总体含未知参数010 20 k，对于给定的样本值羽兀兀如有i 12ki 12ki=1i=1
3、Hf（x；0,0 ,.,0）Hf（x；0 ,0 .0）0 0 0 0 0 0 0 0 0 其中01, 02, 0k为未知参数01,0 2, 0 k可能取的某一组值，而0 1 0 20 k为0 0 0 0 0 0 0 0 001020k的一切其他可能取值，此时，我们可认为01,02,0k，比k作为0 0 0 0 0 000 01 2 k的估值要好些。这是因为不等式说明，1 2 k取1 2 k时得到样本x x x0 00值, J,xn的可能性最大，这样的估计值就是01,02, 0k的最大似然估计值。因此，可八 八八0 0 06 n6以有定义：如果似然函数L在01,0 2, k分别取1 2 k时达到
4、最大值，则称八 八八6 nn0 001 2 k分别是01 0 2 0 k的最大似然估计值。（3）求最大似然估计值的方法我们认为，如果在一次测量中一个事件出现了，那么就可以认为此事件出现的可能性最 大。在这里，(X1 JXn )作为n维随机向量的一个测量值出现了，那么就认为只有似然 函数为最大才有可能。因为似然函数为最大，对应事件出现的可能性才最大。所以求似然函 数L的最大值问题也就是求总体的未知参数的最大似然估计值的问题了。A AAAAA在L关于A1A2Ak可微时，要使L取最大值，A1 A2Ak必须满足方程组AAAAAA由此方程组解得A1A2Ak的值，即为最大似然估计值1 2k。显然，最大似然
5、 估计值与样本测量值X1 X2Xn的取值有关，故可记为 j W X2J) j二1 2并称 为估值。由于似然函数式是多个因子的乘积，利用对数In L进行计算比较方便，并且因为InX A A A是X的单调上升函数，故L与In L有相同的极大点，从而A1A2Ak的最大似然估计值还 可由下列方程组(称为似然方程组)求得38.注在实际问题中，常常由于似然函数很复杂，而无法由解方程组(4-7)求出最大 似然估计的解析表达式。只有利用适当的近似计算方法求似然方程组的近似解，或者利用计 算数学中寻求函数极值点的最优化技术，在计算机上进行优选计算，搜索出使似然函数最大 八 八八A AAAAA的参数值1 A2k，
6、作为参数A1 A2Ak的最大似然估计值。(4) 最大似然估计法具有下述性质：若A1 A2Ak为f (X；A1A 2A丿中参数的最大似然估计值，又函数 =u (A AA)U = u (A A . A )=(A1 A2丿具有单值反函数，贝y1 2k 。因此，当已知Ib= k2有单值反函数时，则有八i 八O =2上式即是。的最大似然估计。(5) 最大似然估计的应用例 设有外形完全相同的两个箱子,甲箱有99个白球1个黑球,乙箱有1个白球99个黑球.今 随机地抽取一箱,然后再从这箱中任取一球,结果发现是白球.问这个箱子是甲箱还是乙箱 分析 我们这里做的是统计推断而不是逻辑推断。所谓统计推断，就是根据已知
7、的部分数据 对总体的进行估计的一种推断方法。从部分推断总体，必然伴随着一定的犯错误的概率。因 此从逻辑上认起死理来，统计推断似乎因为不太严谨而被排斥在“科学推断”之外了。但是 在实际生活中，如果都要按照逻辑推断来思考，那么将会给你的生活带来很大的麻烦。比如 出门，则难免会有一定的概率出一定的意外，因此所谓“安全回家”在逻辑上便不再是绝对 可靠的，故而你只能选择闭门不出。现在的问题是，仅仅从取出的球是白球这一点是无法从逻辑上严格加以判定该箱究竟是 甲箱还是乙箱的。但是如果现在一定要我们做出选择，那么我们只能这样来考虑：从箱中取 出的球是白球这一点来看，甲箱和乙箱哪个看上去更像是真正从中取球的箱子
8、我们这样来分析：如果该箱是甲箱,则取得白球的概率为；如果该箱是乙箱,则取得白球 的概率因此，用“该箱是甲箱”来解释所取的球是白球这一事件更有说服力一些，从而我 们判定甲箱比乙箱更像一些。最后我们做出推断,这球是从甲箱取出的.其实，如果我们从“最大似然”的原文maximum likelihood来看，就会发现这个名称的 原始含义就是“看起来最像”的意思。“看起来最像”，在很多情况下其实就是我们决策时的依据。一个总体往往都有若干个重要的参数。比如，对于正态总体来说，均值和方差就是两个 非常重要的参数。但是在很多情况下，这些参数往往是不知道的，这就需要我们利用抽样所 得的部分数据来做统计推断。假设我
9、们现在获得了一组数据，记为x,我们需要做的是，利用x中所包含的信息来推 断总体中的未知参数值。显然，未知参数是有其取值的范围的，我们现在要做的是，在参数 可能的取值范围内寻找到一个“看起来最像”的那个值来作为未知参数的估计值。现在，假设有甲乙两支足球队要进行比赛，某老汉很认真地看了这两支足球队的相关资 料，并作了细致的分析，得出了甲队战胜乙队的概率为p。但是在第二天被朋友问及此事时， 该老汉一时犯昏把数字给记混了。他只知道甲队战胜乙队的概率 p 只可能取如下几个值 0，但一点也记不清到底哪个数字才是真实的。也就是说，在这个时候，这五个数字没 有哪一个看上去更像是真实的P。于是他开始翻看随身携带的一些资料，发现与这两支足球 队有关的资料只有一条，这就是他们在某日的比赛中以平局收场。看完这条资料以后，老汉再来看以上这六个数字时，发现看起来最像，因为用来解释刚 才看到的资料最有说服力。如果老汉看到的资料中说甲队在某日的比赛中战胜了乙队，那么此时将是看起来最像 的。（6）总结通过对最大似然估计的学习，了解了许多生活中的例子与其的相关性，结合实例的学习 更加深了对这种方法的理解。
