最大似然估计概述

《最大似然估计概述》由会员分享，可在线阅读，更多相关《最大似然估计概述（14页珍藏版）》请在金锄头文库上搜索。

1、最大似然估计概述最大似然估计 是一种统计方法 ，它用来求一个样本集的相关概率密度函数的参数。这个方法最早是遗传学家以及统计学家罗纳德费雪 爵士在 1912年至 1922 年间开始使用的。 “似然”是对 likelihood 的一种较为贴近文言文的翻译， “似然”用现代的中文来说即“可能性” 。故而，若称之为“最大可能性估计”则更加通俗易懂。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计 的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。 最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，

2、如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。通俗一点讲，就是在什么情况下最有可能发生已知的事件。举个例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？我想很多人立马有答案：70%。这个答案是正确的。可是为什么呢？（常识嘛！这

3、还要问？！）其实，在很多常识的背后，都有相应的理论支持。在上面的问题中，就有最大似然法的支持例如，转换出现的概率大约是颠换的三倍。在一个三条序列的比对中，如果发现其中有一列为一个C，一个 T 和一个 G，我们有理由认为，C 和 T 所在的序列之间的关系很有可能更接近。由于被研究序列的共同祖先序列是未知的，概率的计算变得复杂；又由于可能在一个位点或多个位点发生多次替换，并且不是所有的位点都是相互独立，概率计算的复杂度进一步加大。尽管如此，还是能用客观标准来计算每个位点的概率，计算表示序列关系的每棵可能的树的概率。然后，根据定义，概率总和最大的那棵树最有可能是反映真实情况的系统发生树。 最大似然估

4、计的原理给定一个概率分布 D ，假定其概率密度函数（连续分布）或概率聚集函数（离散分布）为 f D ，以及一个分布参数 ，我们可以从这个分布中抽出一个具有 n 个值的采样 ，通过利用 f D ，我们就能计算出其概率： 但是，我们可能不知道 的值，尽管我们知道这些采样数据来自于分布 D 。那么我们如何才能估计出 呢？一个自然的想法是从这个分布中抽出一个具有 n 个值的采样 X 1 ,X 2 ,.,X n ，然后用这些采样数据来估计 . 一旦我们获得 ，我们就能从中找到一个关于 的估计。最大似然估计会寻找关于 的最可能的值（即，在所有可能的 取值中，寻找一个值使这个采样的“可能性”最大化） 。这种

5、方法正好同一些其他的估计方法不同，如 的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估 的 值。 要在数学上实现最大似然估计法 ，我们首先要定义可能性 : 并且在 的所有取值上，使这个函数最大化。这个使可能性最大的 值即被称为 的最大似然估计 。 注意这里的可能性是指 不变时，关于 的一个函数。 最大似然估计函数不一定是惟一的，甚至不一定存在。最大似然估计的例子离散分布，离散有限参数空间考虑一个抛硬币 的例子。假设这个硬币正面跟反面轻重不同。我们把这个硬币抛 80 次（即，我们获取一个采样 并把正面的次数记下来，正面记为 H，反面记为 T） 。并把抛出一个正面的概率

6、记为 p ，抛出一个反面的概率记为 1 p （因此，这里的 p 即相当于上边的 ） 。假设我们抛出了 49 个正面，31 个反面，即 49 次 H，31 次T。假设这个硬币是我们从一个装了三个硬币的盒子里头取出的。这三个硬币抛出正面的概率分别为 p = 1 / 3 , p = 1 / 2 , p = 2 / 3 . 这些硬币没有标记，所以我们无法知道哪个是哪个。使用最大似然估计 ，通过这些试验数据（即采样数据） ，我们可以计算出哪个硬币的可能性最大。这个可能性函数取以下三个值中的一个： 我们可以看到当 时，可能性函数取得最大值。这就是 p 的最大似然估计 . 离散分布，连续参数空间现在假设例子

7、 1 中的盒子中有无数个硬币，对于中的任何一个 p ， 都有一个抛出正面概率为 p 的硬币对应，我们来求其可能性函数的最大值：其中 . 我们可以使用微分法来求最值。方程两边同时对 p 取微分，并使其为零。 在不同比例参数值下一个二项式过程的可能性曲线 t = 3, n = 10；其最大似然估计值发生在其众数 (数学)并在曲线的最大值处。 其解为 p = 0 , p = 1 ，以及 p = 49 / 80 . 使可能性最大的解显然是 p = 49 / 80 （因为 p = 0 和 p = 1 这两个解会使可能性为零） 。因此我们说最大似然估计值 为 . . 这个结果很容易一般化。只需要用一个字母

8、 t 代替 49 用以表达伯努利试验中的被观察数据（即样本 ）的成功次数，用另一个字母 n 代表伯努利试验的次数即可。使用完全同样的方法即可以得到最大似然估计值 : 对于任何成功次数为 t ，试验总数为 n 的伯努利试验。 连续分布，连续参数空间最常见的连续概率分布是正态分布 ，其概率密度函数如下： 其 n 个正态随机变量的采样的对应密度函数（假设其独立并服从同一分布）为： 或： , 这个分布有两个参数：,2 . 有人可能会担心两个参数与上边的讨论的例子不同，上边的例子都只是在一个参数上对可能性进行最大化。实际上，在两个参数上的求最大值的方法也差不多：只需要分别把可能性 在两个参数上最大化即可

9、。当然这比一个参数麻烦一些，但是一点也不复杂。使用上边例子同样的符号，我们有 = (,2 ) . 最大化一个似然函数同最大化它的自然对数是等价的。因为自然对数 log 是一个连续且在似然函数的值域内严格递增的函数。注意：可能性函数（似然函数）的自然对数跟信息熵以及 Fisher 信息联系紧密。求对数通常能够一定程度上简化运算，比如在这个例子中可以看到： 这个方程的解是 . 这的确是这个函数的最大值，因为它是 里头惟一的拐点并且二阶导数严格小于零。 同理，我们对 求导，并使其为零。 这个方程的解是 . 因此，其关于 = (,2 ) 的最大似然估计 为：. 性质泛函不变性（Functional i

10、nvariance）如果 是 的一个最大似然估计，那么 = g () 的最大似然估计是 . 函数 g 无需是一个映射。 渐近线行为最大似然估计函数在采样样本总数趋于无穷的时候达到最小方差 （其证明可见于 Cramer-Rao lower bound） 。当最大似然估计非偏时，等价的，在极限的情况下我们可以称其有最小的均方差。对于独立的观察来说，最大似然估计函数经常趋于正态分布。 偏差最大似然估计的非偏估计偏差是非常重要的。考虑这样一个例子，标有 1 到 n 的 n 张票放在一个盒子中。从盒子中随机抽取票。如果 n 是未知的话，那么 n 的最大似然估计值就是抽出的票上标有的 n ，尽管其期望值的

11、只有(n + 1) / 2 . 为了估计出最高的 n 值，我们能确定的只能是 n 值不小于抽出来的票上的值。 最大似然估计法的思想很简单：在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个 作为真 的估计。我们分两种情进行分析：1离散型总体设 为离散型随机变量，其概率分布的形式为 ，则样本 的概率分布为 ，在 固定时，上式表示 取值 的概率；当 固定时，它是 的函数，我们把它记为 并称 为似然函数。似然函数 的值的大小意味着该样本值出现的可能性的大小。既然已经得到了样本值 ，那它出现的可能性应该是大的，即似然函数的值应该是大的。因而我们选择使 达到最大值的那个 作为真 的

12、估计。2连续型总体 设 为连续型随机变量，其概率密度函数为 则 为从该总体抽出的样本。因为 相互独立且同分布，于是，样本的联合概率密度函数为，在 是固定时，它是 在 处的 密度，它的大小与 落在 附近的概率的大小成正比，而当样本值 固定时，它是 的函数。我们仍把它记为 并称 为似然函数。类似于刚才的讨论，我们选择使 最大的那个 作为真 的估计。 总之，在有了试验结果即样本值 时，似然函数 反映了 的各个不同值导出这个结果的可能性的大小。 我们选择使 达到最大值的那个 作为真 的估计。这种求点估计的方法就叫作最大似然法。 7.2.2最大似然估计的求法假定现在我们已经观测到一组样本 要去估计未知参

13、数 。一种直观的想法是，哪一组能数值使现在的样本 出现的可能性最大，哪一组参数可能就是真正的参数，我们就要用它作为参数的估计值。这里，假定我们有一组样本 .如果对参数的两组不同的值 和 ，似然函数有如下关系,那么，从 又是概率密度函数的角度来看，上式的意义就是参数 使 出现的可能性比参数 使 出现的可能性大，当然参数 比 更像是真正的参数.这样的分析就导致了参数估计的一种方法，即用使似然函数达到最大值的点 ,作为未知参数的估计，这就是所谓的最大似然估计。 现在我们讨论求最大似然估计的具体方法.为简单起见，以下记 ,求 的极大似然估计就归结为求 的最大值点.由于对数函数是单调增函数，所以(7.2

14、.1)与 有相同的最大值点。而在许多情况下，求 的最大值点比较简单，于是，我们就将求 的最大值点改为求 的最大值点.对 关于 求导数，并命其等于零，得到方程组 , (7.2.2)称为似然方程组。解这个方程组，又能验证它是一个极大值点，则它必是 ，也就是 的最大值点，即为所求的最大似然估计。大多常用的重要例子多属于这种情况。然而在一些情况下，问题比较复杂，似然方程组的解可能不唯一，这时就需要进一步判定哪一个是最大值点。还需要指出，若函数 关于 的导数不存在时，我们就无法得到似然方程组 (7.2.2)，这时就必须根据最大似然估计的定义直接去 的最大值点。在一些情况下，我们需要估计 。如果 分别是 的最大似然估计，则称 为 的最大似然估计。 下面我们举一些例子来说明求最大似然估计的方法。