《极大似然估计和广义矩估计》由会员分享，可在线阅读，更多相关《极大似然估计和广义矩估计（76页珍藏版）》请在金锄头文库上搜索。
1、第四章 极大似然估计和广义矩 估计（Maximum Likelihood method and Generalized Method of Moments ）第一节 极大似然估计法第二节似然比检验、沃尔德检验和拉格 朗日乘数检验第三节广义矩（GMM）估计小结除普通最小二乘法（OLS）外，极大似然估 计（MLE）和广义矩估计（GMM）也是计 量经济学中重要的估计方法。极大似然估计法和广义矩估计法适用于大样 本条件下参数的估计，它们在大样本条件下 显示了优良的性质。本章主要介绍极大似然法和广义矩方法以及 基于极大似然估计的似然比（LR）检验、 沃尔德（W）检验和拉格朗日乘数（LM） 检验。4第一节
2、 极大似然估计法极大似然估计法（Maximum Likelihood method ，ML）的应用虽然没有普通最小二乘法广泛，但它是 一个具有更强理论性质的点估计方法，它以极大似然 原理为基础，通过概率密度函数或者分布律来估计总 体参数。 极大似然估计的出发点是已知被观测现象的分布， 但不知道其参数。极大似然法用得到观测值（样本） 最高概率的那些参数的值来估计该分布的参数，从而 提供一种用于估计刻画一个分布的一组参数的方法。5一、极大似然法的思路设有一枚不均衡的硬币，我们关心的是在每次抛 掷该硬币出现正面的概率p。抛掷该硬币N次，假设 得到 次正面， 次反面。由于每次抛硬币都是 相互独立的，根
3、据二项分布，得到这样一个样本的概 率为：上式中的表达式可看作是未知参数p的函数，被 称为似然函数（Likelihood function）。对p的极大 似然估计意味着我们选择使似然函数达到最大的p值 ，从而得到p的极大似然估计量。6实际计算中，极大化似然函数的对数往往比较方便， 这给出对数似然函数上式达到极大的一阶条件是解之，得到p的极大似然估计量7二、极大似然原理极大似然法的思路是，设 是随机变量X的密度函 数，其中 是该分布的未知参数，若有一随机样本 ，则 的极大似然估计值是具有产生该观 测样本的最高概率的那个 值，或者换句话说，的极 大似然估计值是使密度函数 达到最大的值。由于总体有离散
4、型和连续型两种分布，离散型分布通 过分布律来构造似然函数，而连续型分布通过概率密 度函数来构造似然函数，因此二者有区别，下面分别 讨论。 8（一）离散型随机变量极大似然原理若总体为离散型分布，容易求得从样本 取到 观察值 的概率，亦即事件发生的概率为： 其中， 是待估参数向量。 这一概率随 的取值而变化，它是 的函数， 称 为样本的似然函数。 极大似然估计法就是在 取值的可能范围内挑选使 似然函数 达到最大的参数值 作为参数 的估计值，即求 ，使得9一般通过微分的方法求得 ，即，令 得 到，有时候也可通过迭代法来求 ，具体的计算方 法根据随机变量的分布来确定。这样得到的 称为参数 的极大似然估
5、计值 ，而相 应的统计量通常记为 ，称为参数 的极大似然 估计量。10（二）连续型随机变量极大似然原理 与离散型的情况一样，我们取 的估计值 使 取到极大值，但 不随 而变，故只需考虑函数 的极大值，这里 称为样 本的似然函数。若 则 称为 的极大似然估 计量，记为 。11通常情况下， 关于 可微，这时 可从方程 解得。因为 与 在同一点处取到 极值，的极大似然估计值 通常从方程 解得，式中 称为对数似然函数。 为了后面内容表述方便起见，我们将对数似然函数 的一阶导数向量表示为 ，称为score向量或梯度向量， 的极大似然估计量通过求解得到， 因此 称为似然方程。12三、极大似然估计量的性质极
6、大似然估计量（MLE）的优势在于它们的大样本 性质（渐近性质）。为介绍这些渐近性质，我们用表示参数向量的极大 似然估计量（MLE），表示参数向量的真值。如果极大似然函数被正确设定，可以证明，在弱正 则条件下，极大似然估计量具有以下渐近性质：13（1）一致性： 是 的一致估计量，即，（2） 渐近有效性： 是渐近有效的且达到所有一 致估计量的Cramr-Rao下界，即在所有一致渐近正 态估计量（consistent asymptotically normal estimators ）中具有最小方差。（3） 渐近正态性： 即渐近地服从正态分布，其中V是渐近协方差矩阵14协方差矩阵V由对数似然函数的形
7、状决定。为了说明 这一点，我们引入信息矩阵（Information Matrix） 的概念，信息矩阵定义为在适当的正则条件下，可以证明，极大似然估计量的 渐近协方差矩阵等于信息矩阵的逆矩阵，即15四、线性回归模型的极大似然估计线性回归模型是计量经济学应用最为广泛的模型，因 此讨论线性模型的极大似然估计是非常必要的。下面我们在随机扰动项服从正态分布的假设下分别讨 论双变量线性回归模型和多元线性回归模型的极大似 然估计。非线性模型的极大似然估计，将在第五章中介绍。 16（一）双变量线性回归模型的极大似然估计双变量线性回归模型： 其中， 为待估参数，为随机扰动项。对随机扰动项 作出如下假设：即随机扰
8、动项具有0均值、同方差、不相关和服从正 态分布的性质。17根据以上假设可知： 因此，的概率密度函数为：由于独立同分布，因此，联合概率密度函数，即似 然函数为： 18对数似然函数为：令： ， ， 得，19不难看出，前两式与用普通最小二乘法得出的正规方 程相同，故我们有但最后一式表明，的极大似然估计量与最小二乘估计 量不同，我们记得，最小二乘估计量 是一个无偏估计量。而 ，20这表明 ， 是一个有偏估计量不难看出，当样本容量趋向无穷时，因而 是一个渐近无偏估计量。21（二）多元线性回归模型的极大似然估计 下面我们来讨论一般形式的线性回归模型的极大 似然估计，并以矩阵形式表示：对随机扰动项作出如下假
9、设：根据以上假设，我们有： 因此，的概率密度函数为：上面有点问题，把单个标量和整体向量混淆了，看的 时候注意点,可以参考多元线性回归讲义PPT.22由于独立同分布，因此，联合概率密度函数，即似 然函数为：对数似然函数为：注意到（4.17）中右端第二项的分子就是残差平方 和，我们有：23这里最后一个等号成立是因为第二行中所有各项 都是标量，且中间两项互为转置矩阵，因而相等RSS对微分，得到：这里用到了矩阵微分的以下两条规则： （1） （2） ，第二个等号成立 的条件是A为对称矩阵。24在（4.19）式中，a是 ，A是 。 由（4.19）式的结果，使对数似然函数（4.17）达到 极大的一阶条件为解
10、此二正规方程，得: 25因此，在随机扰动项满足标准假设条件的情况下 ，的极大似然估计量与普通最小二乘估计量相同 ，方差 的ML估计量与OLS估计量则不同。 是无偏的，而 是有偏的，但在大样本下渐 近无偏26将这些极大似然估计量代入(4.17)，就得到的极 大值：为了得到 的无偏估计量的Cramr-Rao下界，需要 先计算信息矩阵27信息矩阵是按 分块对角的，这是扰动项为 正 态分布的回归模型的一个重要性质，意味着Cramr -Rao下界为：值得注意的是， 达到了Cramr-Rao下界。在 正态性的假设下， 是最小方差无偏估计量（MVU ），这表明， 在所有无偏估计量而不仅仅是线性 无偏估计量中
11、方差最小。假设多一些（CLR模型加 上正态性），得到的也多一些（MVU而不仅仅是 BLUE）。28例4.2 以简单的消费函数为例，说明极大似然估计 法的估计过程。根据经济理论，消费和收入与价格密切相关，因此 建立以国内生产总值gdp和消费价格指数p 为解释 变量，国内总消费tc为被解释变量的消费方程。数 据区间为19882007年。消费方程设定为：其中 服从正态分布。29普通最小二乘估计的结果为：极大似然估计的EViews结果为：可见，对于线性方程，用极大似然估计得到的系 数估计值与用最小 二乘法估计得到的结果完全 相同。30第二节 似然比检验、沃尔德检验和 拉格朗日乘数检验似然比检验（Lik
12、elihood Ratio Test, LR）瓦尔德检验（Wald Test, W）拉格朗日乘数检验（Lagrange Multiplier Test, LM）是三种基于极大似然法的大样本检验方法。31我们在第二章中介绍的F检验适用于检验CLR模型 的线性约束条件。如果施加于模型的约束是非线性的，模型存在参 数非线性，或者扰动项的分布不是正态的，在这 些情况下，F检验就不再适用，通常需要采用LR、 W和LM这三个检验方法中的一个来检验约束条件是 否成立。这三个检验方法是渐近等价的，与这些检验相联 系的统计量的小样本分布是未知的，但它们每一 个都渐近地服从自由度为约束条件个数的 分布32一、三种
13、检验的基本原理这三个检验统计量基于三个不同的原理，我们用 下图来解释之。33图中，对数似然函数（ ）由上面的那条曲线表 示，它是要估计的参数 的函数。 是使 达到 极大的 值。假设要检验的约束条件是， 这 一条件在 这个值得到满足，从图上看，这个 点是函数 与横轴 的交点。下面对这三个检验所依据的原理作出解释。341. LR检验如果约束条件为真，则在施加约束条件的情况下 ， 的极大值 不应当显著小于 的无约束极大 值 。因此，LR检验要检验的是（ - ） 是否显著异于0。2. W检验如果约束条件 为真，则 不应当显著 异于0，其中 是 的无约束极大似然估计值。 因此，W检验要检验的是 是否显著异于0。353. LM检验对数似然函数 在A点达到极大，在这点 关于 的斜率为0。如果约束条件为真，则 在B 点的斜率不应当显著异于0。LM检验要检验的是 用约束估计值 计算的 的斜率是否显著异 于0。36二、似然比（LR）检验设 为待估计参数向量，原假设 规定施加于这 些参数上的约束，为 的无约束极大似然估计量 ，为约束极大似然估计量。如果 和 分别是用 这两个估计值计算的似然函数值，则似然比（Likelihood Ratio）为：37此函数
