《计量经济学重点笔记第二讲》由会员分享，可在线阅读，更多相关《计量经济学重点笔记第二讲（18页珍藏版）》请在金锄头文库上搜索。
1、第二讲 普通最小二乘估计量一、 基本概念：估计量与估计值所谓估计量就是指估计总体参数的一种方法。在该方法下，给定一个样本，我们可以获得一个具体的估计结果，该结果就是所谓的估计值。例如，基于一个样本容量为N的样本，其中为第i次观测值，我们用样本均值来作为对总体均值的估计。在这里，就属于估计量，由于其取值随着样本的变化而变化，因此它是随机的。现在假设我们持有A、B两个样本：与，则基于这两个样本，可以计算出： 分别是估计量可能的取值，它们就是估计值。既然估计量是随机变量，那么它一定服从某种分布，由于估计量与抽样相联系，因此我们把估计量所服从的分布称为抽样分布。有关统计学的一些基本知识请参见本讲附录一
2、。笔记：观测值是随机变量的一个可能的取值。我们用样本均值来估计总体均值，实际上就是用来估计。在数理统计中，这被称为矩估计，因为被称为样本（一阶）矩，而被称为总体（一阶）矩。矩估计其要点可以归结为，符号与符号E相对应。我们再来看看矩估计思想的一个应用。为了估计随机变量的方差E- E()2（也即总体方差），在矩估计法下，则方差估计量将是：。应该注意到，这个方差估计量是有偏估计，而才是方差的无偏估计。如果样本容量很大，这两个估计量相差无几，事实上两者都是方差的一致估计量。这个例子暗示，矩估计并不一定会获得一个无偏的估计量，但将获得一个一致的估计量。关于估计量无偏性与一致性的基本含义见附录1二、 高斯
3、-马尔科夫假定对于模型：，则、相应的OLS估计量就是：在一些重要的假定下，OLS估计量表现出良好的性质。我们把这些假定称为高斯-马尔科夫假定。假定一：真实模型是：。有三种情况属于对该假定的违背：（1）遗漏了相关的解释变量或者增加了无关的解释变量；（2）y与x间的关系是非线性的；（3）并不是常数。笔记：1、遗漏了的解释变量将进入误差项，从而这很可能导致误差项不在满足下面所列举的一些假定；如果真实模型是非线性的，但我们却用一条直线来近似它，显然这是南辕北辙；如果参数并不是常数，然而我们却基于特定样本用一些常数去近似它们，这显然也不合理的。2、经济学理论或许很少直接认为y与x的关系是线性的，y与x具
4、有非线性关系可能更符合现实。然而把模型建立成非线性形式常常会付出代价，因为非线性模型其待估计的参数可能更多，从而导致自由度的耗费，带来估计精度的下降。另外，从数学上讲，利用泰勒展开，我们也常常可以用一个线性模型去近似非线性模型。假定二：对解释变量的N次观测即被预先固定下来，即不会随着样本的变化而发生变化，是一个非随机列向量。显然，如果解释变量含有随机的测量误差，那么该假定被违背。还存其他的违背该假定的情况。笔记：1、被假定不会随着样本的变化而发生变化，但这并不意味着在一个给定的样本中。事实上，在含有一个截距与一个解释变量的简单线性回归模型中，将意味着OLS估计量失去意义，见高斯-马尔科夫假定六
5、。2、被假定为非随机并不是一个标准假定，然而在该假定下数学处理要简单得多，而且OLS基本的涵义也并未丧失。是随机的情况更一般化，此时，高斯-马尔科夫假定二被更改为：对任意与，与不相关，此即所谓的解释变量具有严格外生性。显然，当非随机时，与必定不相关。事实上，假定二其最终目的在于保证与不相关。3、在建立模型时，我们总是希望误差项是由一些不重要、没有任何信息价值的成分所构成。如果与相关，这意味着误差项还具有一定的信息价值，因此在某种程度上可以认为，我们预先建立的模型是不完备的。应该注意到，如果模型遗漏了解释变量，而这些被遗漏的解释变量又与已存在的解释变量是相关的，那么这将导致误差项与已存在的解释变
6、量是相关的。4、为了理解非随机性的假定，我们考虑如下一个例子。我们试图考察受教育年限（x）对收入（y）的影响。假定我们预先知道总体中有1%的人口接受了22年的学校教育；有3%的人口接受了19年的学校教育；有10%的人口接受了16年的学校教育。现在，我们进行一个样本容量为1000的抽样调查。为了使样本尽量反映总体的情况，我们要求样本中有10人接受了22年的教育；有30人接受了19年的教育；有100人接受了16年的教育。这种抽样技术被称为分层随机抽样（Stratified random sample）。在抽样中，设定前10次观测对象是那些接受了22年的教育的人，接下来是那些接受了19年教育的人。在
7、这种方法下我们可以获得多个样本，但被预先固定下来，即它不会随着样本的变化而发生变化。假定三：误差项期望值为0，即。笔记：1、当随机时，标准假定是： 根据迭代期望定律有：,因此，如果成立，必定有：。另外，根据迭代期望定律也有：而。故有： 因此，在是随机的情况下，假定二、三可以修正为一个假定：。 2、所谓迭代期望定律是指：如果信息集，则有。无条件期望所对应的信息集是空集，因此按照迭代期望定律必有：。本讲义第十讲对该定律进行了更为详细的介绍。 3、回忆第一讲，对模型，在OLS法下我们一定能保证：(1)残差均值为零；(2)残差与x样本不相关。我们希望残差是对误差的良好近似，但如果假定二、三不成立，即，
8、误差项期望值不为零，误差项与解释变量相关，显然此时残差并不是对误差项的良好近似。由于，因此，如果残差并不是对误差项的良好近似，那么参数的OLS估计量就不是对真实参数良好的近似。由此看来，为保证OLS估计量具有良好的性质，假定二、三的成立非常重要。 4、当假定成立时，必有；，进而（在这里对各随机变量未加注脚标，这是因为无论脚标是什么，相关等式都成立。现在我们来利用所谓的矩估计思想。误差项观测不到，故我们不得不把残差当做是对误差的观测。于是按照矩估计思想有：；，而这两个式子正是OLS估计法中的两个正规方程，由正规方程就可以得到参数的OLS估计量。由此看来，当假定成立时，OLS估计不过是矩估计的特例
9、。如果知道了这一点，我们就会很快地记住OLS估计量公式：当时，。用样本协方差与样本方差代替总体协方差与总体方差，则有：。我们以后在学习工具变量估计法时，将再次体会到矩估计思想的重要性。 可以发现，矩估计仅仅涉到了x与同期不相关的假定，从这个意义上讲，这个条件过于强了，但只有在这个条件下OLS估计量的无偏性才能保证成立，这可参见更高级的教科书。 假定四：，即所谓的同方差假定。笔记：1、 在是随机的情况下，该假定修订为：2、如果误差项是异方差的，那么N个误差项将具有N个不同的分布。如果把残差近似为对误差的观测，则此时每一个分布下只有一次观测，显然仅凭一次观测我们很难对随机变量的分布性质进行统计分析
10、。假定五：，即所谓的序列不相关假定。笔记： 1、在是随机的情况下，该假定修订为： 2、如果误差项序列相关，这表明误差项还含有系统性的、可资利用的信息。但如果我们已建立的线性模型是完备的，那么假定误差项序列不相关就显得相当自然了。假定六：，在多元回归中，该假定演变为的逆存在，即矩阵列向量线性无关。笔记：1、假定六是最基本的，因为违背该假定则OLS估计量的相关公式就失去了意义。但假定六在实践中最不值得担心，因为当该假定被违背时，计量软件将立即告诉我们此时无法进行计算。2、在模型含有截距的情况下，矩阵列向量线性无关这个条件要强于各解释变量线性无关这个条件。高斯-马尔科夫假定二、三、四、五都可以被归结
11、为对误差项性质的假定，而假定一部分可以认为是对误差项性质的假定。假定六是关于参数可识别的假定。结合OLS的代数性质，我们是不是可以直接感觉到假定一、二、三的重要性？但不幸的是，初级计量经济学经常把重心放在了假定四、五上了。怎么让我们相信假定一至五是成立的呢？首先我们应尽量利用经济学理论来判断相关假定的合理性，其次我们可以进行一系列计量经济检验。应该注意到，假定一至五基本上都涉及到对误差项分布性质的假定，因此计量经济检验可以说就是检验误差项的分布性质。不过困难之处在于，误差项不可观测。但如果高斯-马尔科夫假定成立，残差将是对误差的良好近似，于是，我们可以通过分析残差的性质来间接推断误差项的分布性
12、质。三、 高斯-马尔科夫定理当高斯-马尔科夫假定成立时，在所有线性无偏估计量中，OLS估计量方差最小，即OLS估计量是最有效的。换句话说，当高斯-马尔科夫假定成立时，OLS估计量是最优线性无偏估计量（Best linear unbiased estimator, BLUE），此即高斯-马尔科夫定理。笔记：1、对一个估计量，我们希望它具有什么样的性质？(1)简单实用。随着计量软件的发展，这一点可能不那么重要了；(2)不同的人利用不同的样本得到不同的估计结果，但我们希望平均来看，估计结果将是准确的，此即估计量的无偏性；(3) 不同的人利用不同的样本得到不同的估计结果，但我们希望这些结果差异不要太大
13、，事实上差异越小越好，即估计量的方差越小越好，此即估计量的有效性；(4)如果把总体全部展示在我们面前，则我们希望所利用的估计量能够得到真实的参数值，此即估计量的一致性。显然一致性是一个合理的估计量应该满足的最低要求。如果把事情的真相都告诉你了，你却依据一估计方法得到错误的结果，那么这个估计方法一定是一个垃圾！2、我们很希望一个无偏估计量也是有效的。下面一个调侃计量经济学家的笑话或许有助于我们理解这一点。三个计量经济学家去森林中打猎。一个计量经济学家一枪击到一头野猪前面五米处，一个计量经济学家一枪击到这头野猪后面五米处，第三个计量经济学家高兴得跳起来喊道，“击中了！击中了！我们平均击中了！”。3
14、、一个估计量可能是有偏的、无效的，但如果满足一致性，它也是有用的。因为当我们手中的样本容量确实很大时，那么基于这个一致估计量的估计结果应该是对真实参数良好的近似。我们在前面的笔记中曾提到，如果假定二、三不成立，则残差并不是对误差项的良好近似，进而参数的OLS估计量就不是对真实参数良好的近似。由此看来假定二、三的成立对于保证OLS估计量的一致性非常重要。（一）OLS估计量是线性估计量所谓OLS估计量是线性估计量，是指它能够被表示为的线性函数。例如：在这里我们定义。应该注意到，在假定二下，ki是非随机的。练习：把表示成的线性函数：，其中。笔记：可以从数学上验证：另外一种简单的验证方式是：（1）假定
15、被解释变量与解释变量都是x，那么回归直线的斜率将为1，截距将为0，即有：（2）假定被解释变量取值恒为1，那么回归直线的斜率将为0，截距将为1，即有： （二）OLS估计量具有无偏性：；证明：注意到；，再利用高斯-马尔科夫假定三： ，于是有：。笔记： 1、在是随机的情况下，我们需证： 2、我们在证明无偏性实际上应用了高斯-马尔科夫假定一、二、三。练习：证明（三）在所有线性无偏估计量中，OLS估计量方差最小1、OLS估计量的方差 利用高斯-马尔科夫假定五：与高斯-马尔科夫假定四：有：。注意到：因此有：笔记：1、，当N趋于无穷大时，样本方差收敛于总体方差，故当N趋于无穷大时，趋于0。由于，因此，当N趋于无穷大时，在概率上收敛于，即是的一致估计量。你能够表明是的一致估计量吗？2、我们得到上述方差公式时实际上利用了高斯-马尔科夫假定一、二、四、五。当上述假定不成立时，上述公式无意义。练习：（1）证明在高斯-马尔科夫假定下：（2）证明在高斯-马尔科夫假定下：2、OLS估计量的有效性任意一种线性估计量都可表示为，当时，该估计量即为的OLS估计量。现在我们将证明：在所有无偏的的线性估计量中，OLS估计量具有最小的方差。“在所有无偏的
