《计量经济学讲义第二讲》由会员分享，可在线阅读，更多相关《计量经济学讲义第二讲（17页珍藏版）》请在金锄头文库上搜索。
1、第二讲 普通最小二乘估计量一、 基本概念：估计量与估计值对总体参数的一种估计法则就是估计量。例如，为了估计总体均值为u，我们可以抽取一个容量为N的样本，令Yi为第i次观测值，则u的一个很自然的估计量就是。A、B两同学都利用了这种估计方法，但手中所掌握的样本分别是与。A、B两同学分别计算出估计值与。因此，在上例中，估计量是随机的，而是该随机变量可能的取值。估计量所服从的分布称为抽样分布。如果真实模型是：，其中是待估计的参数，而相应的OLS估计量就是：我们现在的任务就是，基于一些重要的假定，来考察上述OLS估计量所具有的一些性质。二、 高斯-马尔科夫假定假定一：真实模型是：。有三种情况属于对该假定
2、的违背：（1）遗漏了相关的解释变量或者增加了无关的解释变量；（2）y与x间的关系是非线性的；（3）并不是常数。假定二：在重复抽样中，被预先固定下来，即是非随机的（进一步的阐释见附录），显然，如果解释变量含有随机的测量误差，那么该假定被违背。还存其他的违背该假定的情况。笔记：是随机的情况更一般化，此时，高斯-马尔科夫假定二被更改为：对任意,与不相关，此即所谓的解释变量具有严格外生性。显然，当非随机时，与必定不相关，这是因为是随机的。假定三：误差项期望值为0，即。笔记：1、当随机时，标准假定是： 根据迭代期望定律有：,因此，如果成立，必定有：。另外，根据迭代期望定律也有：而。故有： 因此，在是随机
3、的情况下，假定二、三可以修正为一个假定：。 2、所谓迭代期望定律是指：如果信息集，则有。为了理解上述等式，考虑一个极端情况：包含了全部的信息，此时X丧失了随机性，故，因此必有。无条件期望所对应的信息集是空集，因此。 3、回忆第一讲，对模型，在OLS法下我们一定能保证:(1)残差均值为零;(2)残差与x样本不相关。残差是对误差的近似，如果假定二、三不成立，即误差项与解释变量相关，误差项期望值不为零，显然此时残差并不是对误差项的有效的近似，换句话说，此时OLS估计量是有严重问题的。因此，假定二、三非常重要。 假定四：，即所谓的同方差假定。笔记： 在是随机的情况下，该假定修订为：假定五：，即所谓的序
4、列不相关假定。笔记： 在是随机的情况下，该假定修订为： 假定六：，在多元回归中，该假定演变为的逆存在，即各解释变量不完全共线。三、 高斯-马尔科夫定理当高斯-马尔科夫假定成立时，在所有线性无偏估计量中，OLS估计量方差最小。或者说，OLS估计量是最优线性无偏估计量（best linear unbiased estimator,BLUE）。这被称为高斯-马尔科夫定理。（一）OLS估计量是线性估计量所谓OLS估计量是线性估计量，是指它能够被表示为的线性函数。例如：注意，在假定二下，ki是非随机的。练习：把表示成的线性函数。笔记：线性意味着简单，简单意味着普通。因此有称谓“普通最小二乘法”。二乘即为
5、平方，故OLS即为“简单的最小平方法”。（二）OLS估计量具有无偏性：；证明：而；。因此在重要假定三： 下，有：。笔记： 在是随机的情况下，我们需证：练习：证明（三）在所有线性无偏估计量中，OLS估计量方差最小1、关于方差 在重要假定五：及其重要假定四：下，有：注意到因此有：笔记：，当N趋于无穷大时，样本方差收敛于总体方差，故当N趋于无穷大时，趋于0。由于，因此，当N趋于无穷大时，在概率上收敛于，即是的一致估计量。你能够表明是的一致估计量吗？应该注意到，一致性是估计量应该满足的最低要求。想一想，如果把总体都告诉了你，但你的估计或者猜测却与真实参数不一致，你是不是应该检讨一下你的估计方法？练习：
6、（1）证明在高斯-马尔科夫假定下：（2）证明在高斯-马尔科夫假定下：（3）证明在高斯-马尔科夫假定下：（4）证明在高斯-马尔科夫假定下：2、证明方差最小把任意一种线性估计量表示为，当时，该估计量即为的OLS估计量。现在我们将证明：在所有无偏的的线性估计量中，OLS估计量具有最小的方差。“在所有无偏的的线性估计量中”是一个前提条件。我们的任务是，在给定前提下（约束条件），证明OLS估计量所对应的权数使方差（目标函数）取最小值。首先分析前提条件：线性估计量的表达是为了保证的无偏性，那么应该保证： 因此，其次分析方差表示：，在假定四、五下，有：。最后，形成数学问题：常数对于该最优化问题并不重要，因此
7、上述问题简化为：对上述极值问题，其拉格朗日函数是：相应的一阶条件是：应该注意到，把（3group）中各式相加并利用（4）有：，即；把（3group）中第i式两边同乘以并各式相加，然后利用（5），有：，即因此，；因此，而在前面我们已知道这个权数正是的OLS估计量所对应的权数！练习：证明OLS估计量在所有的线性无偏估计量中方差是最小的。笔记：线性性质不过是OLS估计量在假定一下所具有的代数性质，无偏性与有效性才是高斯-马尔科夫定理所强调的。高斯-马尔科夫定理为OLS的广泛应用提供了理论依据。当然问题是，该定理涉及到如此众多的假定，这些假定同时成立实属罕见！从而这涉及到两个问题：（1）如何检验这些假
8、定？这些检验属于计量检验。（2）如果一些假定并不成立，那么OLS估计量具有什么性质？此时我们应该采取何种估计方法？本讲义后续章节将讨论这些问题。在附录2中，本讲义提供了很多教科书对高斯-马尔科夫的另外一种证明形式。四、 补充知识点（一）经常未知而有待估计可以证明，对模型，在高斯-马尔科夫假定下对的一个无偏估计是：为简单计，考虑一元线性回归模型的情况。我们需要证明。证明：由于xi是非随机的，按照假定，我们在练习中也证明了，因此，有：，按照方差公式及其前述已有结论，因此，有：故，因此，笔记：就是残差的样本方差【在含截距的简单线性回归模型中，残差的自由度是N-2】。误差是观测不到的，但我们能利用样本
9、得到残差。直观来看，我们可以利用残差的样本方差来作为对误差方差的估计。上述证明结果表明，这个估计还是无偏的。应该注意，尽管在高斯-马尔科夫假定下是对的无偏估计，然而并不是对的无偏估计，不过可以证明是对的一致估计。被称为“回归的标准误”（standard error of regression,SER）。笔记：1、为什么在高斯-马尔科夫假定下是对的无偏估计，但并不能由此推出是对的无偏估计？从数学上可以表明，当是非线性函数时，由不能推出。事实上由利用Jensen不等式有： ，而所谓Jensen不等式是指:，当g是凸函数（凸向原点）时；，当g是凹函数（凹向原点）时。2、另外可以证明，是对的一致估计,
10、其思路是，的方差随样本容量的增加而趋于零。由于，因此，当样本容量无穷大时，在概率上收敛于，即的概率极限为。概率极限运算具有这样一个性质，即：由上述性质，则。按照定义，是标准差，是非负的，故有：，即，如果是对的一致估计，则是对的一致估计，反之亦然。（二）模型满足高斯-马尔科夫假定下基于OLS的预测假定真实模型是：，模型满足高斯-马尔科夫假定。利用OLS法得到：。现在我们获得一次新的观测，然而此次观测只得到x的取值是xf，我们需要预测yf或者E(yf)。1、预测yf以作为对yf的预测。此时预测误差是：显然，E(e1)=0。笔记：1、的随机性来源于。与是不相关的，因此与无关。2、根据上述表达式可知，
11、当时，预测误差方差最小。直觉是什么呢？以工资对教育水平回归为例。首先你基于一个样本得到估计结果，该样本主要由具有初中和高中学教育水平的人构成。想一想，如果利用已有的回归结果去预测一位博士的收入，预测精度会高吗？如果利用已有的回归结果去预测一位小学可能都未读完的人的收入，预测精度会高吗？2、预测E(yf)以作为对E(yf)的预测。此时预测误差是：显然，E(e2)=0。比较可知，更适合作为对E(yf)的预测。上述两种预测都属于点预测。还有一种预测被称为区间预测，参见第三讲附录3。 附录1：理解非随机性的假定在初级计量经济学中，经常被假定为非随机的，尽管这并不是一个标准假定，然而在该假定下数学处理要
12、简单得多，而且也并未丧失OLS基本的涵义。下面考虑一个关于非随机性的抽样例子。我们想考察受教育年限（x）对收入(y)的影响。假定预先知道总体中有1%的人口接受了22年的学校教育；有3%的人口接受了19年的学校教育；有10%的人口接受了16年的学校教育。现在，我们进行一个样本容量为1000的抽样调查。为了使样本尽量反映总体的情况，我们要求样本中有10人接受了22年的教育；有30人接受了19年的教育；有100人接受了16年的教育。这种抽样技术被称为分层随机抽样（Stratified random sample）。在抽样中，设定前10次观测就是那接受了22年的教育的10人，接下来是接受了19年教育的30人，在多次重复抽样时，我们保持这样的设定。于是，在重复抽样中，被预先固定下来，即是非随机的。附录2：高斯-马尔科夫定理另外一种常见的证明方式（一）无偏性由于假定下，即是的无偏估计量。（二）最小方差性1、关于方差在假定五：及其假定四：下，2、证明方差最小我们已知道OLS估计量是线性无偏估计量，即， 。假设是用其他估计方法得到的关于的线性无偏估计量，设。因此，。当然，也是成立的。令，则必有：现在来求的方差。在重要假定五与重要假定四下，而因此，。当时等号成立。注意，恰好是OLS估计量的方差。18
