《Chapter1 线性回归模型的OLS估计.doc》由会员分享，可在线阅读，更多相关《Chapter1 线性回归模型的OLS估计.doc（31页珍藏版）》请在金锄头文库上搜索。
1、第1章 线性回归模型考察多个自变量对一个因变量的影响。比如，施肥量、土质与农业产量的关系，受教育年数、工龄、性别对收入的影响，警察数量、下岗职工对城市犯罪率的影响等。以双变量为例。x1、x2对y存在影响，同时x1和x2之间也存在相关关系。如图所示。X1X2y1.1 模型设定假定变量yt与k个变量xt j, j = 1, , k，存在线性关系。多元线性回归模型表示为， 1.1其中yt是被解释变量（因变量），xj t是解释变量（自变量），ut是随机误差项，bi, i = 0, 1, , k是回归参数（通常未知）。这说明xj t, j = 1, , k, 是yt的重要解释变量。ut代表其他影响yt变
2、化的随机因素。 给定一个样本（yt , xt1, xt2 , xt k），t = 1, 2, , T，上述模型表示为， 1.2令 , , 则(3.3) 式可以写为， y = Xb + u 1.31.2 参数估计1.2.1 参数的点估计1 最小二乘法（OLS）设残差平方和用Q表示， 1.4上式中，因为是一个标量，所以有。求Q对的一阶偏导数，并令其为零， 1.5化简得， 假定1 解释变量之间线性无关。Rank(XX) = Rank(X) = K1 1.6其中Rank()表示矩阵的秩。即解释变量之间彼此线性无关。如果假定1成立，可以直接得到的最小二乘估计量， 1.7表示y的拟合值，表示残差项。拟合值
3、和残差项经常表示为另外一种形式： 1.8 1.9其中，称为映射矩阵。Py表示y对X回归的拟合值。，称为零化子矩阵。My表示y对X的残差项。因此，y总是可以表示为y=Py+My。可以证明，P和M都是对称幂等矩阵，即 M = M ，P = P M2 = M M = M ，P 2 = P P = P 1.10且有 PX=X， MX=0 1.11M+P=I，PM=0 由正规方程组可得，即。进而可得。即1.2.2 FML定理接下来我们介绍OLS估计量的一个重要性质，即FML定理（Frisch and Waugh(1933)、Lovell (1963)）。这一定理体现了线性回归模型参数的经济含义。在虚拟变
4、量等问题的处理中重要的应用。将所有的解释变量拆分为两部分。模型表述为： 1.12残差平方和为： 1.13对应的正规方程组为： 1.14由（1）式可得： 1.15由此可以看出，如果，则。即当X2与X1正交时，模型与的参数估计量是完全相同的。将（2.21）式带入正规方程（2）可得到解： 1.16其中，M1表示X1的零化矩阵，根据零化矩阵的性质， 1.17其中，表示X2对X1回归的残差项，表示y对X1回归的残差项。由此得到如下定理。Frisch-Waugh定理：与得到相同的估计量和残差。即，y对X1、X2的回归方程中，X2的参数估计量等价于y对X1回归的残差项对X2对X1回归的残差项进行回归得到的参
5、数估计量，二者的残差也是相同的。这一定理表明，多元回归模型中，回归参数2体现了“排除”（partial out）X1影响后的“净”影响。因此，2也称作“偏回归系数”，体现了X2对y的净影响，称之为“偏影响”（partial effect）。也正是由于回归参数2体现了排除X1影响后的“净”影响，因此把X1称作“控制变量”。也就是说，虽然实际经济环境中，我们几乎不能控制X1的变化。但在多元回归模型中，2已经把X1的影响排除掉了，因此2理解为“当其他条件不变的情况下”，X2对y的边际影响。对于如下结构关系：X1X2y如果回归模型，参数b1的估计量不会显著，因为将x2的影响排除后，x1对y不存在任何影
6、响。1.2.3 参数估计量的分布特征设真实的DGP为y = Xb0 + u其中，b0为真实的参数。如果模型设定准确的话，即y = Xb + u我们来看参数估计量的统计特征。对于模型错误设定的情况，请参见本章“模型的设定分析”部分。1 一致性设模型的参数为，估计量为。如果，则称具有一致性。一致性意味着随着样本量的增加，参数估计量可以无限接近真实参数，即估计量的分布为真实参数那一点。也就是说，随着样本量的增加，我们可以对真实参数作出越来越精确的推断。一致性是对参数估计量的最低要求。如果估计误差与样本量没有关系，那么很难建立真实参数与参数估计量之间的关系。 1.18由假定Rank(X)=K和大数定律
7、，样本均值的概率极限等于总体均值，可得： 1.19又由Slustky定理，。由此可得 1.202 的无偏性的随机性来源于u的随机性，因此，将写为关于u的表达式。 1.21即是随机向量u的线性组合。如果X为确定性变量，则的期望为： 1.22因此，是b的线性无偏估计量。但将X做为确定性变量过于简单。大多数情况下，X与y一样，具有明显的随机特征。假定2 u关于X的条件期望为0。Eu|X=0。假定2也称作X具有严格外生性。具有两个基本含义。第一个含义是，u的无条件均值也为0。这一特征可以通过迭代期望公式直接导出。E(u|X) = 0 E(u) = EE(u| X) = 0 1.23第二个含义是，u与X
8、以及X的任何函数正交，不相关。 1.24Cov(g(X), u) = Eg(X)-E(g(X)u- E(u)= E(X-E(X)u=E g(X)-E(g(X)u = E g(X)u Eg(X)u = Eg(X)u- Eg(X)E(u) = 0当g(X)= X时，u与X正交，u与X不相关。E(Xu| X)= XE(u| X) = 0, E(Xu) = EE(Xu|X) = E(X) E(u| X) = 0Cov(X, u) = E(X-E(X)(u- E(u)= E(X-E(X)u= EXu- E(X)E(u) = 0的条件期望为： 1.25当然，的无条件期望为： 1.26因此，是b0的线性无偏
9、估计量，具有无偏性。与之相关的另外一个较弱的假定是，ut关于Xt的条件期望为0。Eut|Xt=0。3 的有效性假定3 随机误差项向量u是同方差、无序列相关的。即协方差矩阵为：Var (u|X) = s 2I = s 2 1.27OLS估计量的方差矩阵为： 1.28其中，s 2 (X X)-1第i行第j列的元素表示第i个参数估计量和和第j个参数估计量的协方差。当i=j时（即对角线上的元素），表示第i个（包括常数项）参数估计量的标准差。高斯马尔科夫定理：在假定13成立的条件下，OLS估计量是最有效的线性无偏估计量。即：设是OLS估计量，为其他无偏估计量，那么。根据迭代期望公式，可以得到。将线性回归
10、模型中OLS估计量称之为最佳线性无偏估计量（BLUE）。4 方差来源的方差对于统计推断以及经济解释都是至关重要的。方差越大，说明估计量越不精确，因此参数的置信区间就越大，假设检验也就越不准确。假设关注变量x2，设DGP为，模型设定为。根据FML定理， 其方差为：其中，表示x2对X1回归的残差平方和。因此，方差也可以表述为： 1.29其中，SSE2、R22表示x2对X1回归的残差平方和与可决系数，表示x2的离差平方和。因此，的方差来源于三部份：回归标准差02、解释变量之间的相关性、x2的波动。回归标准差02体现了模型中噪音的成分，噪音越多（02越大），那么解释变量的影响就越难以判断，估计量的就越
11、不准确。02是一个总体概念，与样本无关。但它是未知的，在后面的章节推导出其无偏估计量。给定被解释变量y，要想降低2，那就需要将更多的成分从随机扰动项中提取出来，方法只有一个：加入新的解释变量。但加入新的变量并不总是有效的，后面的章节还会详细地加以解释。Ri2体现了xi与其他解释变量的线性相关程度。相关程度越高，Ri2就越高，就越大。当Ri21时，。这时，我们称之为多重共线性(multicollinearity)。当然，如果部分解释变量之间存在多重共线性，不会影响其他的参数估计。比如，在下面的模型中：yt = b0 + b1 x1t + b2 x2t+ b3 x3t + ut如果x2t与x3t高度相关，那么和会比较大。但x2t与x3t的相关性对没有影响。事实上，如果x1t、x2t都与x3t不相关，即R120，那么2/SST1，与x2t、x3t之间的相关性没有任何关系。因此，如果模型关注的是x1t，那么就没有必要在乎x2t、x3t之间的多重共线性问题。给定其他条件不变的情况下，xi的离差平方和越大，的方差越小。提高xi的离差平方和的方法是增加样本容量。当样本容量不断增加时，离差平方和可以无限大，可以有力地降低的方差。Arthur Goldberger
