《2012-第8章多重共线性》由会员分享，可在线阅读，更多相关《2012-第8章多重共线性（67页珍藏版）》请在金锄头文库上搜索。
1、多重共线性 解释变量相关会有什么后果？,第8章,引子：古典假设总是能够满足吗？ -对古典假设的再讨论,回顾对模型中随机扰动项和解释变量做的古典假设，有以下几个方面： 回归模型是参数线性的，并且是正确设定的。 随机扰动项与解释变量不相关。 零均值假设:误差项均值为零。 同方差假定:即随机扰动项的方差为一常量 无自相关假定： cov(ui,uj) = 0 ,ij 无多重共线性假定：解释变量之间不存在完全共线性。 正态性假定：为了假设检验，假 定随项误差u服从均值为零，(同)方差为 的正态分布。即，uiN( 0 , ),引子：古典假设总是能够满足吗？ -对古典假设的再讨论,本章试图回答以下问题：(1
2、)多重共线性的性质是什么?(2)多重共线性是否是一个严重的问题?(3)多重共线性的理论后果是什么?(4)多重共线性的实际后果是什么?(5)在实际中，如何发现多重共线性?(6)消除多重共线性的弥补措施有哪些?,8.1 什么是多重共线性,一、多重共线性的概念,对于模型Yi=B1+B2X2i+B3X3i+BkXki+i i=1,2,n 其基本假设之一是解释变量是互相独立的。,如果某两个或多个解释变量之间出现了相关性，则称为多重共线性(Multi-collinearity)。,8.1 什么是多重共线性,如果存在c1X2i+c2X3i+ckXki=0 i=1,2,n 其中: ci不全为0，则称为解释变量
3、间存在完全共线性（perfect multicollinearity）。,如果存在c1X2i+c2X3i+ckXki+vi=0 i=1,2,n 其中ci不全为0，vi为随机误差项，则称为近似共线性（approximate multicollinearity）或交互相关(intercorrelated)。,8.1 什么是多重共线性,回归模型中解释变量的关系可能表现为三种情形：,（1）,（2）,（3）,注意：完全共线性的情况并不多见，一般出现的是在一定程度上的共线性，即近似共线性。,8.1 什么是多重共线性,二、产生多重共线性的背景,一般地，产生多重共线性的主要原因有以下三个方面：（1）经济变量相
4、关的共同趋势 时间序列样本：经济繁荣时期，各基本经济变量（收入、消费、投资、价格）都趋于增长；衰退时期，又同时趋于下降。横截面数据：生产函数中，资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，小企业都小。,在经济计量模型中，往往需要引入滞后经济变量来反映真实的经济关系。例如，消费=f(当期收入, 前期收入）显然，两期收入间有较强的线性相关性。,（2）滞后变量的引入,8.1 什么是多重共线性,8.1 什么是多重共线性,由于完全符合理论模型所要求的样本数据较难收集，特定样本可能存在某种程度的多重共线性。一般经验：时间序列数据样本：简单线性模型，往往存在多重共线性。截面数据样本：问题不那么
5、严重，但多重共线性仍然是存在的。,（3）利用截面数据建立模型也可能出现多重共线性,（4）样本资料的限制,8.2 多重共线性产生的后果,一、多重共线性的理论后果,1.即使是在接近共线性的情形下，普通最小二乘法估计量仍然是无偏的。但要记住的是，无偏性是一个重复抽样的性质。2.接近共线性也并未破坏普通最小二乘估计量的最小方差性：在所有线性无偏估计量中，普通最小二乘法估计量的方差最小。但最小方差并不意味着方差值也较小。3.即使变量X与总体(也即PRF)不线性相关，但却可能与某一样本线性相关。从这个意义上说，多重共线性本质上是一个样本(回归)现象。,8.2 多重共线性产生的后果,二、多重共线性的实际后果
6、,1. 普通最小二乘法估计量的方差和标准差较大，普通最小二乘法估计量的精确度降低。 2. 置信区间变宽。由于标准差较大，所以总体参数的置信区间也就变大了。 3. t值不显著。 4. R2值较高，但t值则并不都显著。,8.2 多重共线性产生的后果,5. 普通最小二乘估计量及其标准差对数据的微小变化非常敏感；也就是说，它们趋于不稳定。 6. 回归系数符号有误。 7. 难以衡量各个解释变量对回归平方和(ESS)或者R2的贡献。,小结 ：多重共线性的后果,1.完全共线性下参数估计量不存在,2.近似共线性下OLS估计量非有效,8.2 多重共线性产生的后果,8.2多重共线性产生的后果,3.参数估计量经济含
7、义不合理,如果模型中两个解释变量具有线性相关性，例如 X2= X1 ，这时，X1和X2前的参数1、2并不反映各自与被解释变量之间的结构关系，而是反映它们对被解释变量的共同影响。1、2已经失去了应有的经济含义，于是经常表现出似乎反常的现象：例如1本来应该是正的，结果恰是负的。,8.2多重共线性产生的后果,存在多重共线性时,参数估计值的方差与标准差变大,容易使通过样本计算的t值小于临界值，误导作出参数为0的推断,可能将重要的解释变量排除在模型之外,4.变量的显著性检验失去意义,8.2 多重共线性产生的后果,5.模型的预测功能失效,变大的方差容易使区间预测的“区间”变大，使预测失去意义。,注意：,除
8、非是完全共线性，多重共线性并不意味着任何基本假设的违背；因此，即使出现较高程度的多重共线性，OLS估计量仍具有线性性等良好的统计性质。问题在于，即使OLS法仍是最好的估计方法，它却不是“完美的”，尤其是在统计推断上无法给出真正有用的信息。,8.3 多重共线性的诊断,多重共线性是一个程度问题而不是存在与否的问题。由于多重共线性是在假定解释变量是非随机的条件下出现的问题，因而它是样本的特征而不是总体的特征。,8.3 多重共线性的诊断,8.3 多重共线性的诊断,1.对两个解释变量的模型用简单相关系数检验法,例如：对两个解释变量的模型，求出X1与X2的简单相关系数r，若|r|接近1，则说明两变量存在较
9、强的多重共线性。,注意：较高的简单相关系数只是多重共线性存在的充分条件，而不是必要条件。,一、检验多重共线性是否存在,8.3 多重共线性的诊断,2.对多个解释变量的模型用偏相关系数检验法,3.直观判断法,（1）若 在OLS法下：R2与F值较大，但t检验值较小，说明各解释变量对Y的联合线性作用显著，但各解释变量间存在共线性而使得它们对Y的独立作用不能分辨，故t检验不显著。,8.3 多重共线性的诊断,（2）当增加或删除一个解释变量，或者改变一个观测值时，回归参数的估计值发生较大变化，回归方程可能存在严重的多重共线性。 （3）从定性分析认为，一些重要的解释变量的回归系数的标准误差较大，在回归方程中没
10、有通过显著性检验，可初步判断可能存在严重的多重共线性。（4）有些解释变量的回归系数所带正负号与定性结果违背时，可能存在多重共线性。 （5）解释变量的相关矩阵中，解释变量之间的相关系数较大时，可能会存在多重共线性。,8.3 多重共线性的诊断,二、判明存在多重共线性的范围,如果存在多重共线性，需进一步确定究竟由哪些变量引起。 （1） 判定系数检验法（从属回归或辅助回归） 使模型中每一个解释变量分别以其余解释变量为解释变量进行回归，并计算相应的拟合优度。如果某一种回归Xji=1X1i+2X2i+LXLi 的判定系数较大，说明Xj与其他X间存在共线性。,8.3 多重共线性的诊断,具体可进一步对上述回归
11、方程作F检验：,式中：Rj2为第j个解释变量对其他解释变量的回归方程的判定系数，若存在较强的共线性，则Rj2较大且接近于1，这时（1- Rj2 ）较小，从而Fj的值较大。因此，给定显著性水平，计算F值，并与相应的临界值比较，来判定是否存在相关性。,构造如下F统计量,8.3 多重共线性的诊断,在模型中排除某一个解释变量Xj，估计模型；如果拟合优度与包含Xj时十分接近，则说明Xj与其它解释变量之间存在共线性。,另一等价的检验是:,8.3 多重共线性的诊断,重要概念： 从属或辅助回归,既然多重共线性是由于一个或多个解释变量是其他解释变量的线性(或接近线性)组合，那么检验模型中哪个变量与其他变量高度共
12、线性的方法就是作每个变量对其他剩余变量的回归并计算相应的R2值。其中的每一个回归都被称作是从属或者辅助回归。,8.3 多重共线性的诊断,从属回归具体步骤如下，考虑对,（1）作x2对其他剩余解释变量的回归，并求样本决定系数，记为 。 （2）作x3对其他剩余解释变量的回归，并求样本决定系数，记为 。 （3）对模型中剩余解释变量继续以上步骤。在此，总共有6个这样的辅助回归。,8.3 多重共线性的诊断,（4）具体可进一步对上述回归方程作F检验：,构造如下F统计量,在这个例子中，共包括6个解释变量，假设有一个容量 为50的样本，对每个解释变量做剩余变量的回归。各辅 助回归的判定系数如下：,8.3 多重共
13、线性的诊断,8.3 多重共线性的诊断,(2) 方差膨胀因子,多重共线性使参数估计值的方差增大，1/(1-R22)为方差膨胀因子(Variance Inflation Factor, VIF)。 经验表明VIF10时，说明解释变量与其余解释变量之间有严重的多重共线性，且这种多重共线性可能会过度地影响最小二乘估计。,8.3多重共线性的诊断,取决于研究的目的。 如果是为了利用模型预测应变量的未来均值，则多重共线性未必是一件坏事。 如果研究的目的不仅仅是预测，而且还要可靠地估计出模型的参数，则严重的共线性就是一件“坏事”，因为它导致了估计量的标准误增大。,问题: 多重共线性必定不好吗？,8.3多重共线
14、性的诊断,多重共线性案例分析: 1960-1982年期间美国的鸡肉需求,8.3多重共线性的诊断,8.3多重共线性的诊断,多重共线性案例分析: 1960-1982年期间美国的鸡肉需求原始数据 表7-8：,8.3多重共线性的诊断,多重共线性案例分析: 1960-1982年期间美国的鸡肉需求取对数后的数据：,8.3多重共线性的诊断,多重共线性案例分析: 1960-1982年期间美国的鸡肉需求双对数模型回归结果：,8.3 多重共线性诊断：1960-1982年期间美国的鸡肉需求,1960-1982年期间美国的鸡肉需求函数,8.3多重共线性的诊断:1960-1982年期间美国的鸡肉需求,鸡肉需求函数方程（
15、8.15）的共线性诊断1.相关矩阵,8.3多重共线性的诊断:1960-1982年期间美国的鸡肉需求,鸡肉需求函数方程（8.15）的共线性诊断 2.辅助回归,8.3多重共线性的诊断:1960-1982年期间美国的鸡肉需求,鸡肉需求函数方程（8.15）的共线性诊断 2.辅助回归,8.3多重共线性的诊断:1960-1982年期间美国的鸡肉需求,鸡肉需求函数方程（8.15）的共线性诊断 2.辅助回归,8.3多重共线性的诊断:1960-1982年期间美国的鸡肉需求,鸡肉需求函数方程（8.15）的共线性诊断 2.辅助回归,8.3多重共线性的诊断:1960-1982年期间美国的鸡肉需求,鸡肉需求函数方程（8
16、.15）的共线性诊断 2.辅助回归,8.3多重共线性的诊断:1960-1982年期间美国的鸡肉需求,鸡肉需求函数方程（8.15）的共线性诊断 3.方差膨胀因子,scalar vif2=1/(1-0.9846)=64.9351 scalar vif3=1/(1-0.9428)=17.4825 scalar vif4=1/(1-0.9759)=41.4937 scalar vif5=1/(1-0.9764)=42.3729,8.4 如何解决多重共线性：补救措施,一、修正多重共线性的经验方法1.从模型中删掉一个变量2.获取额外的数据或新的样本3.重新考虑模型4.参数的先验信息5.变量变换二、逐步回归法,
