《多重共线性复习课程》由会员分享,可在线阅读,更多相关《多重共线性复习课程(38页珍藏版)》请在金锄头文库上搜索。
1、4.3 多重共线性,一、多重共线性的概念 二、实际经济问题中的多重共线性 三、多重共线性的后果 四、多重共线性的检验 五、克服多重共线性的方法 六、案例,一、多重共线性的概念,对于模型: Yi=0+1X1i+2X2i+kXki+i i=1,2,n 其基本假设之一是解释变量之间是互不相关的。 如果某两个或多个解释变量之间出现了相关性,则称为存 在多重共线性(Multicollinearity)。,如果存在不全为0的数c1、c2、ck,使 c1X1i+c2X2i+ckXki=0 i=1,2,n 即:某个解释变量完全可以由其它解释变量的线性组合来表示 则称为解释变量间存在完全共线性(perfect
2、multicollinearity)。, 完全共线性与近似共线性,如果存在不全为0的数c1、c2、ck,使 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 即:某个解释变量近似地可以由其它解释变量的线性组合来表示 则称为解释变量间存在近似共线性(approximate multicollinearity) 。,完全共线性下,X中至少有一列向量可由其他列向量(不包括第一列)线性表出,这意味着:秩(X)k+1。即:设计矩阵X是非列满秩的! 近似共线性下,X依然满足列满秩的条件, 共线性下的设计矩阵X,在矩阵表示的线性回归模型:Y=X+ 中:,这里定义的多重共线性仅对解释变量X之间的线
3、性相关而言。对于解释变量之间存在非线性相关的模型,并不视为存在多重共线性问题。如:, 对多重共线性的说明,实际问题中,完全的多重共线性并不多见,但是近似共线性却是一个普遍的现象。基于此,我们关注的多重共线性并不是一个“有无”的问题,而是一个“强弱”的问题。当各X之间的线性相关程度较弱时,我们将认为模型并不存在多重共线性问题。,二、实际经济问题中的多重共线性,一般地,产生多重共线性的主要原因有以下三个方面: (1)经济变量相关的共同趋势 时间序列样本:经济繁荣时期,各基本经济变量(收入、消费、投资、价格)都趋于增长;衰退时期,又同时趋于下降。 横截面数据:生产函数中,资本投入与劳动力投入往往出现
4、高度相关情况,大企业二者都大,小企业都小。,(2)滞后变量的引入,在经济计量模型中,往往需要引入滞后经济变量来反映真实的经济关系 例如:消费=f(当期收入, 前期收入) 显然,两期收入间有较强的线性相关性。,(3)样本资料的限制,由于完全符合理论模型所要求的样本数据较难收集,特定样本可能存在某种程度的多重共线性。 多重共线性本质上是一种样本现象。换言之,即使在总体中诸X之间没有线性关系,但在具体获得的样本中仍可能有线性关系。,三、多重共线性的后果,1、完全共线性下参数估计量不存在,完全共线性 X非列满秩 (XX)不满秩 (XX)-1 不存在 无法得到参数的估计量。,的OLS估计量为:,例:对离
5、差形式的二元回归模型,如果两个解释变量完全相关,如x2= x1,则,这时,只能确定综合参数1+2的估计值:,这一后果的实际意义是:无法得到回归系数的唯一解,但可以得到这些系数的线性组合的唯一解,Y=0+1X1+2X2+,Y=0+(1+2) X1+,2、近似共线性下解释变量的单独作用无法区分,实际问题中的直接表现是:模型的回归系数经常表现出反常的现象! 例如1本来应该是正的,结果却是负的。 经验表明,如果存在这种反常情形,应该首先怀疑多重共线性。,经典假设下,回归系数j表达了在其它解释变量不变的情形下,Xj对Y的单独作用(净影响) 如果模型中两个解释变量具有线性相关性,例如X2=X1 ,这时,X
6、1和X2前的参数1、2并不反映各自与被解释变量之间的结构关系,而是反映它们对被解释变量的共同影响 从而解释变量的单独作用无法无区分,1、2失去了应有的经济含义,3、近似共线性下OLS估计量的方差变大,近似共线性下,可以得到OLS参数估计量,并且可以证明,此时参数估计量依然满足线性、无偏和有效性,即OLS依然是BLUE 但是,此时参数估计量的方差会增大。参数估计量方差的表达式为,由于|XX|0,引起(XX) -1主对角线元素较大,使参数估计值的方差增大,这意味着: (1)无法精确的估计参数(以较高的精度估计参数) (2)基于参数估计量的标准差的变量显著性检验失效,以二元线性模型 Y=0+1X1+
7、2X2+ 为例:,恰为X1与X2的线性相关系数的平方r2,由于 0 r2 1,故 1/(1- r2 )1,方差膨胀因子 (Variance Inflation Factor, VIF),显然:多重共线性的存在使得参数估计值的方差增大,其增加的倍数可以采用1/(1-r2)衡量,当完全不共线时, r2 =0,当近似共线时, 0 r2 1,当完全共线时, r2=1,定义:1/(1-r2)称为方差膨胀因子(Variance Inflation Factor, VIF) 1-r21/VIF称为容忍度(Tolerance, TOL),更一般地,对于K元回归模型 Y=0+1X1+2X2+ kXk +,j的V
8、IF定义为:,有:,方差膨胀因子的一般性定义,其中:Rj2为下述回归的可决系数:,注意:,除非是完全共线性,多重共线性并不意味着任何基本假设的违背; 因此,即使出现较高程度的多重共线性,OLS估计量仍具有线性性等良好的统计性质。 问题在于:即使OLS法仍是最好的估计方法,它却不是“完美的”,尤其是在统计推断上无法给出真正有用的信息。,多重共线性的检验可以从两个角度进行: (1)共线性的定义变量的线性相关性 (2)共线性的后果方差变大、系数反常等 对多重共线性的检验需要完成两个基本任务: (1)检验多重共线性是否“存在”是否严重到需要重视的程度 (2)估计多重共线性的范围判断哪些变量之间存在共线
9、性。,三、多重共线性的检验,1、相关系数法,计算解释变量两两之间的简单相关系数,进行判断 (1)对两个解释变量简单相关系数 (2)对多个解释变量相关系数矩阵 若|r|接近1,则说明两变量存在较强的多重共线性。 注意: 相关系数多大才算是严重的共线性,并无统一标准,只能凭经验判断。 经验认为,如果rij0.8,比较严重 0.9,非常严重,若在OLS法下,出现以下现象,则可能意味着共线性的存在: a、系数估计值的符号不合常理; b、R2与F值较大,方程具有显著性,但各参数估计值的t检验值均较小,多个解释变量并不显著 说明各解释变量对Y的联合线性作用显著,但各解释变量间存在共线性而使得它们对Y的独立
10、作用不能分辨,故t检验不显著。,2、经验判断法,将每个解释变量Xi对其它解释变量Xj进行回归, 观察其拟合优度R2和F检验值,如果某个Ri2接近1,Fi显著超出临界值,则表明该Xi与其它解释变量存在多重共线性。,3、辅助回归检验法,计算每个回归系数的VIF或TOL 方差膨胀因子越大(或容忍度越小),表明模型的多重共线性越强。 当VIF5或VIF10时,认为存在较严重的多重共线性。,4、方差膨胀因子和容忍度(VIF 农业机械总动力(X4); 农业劳动力(X5),已知中国粮食生产的相关数据,建立中国粮食生产函数: Y=0+1 X1 +2 X2 +3 X3 +4 X4 +4 X5 +,1、用OLS法
11、估计上述模型:,R2接近于1; 给定=5%,得F临界值 F0.05(5,12)=3.11 F=638.4 15.19, 故认上述粮食生产的总体线性关系显著成立。 但X4 、X5 的参数未通过t检验,且符号不正确,故解释变量间可能存在多重共线性。,(-0.91) (8.39) (3.32) (-2.81) (-1.45) (-0.14),2、检验简单相关系数,发现: X1与X4间存在高度相关性。,列出X1,X2,X3,X4,X5的相关系数矩阵:,3、找出最简单的回归形式,可见,应选第1个式子为初始的回归模型。,分别作Y与X1,X2,X4,X5间的回归:,(25.58) (11.49) R2=0.8919 F=132.1 DW=1.56,(-0.49) (1.14) R2=0.075 F=1.30 DW=0.12,(17.45) (6.68) R2=0.7527 F=48.7 DW=1.11,(-1.04) (2.66) R2=0.3064 F=7.07 DW=0.36,4、逐步回归,将其他解释变量分别导入上述初始回归模型,寻找最佳回归方程。,回归方程以Y=f(X1,X2,X3)为最优:,5、结论,