《第5章、违背基本假设的问题：多重共线性、异方差和自相关.doc》由会员分享，可在线阅读，更多相关《第5章、违背基本假设的问题：多重共线性、异方差和自相关.doc（42页珍藏版）》请在金锄头文库上搜索。
1、第5章、违背基本假设的问题：多重共线性、异方差和自相关回顾并再次记住最小二乘法（LS）的三个基本假设：1. y=Xb+e2. Rank(X)=K3. e|XN(0,s2I) 1、多重共线性（multicollinearity）1、含义及后果1）完全的多重共线性如果存在完全的多重共线性（perfect multicollinearity），即在X中存在不完全为0的ai，使得a1x1+aKxK=0即X的列向量之间存在线性相关。因此，有Rank(X)K，从而|XX|=0，即b=(XX)-1Xy不存在，OLS失效。也即违背了基本假设2。例子：C=b1+b2nonlabor income + b3sal
2、ary +b4income + e2）近似共线性常见为近似共线性，即a1x1+aKxK0则有|XX|0，那么(XX)-1对角线元素较大。由于，所以bk的方差将较大。例子：Longley是著名例子。2、检验方法1） VIF法（方差膨胀因子法，variance inflation factor）第j个解释变量的VIF定义为此处是第j个解释变量对其他解释变量进行回归的确定系数。若接近于1，那么VIF数值将较大，说明第j个解释变量与其他解释变量之间存在线性关系。从而，可以用VIF来度量多重共线性的严重程度。当大于0.9，也就是VIF大于10时，认为自变量之间存在比较严重的多重共线性。K个解释变量，就有
3、K个VIF。可以计算K个VIF的平均值。若大于10，认为存在比较严重的多重共线性。VIF方法直观，但是Eviews不能直接计算VIF的数值。需要逐个进行回归，较为麻烦。2） 相关系数矩阵例子：对于longley数据。在Eviews中，quick/group statistics/correlations，输入te year gnpd gnp arm，得到TEYEARGNPDGNPARMTE 1.000000 0.971329 0.970899 0.983552 0.457307YEAR 0.971329 1.000000 0.991149 0.995273 0.417245GNPD 0.970
4、899 0.991149 1.000000 0.991589 0.464744GNP 0.983552 0.995273 0.991589 1.000000 0.446437ARM 0.457307 0.417245 0.464744 0.446437 1.000000相关系数矩阵的第一列给出了被解释变量与每一个解释变量之间的相关系数；度量了每一个解释变量对被解释变量的个别影响。除ARM之外，解释变量与被解释变量之间的相关系数都很大。但是，从剩下的相关系数矩阵可以看到，变量之间的相关系数也很大。表明变量之间存在严重的多重共线性。3） 条件数（condition number）首先计算XX的最大
5、和最小特征根，然后计算如下条件数若大于20，则认为存在多重共线性。3、处理方法1）剔除法（推荐此方法）方法：设法找出引起多重共线性的解释变量，并将之剔除在回归方程之外。准则1：逐个引入解释变量，根据R2的变化决定是否引入新的解释变量。如果R2变化显著，那么应该引入，反之不引入。准则2：剔除VIF最大的解释变量和不显著的解释变量。请试着计算每个解释变量的VIF值。2）岭回归（ridge regression estimator）回忆对于多元线性回归方程，系数的LS估计是岭回归估计就是计算此处D是一个对角矩阵，定义为具体操作：一般选取r从0.01开始，逐步增加，每次都计算，一直到稳定不变为止。此方
6、法的优点：在matlab环境下，使用矩阵运算非常容易计算。缺点：一方面，Eviews不带此功能；另外一方面，缺乏对估计结果的解释的直观含义（是什么东西？）。3）主成分方法（principal components）首先，计算对称矩阵XX的特征根和特征向量，此处是特征向量矩阵是特征根矩阵，其中特征根从大到小排列。我们关心最大的前面L个。其次，计算，即是新的数据列向量，作为新的解释变量。最后，将y对Z进行回归，得到此方法并不难计算，但是问题仍然是很难解释估计结果。2、异方差（heteroscedasticity）1、含义及影响y=Xb+e，var(ei)var(ej), ij，E(e)=0，或者记
7、为即违背假设3。用LS估计，所得b是无偏的，但不是有效的。由于E(e)=0，所以有E(b)=b。即满足无偏性。但是，b的方差为其中。2、检验（White检验）举例说明。若回归方程为y=b0+b1x1 + b2x2 + e使用残差和解释变量，建立如下辅助回归方程 （*）构造如下原假设H0：残差不存在异方差性直观上，若H0为真，那么会有什么？可以证明，若H0为真，则其中n为样本个数，R2为方程（*）的确定系数，m为除常数项外的回归系数的个数。Eviews命令：view/residual tests/white heteroscedasticitystep1：双击数据文件production_fun
8、ction.wflstep2：输入ls log(x) c log(l1) log(k1)，进行回归step3：view/residual tests/white heteroscedasticity（no cross term）（当然也要试一下选择white heteroscedasticity（cross term）的输出结果），有White Heteroskedasticity Test:F-statistic1.275975 Probability0.298609Obs*R-squared5.090339 Probability0.278153Test Equation:Dependen
9、t Variable: RESID2Method: Least SquaresDate: 11/03/04 Time: 19:33Sample: 1929 1967Included observations: 39VariableCoefficientStd. Errort-StatisticProb. C-0.1318660.466549-0.2826400.7792LOG(L1)0.0685320.2153410.3182510.7522(LOG(L1)2-0.0056380.020636-0.2732360.7863LOG(K1)-0.0240770.062504-0.3852100.7
10、025(LOG(K1)20.0018800.0064570.2911810.7727R-squared0.130522 Mean dependent var0.001112Adjusted R-squared0.028230 S.D. dependent var0.002170S.E. of regression0.002139 Akaike info criterion-9.337819Sum squared resid0.000156 Schwarz criterion-9.124542Log likelihood187.0875 F-statistic1.275975Durbin-Wat
11、son stat1.899724 Prob(F-statistic)0.298609你得到什么结论？再试一下具有交叉项的情形。得到如下输出结果：White Heteroskedasticity Test:F-statistic1.045111 Probability0.408004Obs*R-squared5.331424 Probability0.376785Test Equation:Dependent Variable: RESID2Method: Least SquaresDate: 11/03/04 Time: 19:34Sample: 1929 1967Included obser
12、vations: 39VariableCoefficientStd. Errort-StatisticProb. C-0.0392740.508873-0.0771780.9389LOG(L1)-0.0542010.333444-0.1625490.8719(LOG(L1)20.0254400.0672540.3782660.7077(LOG(L1)*(LOG(K1)-0.0441980.090923-0.4861050.6301LOG(K1)0.0755370.2144530.3522310.7269(LOG(K1)20.0162590.0302920.5367410.5950R-squar
13、ed0.136703 Mean dependent var0.001112Adjusted R-squared0.005901 S.D. dependent var0.002170S.E. of regression0.002163 Akaike info criterion-9.293672Sum squared resid0.000154 Schwarz criterion-9.037740Log likelihood187.2266 F-statistic1.045111Durbin-Watson stat1.997638 Prob(F-statistic)0.408004你得到什么结论
14、？3、处理方法两种方法：WLS：适用于异方差形式已知情形HAC：适用于异方差形式未知情形1）WLS方法（weighted least square，加权最小二乘法）WLS方法是GLS（generalized ls，广义最小二乘法）的特例。所以按照GLS来学习这一部分。假设回归方程y=Xb+e的扰动项满足E(e|X)=0，称为非球形分布（nonspherical distribution），而传统情形称为球形分布（spherical distribution）。系数的Ls估计b的分布为由于E(e|X)=0，所以有E(b|X)=b。即满足无偏性。但是，b的方差为其中。即若已知的对称正定矩阵。将之进行分解，得到并定义。那么在回归方程左右两
