多重共线性ppt课件

《多重共线性ppt课件》由会员分享，可在线阅读，更多相关《多重共线性ppt课件（62页珍藏版）》请在金锄头文库上搜索。

1、第第6章章 多重共多重共线性性Multi-CollinearityMulti-Collinearity 一、多重共线性的概念一、多重共线性的概念 二、多重共线性的缘由二、多重共线性的缘由 三、多重共线性的后果三、多重共线性的后果 四、多重共线性的检验四、多重共线性的检验 五、多重共线性的处理方法五、多重共线性的处理方法 六、案例六、案例 第第6章章 多重共多重共线性性 一、多重共线性的概念一、多重共线性的概念 对于多元线性回归模型 Yi=0+1X1i+2X2i+kXki+i i=1,2,n其根本假设之一是解释变量是相互独立的。 假设某两个或多个解释变量之间出现了相关性，那么称为多重共线性(Mu

2、lticollinearity)。 这里，“共线性表示存在着线性相关关系，“多重意味着相关关系有多个组合。也就是也就是说，假，假设存在存在 1X1i+2X2i+kXki=0 i=1,2,n 其其中中: i不不全全为0，那那么么称称为解解释变量量间存存在在完完全全共共线性性perfect multicollinearity即即某某一一个个解解释变量量可以用其他解可以用其他解释变量的量的线性性组合表示。合表示。 假设存在 1X1i+2X2i+kXki+vi=0 i=1,2,n 其中i不全为0，vi为随机误差项，那么称为 近似共线性approximate multicollinearity或不完全共

3、线性。 在矩阵表示的线性回归模型 Y=X+中，完全共线性指：秩(X)k+1，即中，至少有一列向量可由其他列向量不包括第中，至少有一列向量可由其他列向量不包括第一列一列线性表出。性表出。 如：X2= X1，那么X2对Y的作用可由X1替代。 ，解释变量间毫无线性关系，变量间相互正交。这时已不需求作多元回归，每个参数j都可以经过Y 对 Xj 的一元回归来估计。 能够表现为三种情形：(1) ，解释变量间完全共线性。此时模型参数将无法确定。 ，解释变量间存在一定程度的线性关系。实践中常遇到的情形。(2)(3) 回归模型中解释变量的关系回归模型中解释变量的关系 由于存在随机变量，完全共线性的情况并不多见，

4、普通出现的是在一定程度上的共线性，即近似共线性。这时，列向量不是完全线性相关的，而是近似线性相关的。 需求指出的是，多重共需求指出的是，多重共线线性是指解性是指解释变释变量之量之间间的的线线性关系，并不是指它性关系，并不是指它们们之之间间的非的非线线性关系。例性关系。例如，如，对对于下述回于下述回归归模型：模型： 该模型仅是非线性关系，并不违反无多重共线性假定。该模型仅是非线性关系，并不违反无多重共线性假定。 留意：留意： 二、多重共线性产生的缘由二、多重共线性产生的缘由 普通地，产生多重共线性的主要缘由有以下四个方面： 1 经济变量相关的共同趋势 时间序列样本：经济昌盛时期，各根本经济变量收

5、入、消费、投资、价钱都趋于增长；衰退时期，又同时趋于下降。 横截面数据：消费函数中，资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，小企业都小。 2 2 经济变量之间的内在联络经济变量之间的内在联络 在经济计量模型中，引入的经济变量之间存在内在联络。 例如，农业消费函数中，影响农业产量Y的要素有耕地面积X1和施肥量X2等要素，其模型可写为 普通来说，土地面积与施肥量有亲密关系，面积越大，施肥量越多，二者存在着一定的线性依存关系。 3 3 滞后变量的引入滞后变量的引入 在经济计量模型中，往往需求引入滞后经济变量来反映真实的经济关系。 例如，消费=f(当期收入, 前期收入 显然，两期收入

6、间有较强的线性相关性。 再如，固定资产存量不仅与本期投资有关，还与以前有关。同一变量的前后期值能够高度线性相关。 4 样本资料的限制 由于完全符合实际模型所要求的样本数据较难搜集，只能被动接受，而且只能获得一个有限范围察看值，无法进展反复实验，假设解释变量个数大于观测次数，就会出现过度拟合的模型。特定样本能够存在某种程度的多重共线性。 如医疗研讨中，能够只需少数病人，却要搜集大量变量的信息，这些变量之间就会出现相关性。 从方程组的角度看，是方程个数少于变量的个数，那么方程组有无数组解，其中部分解可以用其他解线性表示，即变量之间存在相关性。 三、多重共线性的后果三、多重共线性的后果 1 1、完全

7、共、完全共线性下参数估性下参数估计量不存在量不存在假假设存在完全共存在完全共线性，那么性，那么(XX)-1不存在，无法不存在，无法得到参数的估得到参数的估计量。量。的的OLS估估计量量为： 假设解释变量之间是相关的，当一个发生变化时，假设解释变量之间是相关的，当一个发生变化时，与其高度相关的变量的观测值也会以类似的方式变与其高度相关的变量的观测值也会以类似的方式变化，这时参数的大小就不再具有原来的意义，而且化，这时参数的大小就不再具有原来的意义，而且参数的意义难以解释。参数的意义难以解释。例如，在农业消费函数中例如，在农业消费函数中 假设耕地面积假设耕地面积 和施肥量和施肥量 之间存在完全的共

8、线之间存在完全的共线性，比如性，比如 (k为一非零常数为一非零常数)，我们再引入，我们再引入 一个恣意非零常数一个恣意非零常数 ，那么，那么 代入代入 模型中那么有模型中那么有虽然完全等价，但回归系数却显然不同虽然完全等价，但回归系数却显然不同 ,阐明这时阐明这时 参数值的估计不独一确定参数值的估计不独一确定 . 从经济意义上讲，假设取从经济意义上讲，假设取 ，那么，那么 0 这阐明，随耕地面积的添加农产量将会减少，这这阐明，随耕地面积的添加农产量将会减少，这显然是非常荒唐的结论。显然是非常荒唐的结论。 完全多重共线性的后果完全多重共线性的后果对于二元线性回归模对于二元线性回归模 型型 其参数

9、其参数 1的的OLS估计式为：估计式为：由由 得得 ,那么那么 完全多重共线性的后果完全多重共线性的后果(普通普通)因此，因此， 2. 2.参数估计量经济含义不合理参数估计量经济含义不合理 假设模型中两个解释变量具有线性相关性，例如 X2= kX1 ， 这时，X1和X2前的参数1、2并不反映各自与被解释变量之间的构造关系，而是反映它们对被解释变量的共同影响。 1、2曾经失去了应有的偏回归系数经济含义，甚至经常表现出似乎反常的景象：例如1本来应该是正的，结果却是负的。 3. 3.不完全共线性下不完全共线性下OLSOLS估计量非有效估计量非有效 不完全共线性下，可以得到OLS参数估计量。对于二元线

10、性回归模型对于二元线性回归模型可见可见X1与与X2不完全的共线时，参数是可以估计的。不完全的共线时，参数是可以估计的。设设X1与与X2不完全的共线性关系为不完全的共线性关系为 其中，其中，,那么有 代入参数估计式代入参数估计式 得得: 3. 3.不完全共线性下不完全共线性下OLSOLS估计量非有效估计量非有效 不完全共线性下，虽然可以得到OLS参数估计量， 但参数估计量方差的表达式为 由于|XX|0，引起(XX) -1主对角线元素较大，使参数估计值的方差增大，OLS参数估计量非有效。仍以二元仍以二元线性模型性模型 Y=0+1X1+2X2+ 为例例: 恰恰为X1与与X2的的线性相关系数的平方性相

11、关系数的平方r2由于 r2 1，故 1/(1- r2 )1其中其中多重共线性使参数估计值的方差增大，1/(1-r2)为方差膨胀因子(Variance Inflation Factor, VIF)，它阐明OLS的估计量的方差随着是多重共线性的添加而“膨胀起来。当完全不共线时当完全不共线时, r2 =0 当不完全共当不完全共线时, 0 r2 1当完全共当完全共线时， r2=1， 4 4、参数的置信区间明显扩展、参数的置信区间明显扩展 由于存在多重共线性，变大的方差容易使参数估计量有较大的规范差，因此参数真值的置信区间也将增大。此置信区间将随此置信区间将随 的增大而增大。的增大而增大。而置信区间愈大

12、而置信区间愈大,对真值的估计愈不准确。对真值的估计愈不准确。 5 5、变量的显著性检验失去意义、变量的显著性检验失去意义存在多重共存在多重共线性性时参数估参数估计值的方差与的方差与规范差范差变大大 容易使容易使经过样本本计算的算的t值小于小于临界界值， 误导作出参数作出参数为0的推断的推断能能够将重要的解将重要的解释变量排除在模型之外量排除在模型之外 6 6、参数估计量及其规范误差对于样本、参数估计量及其规范误差对于样本动摇非常敏感动摇非常敏感数据即使出现细微变动，它们都将发生较大数据即使出现细微变动，它们都将发生较大变化，使回归模型缺乏稳定性。这可从二元线变化，使回归模型缺乏稳定性。这可从二

13、元线性回归模型中看出，性回归模型中看出，故当样本数据的细微变动引起故当样本数据的细微变动引起 的细微变的细微变动时，动时， 将会发生较大的变动，即将会发生较大的变动，即 将将会发生较大的变动。会发生较大的变动。 留意：留意： 当模型存在多重共线性时，OLS估计依然为最正确线性无偏估计BLUE。假设我们的目的仅仅是预测的未来值，且估计解释变量之间的多重共线关系在预测期不发生变化，那么，多重共线性对Y的预测就没有明显影响。 问题在于，即使OLS法仍是最好的估计方法，它却不是“完美的，尤其是在统计推断上无法给出真正有用的信息。多重共多重共线性表性表现为一种一种样本景象，即使本景象，即使总体不存体不存

14、在多重共在多重共线性，所得性，所得样本也能本也能够出出现多重共多重共线性。性。而且由于抽而且由于抽样动摇，对于同一于同一总体，不同体，不同样本的共本的共线性程度也不一性程度也不一样。因此，。因此，对于多重共于多重共线性的性的检验，可以直接可以直接对所得所得样本本进展分析做出判展分析做出判别。 多多重重共共线性性表表现为解解释变量量之之间具具有有相相关关关关系系，所所以以用用于于多多重重共共线性性的的检验方方法法主主要要是是统计方方法法：如如简单相相关关系系数数检验法法、断断定定系系数数检验法法、方方差差扩展膨展膨胀因子法等。因子法等。 四、多重共线性的检验四、多重共线性的检验1.简单相关系数检

15、验法简单相关系数检验法 含义：简单相关系数检验法是利用解释变量之间的含义：简单相关系数检验法是利用解释变量之间的线性相关程度去判别能否存在严重多重共线性的线性相关程度去判别能否存在严重多重共线性的一种简便方法。一种简便方法。 判别规那么：普通而言，假设每两个解释变量的简判别规那么：普通而言，假设每两个解释变量的简单相关系数单相关系数(零阶相关系数零阶相关系数)比较高，例如大于比较高，例如大于0.8，那么可以为存在着较严重的多重共线性。，那么可以为存在着较严重的多重共线性。 较高的简单相关系数只是多重共线性存在的充分较高的简单相关系数只是多重共线性存在的充分条件，而不是必要条件。特别是在多于两个

16、解释条件，而不是必要条件。特别是在多于两个解释变量的回归模型中，有时较低的简单相关系数也变量的回归模型中，有时较低的简单相关系数也能够存在多重共线性。因此，并不能简单地根据能够存在多重共线性。因此，并不能简单地根据相关系数进展多重共线性的准确判别。相关系数进展多重共线性的准确判别。命令方式命令方式COR 各个解释变量名各个解释变量名 ，得两两简单相关，得两两简单相关系数矩阵如下系数矩阵如下 留意：留意：2.根据可决系数根据可决系数R2 、F检验、检验、t检验的结果判别检验的结果判别阅阅历历阐阐明明，多多重重共共线线性性存存在在的的一一个个标标志志是是模模型型结结果果具具有有较较大大的的规规范范

17、误误差差和和较较小小的的t统统计计量量。假假设设模模型型的的可可决决系系数数 很很大大， 检检验验高高度度显显著著，但但是是偏偏回回归归系系数数的的t检检验验几几乎乎都都不不显显著著 t检检验验值值较较小小 ，那么模型很能够存在多重共线性。那么模型很能够存在多重共线性。由由于于经经过过检检验验，虽虽然然各各解解释释变变量量对对的的结结合合线线性性影影响响高高度度显显著著，但但每每个个解解释释变变量量的的单单独独影影响响却却都都不不显显著著，就就无无法法区区分分哪哪个个解解释释变变量量对对被被解解释释变变量量的的影影响响更更大大。这这种种矛矛盾盾结结果果能能够够是是由由于于 较较大大引引起的，这

18、时很有能够存在严重的多重共线性。起的，这时很有能够存在严重的多重共线性。 3 3、断定系数检验法、断定系数检验法 假设存在多重共线性，需进一步确定终究由哪些变量引起。使模型中每一个解释变量分别以其他解释变量为解释变量进展回归，并计算相应的拟合优度。 假设某一种回归 Xji=1X1i+2X2i+kXki的断定系数 较大，阐明Xj与其他X间存在共线性。其中 称为复相关系数 详细可进一步对上述回归方程作详细可进一步对上述回归方程作F F检验：检验： 式中：Rj2为第j个解释变量对其他解释变量的回 归方程的决议系数， 假设存在较强的共线性，那么Rj2较大且接近于1，这时1- Rj2 较小，从而Fj的值

19、较大。 因此，给定显著性程度，计算F值，并与相应的临界值比较，来断定能否存在相关性。 构造如下F统计量 在模型中排除某一个解释变量Xj，估计模型； 假设拟合优度与包含Xj时非常接近，那么阐明Xj与其它解释变量之间存在共线性。 另一等价的检验是另一等价的检验是: 4 4、方差扩展膨胀因子法、方差扩展膨胀因子法 统计统计上可以上可以证证明，解明，解释变释变量量的参数估的参数估计计式式的方差可表示的方差可表示为为 其中的其中的是是变变量量(Variance Inflation Factor)，即，即的方差扩展因子的方差扩展因子其中其中 是第是第j个解个解释变释变量量辅辅助回助回归归的可决系数的可决系

20、数 阅历规那么阅历规那么方差膨方差膨胀因子越大，因子越大，阐明解明解释变量之量之间的多重共的多重共性越性越严重。反重。反过来，方差膨来，方差膨胀因子越接近于因子越接近于1，多，多重共重共线性越弱，因此，可以用作性越弱，因此，可以用作为衡量多重共衡量多重共线性的一个目的。性的一个目的。 阅历阐明，方差膨明，方差膨胀因子因子VIF 10时，阐明解明解释变量与其他解量与其他解释变量之量之间有有严重的多重共重的多重共线性，性，且且这种多重共种多重共线性能性能够会会过度地影响最小二乘估度地影响最小二乘估计。与与 等价的目的是等价的目的是“允允许度度Tolerance，其定，其定义为： 另一等价的检验是另

21、一等价的检验是:显然然，0TOLj1；当当Xj与与其其他他解解释变量量高高度度相相关关时，TOLj0。因因此此，普普通通当当TOLj0.1时，以以为模模型存在型存在较严重的多重共重的多重共线性。性。5.5.条件数检验条件数检验(1)(1)特征值特征值 ： 调查解释变量的样本数据矩阵调查解释变量的样本数据矩阵当模型存在完全多重共线性时当模型存在完全多重共线性时,rank(X)k+1,而当模型存在严重的多重共线性时，而当模型存在严重的多重共线性时，根据矩阵代数知识，根据矩阵代数知识，为矩阵为矩阵 的的 个个假假设设0 特征值，那么有：特征值，那么有：5.5.条件数检验条件数检验( (特征值特征值)

22、 ) ，这阐明特征值中至少有一个近似地等于这阐明特征值中至少有一个近似地等于0。假设。假设c是对应于特征值是对应于特征值 的单位特征向量，那么的单位特征向量，那么 ， ， ，更详细地更详细地 这阐明矩阵这阐明矩阵 列向量之间存在多重共线性，并且列向量之间存在多重共线性，并且这些多重共线性关系的系数向量就等于接近于这些多重共线性关系的系数向量就等于接近于0的那个特征根对应的特征向量。因此，可以利用的那个特征根对应的特征向量。因此，可以利用的特征值来检验模型的多重共线性的特征值来检验模型的多重共线性 5.5.条件数检验条件数检验2 2条件指数条件指数Condition IndexCondition

23、 Index 将将 矩矩阵的每一列的每一列 用其模用其模 相除相除以以实现规范化，然后再求范化，然后再求 矩矩阵的特征的特征值，取其中最大的除以最小的后再求平方根，得到取其中最大的除以最小的后再求平方根，得到该矩矩阵的的“条件数，条件数，记为： 通常当通常当 大于大于1010或或2020时，以，以为存在存在较明明显的多重共的多重共线性。性。 附：回归系数方差分解附：回归系数方差分解: :假设假设V V是对角化是对角化 的的(K+1) (K+1)(K+1) (K+1)对角矩阵：即对角矩阵：即其中其中 是是 的特征值构成的对角矩阵。的特征值构成的对角矩阵。 从而从而两种了解：假设特征值之和反映对被

24、解释变量解释两种了解：假设特征值之和反映对被解释变量解释程度，倒数之和反映引起估计量方差的比重。程度，倒数之和反映引起估计量方差的比重。 首先明确建立模型的目的：首先明确建立模型的目的：经济预测、构造分析或、构造分析或政策政策评价。假价。假设建立模型的目的是建立模型的目的是进展展预测，就可，就可以忽略多重共以忽略多重共线性。性。 1 1、直接剔除次要或可替代的、直接剔除次要或可替代的变量量 剔除剔除时需留意需留意产生新的生新的问题: : 当模型存在共当模型存在共线性，假性，假设将某个共将某个共线性性变量去掉，量去掉，模型的模型的经济意意义不合理；不合理； 能能够使模型使模型产生异方差性或自相关

25、性；生异方差性或自相关性；假假设剔除不当剔除不当, ,能能够会会产生模型生模型设定定误差，呵斥参差，呵斥参数估数估计严重有偏重有偏 四、多重共线性的处理方法 2、减小参数估计量的方差、减小参数估计量的方差 多重共线性的主要后果是参数估计量具有较大的方差，所以， 采取适当方法减小参数估计量的方差，虽然没有消除模型中的多重共线性，但确能消除多重共线性呵斥的后果。 例如： 添加样本容量，可使参数估计量的方差减小，由于：此此外外，获取取新新的的样本本，或或许有有助助于于消消除除多多重重共共线性性。由由于于多多重重共共线性性是是一一个个样本本景景象象，在在包包括括同同样变量量的的另另一一个个样本本中中，

26、共共线性性程程度度或或许会会降降低低。关关键是能否是能否获得另一个得另一个样本。本。 利用附加信息：利用附加信息：“事前信息也称事前信息也称“先先验信息，是信息，是指根据指根据经济实际及及实践的践的统计资料所料所获得的解得的解释变量之量之间的关系。的关系。例如，消例如，消费函数模型函数模型为 容易了解，收入容易了解，收入 和和财富富 之之间是高度是高度相关的，相关的， 所以模型存在多重共所以模型存在多重共线性。性。 假假设根据根据“事前信息曾事前信息曾经知道知道 大大约是是 的的 1/10 1/10，即，即 利用利用这一信息，可将模型一信息，可将模型转化化为 假假设是令是令 那么有那么有 该模

27、型已无多重共模型已无多重共线性。性。 3、间接剔除重要的解释变量、间接剔除重要的解释变量 利用附加信息利用附加信息 再如：消再如：消费函数函数 ，L L与与K K通常高度通常高度相关，相关， 假假设知附加信息：知附加信息： +=1 +=1 规模模报酬不酬不变 或或 记 y=Y/L , k=K/L y=Y/L , k=K/L那么那么C-DC-D消消费函数可以表示成函数可以表示成: y=Ak: y=Ak，此，此时二元模型二元模型转化成一元模型化成一元模型 ，可利用，可利用OLSOLS法估法估计 ，进而得到而得到那么那么3、间接剔除重要的解释变量、间接剔除重要的解释变量2 2变换模型的方式模型的方式

28、 变换模型的函数方式：如将线性模型转换成双对数模型、半对数模型、多项式模型等； 变换模型的变量方式 例如，某种商品的需求函数为： 假设只需求知道两种商品的相对价钱 变动对需求量的影响，并不一定要求分析商品价钱的绝对变动对需求量的影响，那么可把需求函数变换为： 改动变量的统计目的例如：消费函数： 可变换为 与 的相关程度远小于 与 的相关程度。 (3) 综合运用时序数据与横截面数据综合运用时序数据与横截面数据 可以看出，最终还是经过减少模型中解释变量个数的方式来消除多重共线性的影响，但并不是直接剔除有重要影响的解释变量。例如，某商品的需求函数为例如，某商品的需求函数为假设假设 和和 很高度正相关

29、，很高度正相关， 先根据截面数据估计出先根据截面数据估计出参数参数 ，然后再根据估计的对原模型作变换：，然后再根据估计的对原模型作变换：再利用原来的时间序列数据估计出再利用原来的时间序列数据估计出 ， 前提条件，前提条件，就是就是 在整个时期的动摇不大在整个时期的动摇不大 。得得4、Frisch综合分析法合分析法 根本原理：从一切解根本原理：从一切解释变量中量中间先先选择影响最影响最为显著的著的变量建立模型，然后再将模型之外的量建立模型，然后再将模型之外的变量量逐个引入模型；每引入一个逐个引入模型；每引入一个变量，就量，就对模型中的模型中的一切一切变量量进展一次展一次显著性著性检验，并从中剔除

30、不，并从中剔除不显著的著的变量；逐量；逐渐引入引入剔除剔除引入，直到模型之引入，直到模型之外一切外一切变量均不量均不显著著时为止。止。 根根本本步步骤：将将被被解解释变量量Y Y对每每一一个个解解释变量量Xj(j=1,2, Xj(j=1,2, k)k)分分别进展展回回归，对每每一一个个回回归方方程程根根据据经济实际和和统计检验进展展综合合判判别分分析析，从从中中选出出一一个个最最优的的根根本本回回归方方程程。在在此此根根底底上上，再再逐逐一一引引入入其其它它解解释变量量，重重新新作作回回归，逐逐渐扩展展模模型型的的规模模，直直至至从从综合合情情况况看看出出现最好的模型估最好的模型估计方式。方式

31、。1假设新解释变量在符合经济意义的前提下，能使拟假设新解释变量在符合经济意义的前提下，能使拟合优度合优度 有所提高，并且每个参数统计检验显著，那么采有所提高，并且每个参数统计检验显著，那么采用该变量。阐明该解释变量是一个独立解释变量用该变量。阐明该解释变量是一个独立解释变量2假设新解释变量不能改善拟合优度，同时对其它参假设新解释变量不能改善拟合优度，同时对其它参数无明显影响，那么可舍弃该变量。阐明它可以用其它数无明显影响，那么可舍弃该变量。阐明它可以用其它变量的线性组合替代变量的线性组合替代3假设新解释变量能使拟合优度有所改动，假设新解释变量能使拟合优度有所改动， 提高，提高，但对其它参数的符

32、号和数值有明显的影响，统计检验也不但对其它参数的符号和数值有明显的影响，统计检验也不显著，可以断定新解释变量引起了共线性。此时需按照前显著，可以断定新解释变量引起了共线性。此时需按照前述的检验方法，调查变量间线性相关的方式和程度，并进述的检验方法，调查变量间线性相关的方式和程度，并进展经济意义的判别，在共线性程度最高的两个变量中，舍展经济意义的判别，在共线性程度最高的两个变量中，舍去对被解释变量影响较小、经济意义相对次要的一个，保去对被解释变量影响较小、经济意义相对次要的一个，保管影响较大、经济意义相对重要的一个。管影响较大、经济意义相对重要的一个。引进新解释变量进入回归方程时，留意：引进新解

33、释变量进入回归方程时，留意： 设一个多元一个多元线性回性回归模型模型为普通最小二乘估普通最小二乘估计的公式的公式为当解当解释变量量间存在存在严重的多重共重的多重共线性性时， 矩矩阵接近于奇特接近于奇特, , 。那么。那么用用 替代替代 代入最小二乘估代入最小二乘估计的公式，使得的公式，使得00的能的能够性比性比 0 0的能的能够性更小。从而，有效地性更小。从而，有效地防止了因防止了因 0 0呵斥的方差呵斥的方差变大。故岭回大。故岭回归估估计量量为：其中其中 称称为“岭回岭回归参数，普通参数，普通 ，当当时 ， 就是普通最小二乘估就是普通最小二乘估计。当。当 时，一切，一切的系数估的系数估计值都

34、向零都向零趋近。近。 5. 岭回归法岭回归法Ridge Regression0 会增大会增大 1从从 式式容容易易看看出出，在在岭岭回回归归参参数数与与Y无无关关的的情情形形下下， 是是最最小小二二乘乘估估计计的的一一个线性变换，也是实际值个线性变换，也是实际值Y的线性函数的线性函数. 2估计量的数学期望为：估计量的数学期望为： 5. 岭回归估计量的性质岭回归估计量的性质岭回归估计量岭回归估计量 不再是不再是 的无偏估计，的无偏估计， 3由于由于 的方差为的方差为 5. 岭回归岭回归估计量的性质岭回归岭回归估计量的性质而而 的方差为的方差为可以证明，可以证明， 比比要小要小 而且而且 越大，越

35、大， 越小，但是越小，但是 的偏误的偏误同时也增大，所以只能寻觅一个同时也增大，所以只能寻觅一个 ，使，使 即可即可 。也就是说，运用岭回归估计参数是牺牲了无偏性也就是说，运用岭回归估计参数是牺牲了无偏性 来寻求参数估计的最小方差性。但该方法为我们来寻求参数估计的最小方差性。但该方法为我们 寻求参数估计的最小方差性提供了新的思绪。寻求参数估计的最小方差性提供了新的思绪。如何选择如何选择 是一个复杂的问题，是一个复杂的问题， Hoerl和和Kennard于于1975年提出一种估计方法。年提出一种估计方法。该方法是首先对原模型的解释变量与被解释变量该方法是首先对原模型的解释变量与被解释变量进展规范

36、化处置：进展规范化处置：得到以下模型：得到以下模型：用用OLS法估计该模型，得到参数与随机误差项方法估计该模型，得到参数与随机误差项方差的估计值差的估计值 和和 。选择。选择 作为作为 的估计值。的估计值。常用的方法还有岭迹法、逐渐搜索的方法等常用的方法还有岭迹法、逐渐搜索的方法等 1 1前进法前进法 前进法的思想是变量由少到多前进法的思想是变量由少到多, ,每次添加每次添加一个一个, ,直至没有可引入的变量为止。详细直至没有可引入的变量为止。详细做法是首先将全部做法是首先将全部m m个自变量个自变量, ,分别对因分别对因变量变量y y建立建立m m个一元线性回归方程个一元线性回归方程, ,并

37、分别并分别计算这计算这m m个一元回归方程的个一元回归方程的m m个回归系数个回归系数的的F F检验值检验值, ,记为记为, ,选其最大者记为选其最大者记为6.逐渐回归方法逐渐回归方法给定显著性程度，假设 那么首先将 引入回归方程,为了方便,设 就是 再对因变量y分别与建立m-1个二元线性回归方程,对这m -1个回归方程中的回归系数进展F检验,计算F值,记为 选其最大的记为 假设 那么接着将 引入回归方程依上述方法接着做下去。直至一切未被引入方程的自变量的F值均小于 时为止。这时,得到的回归方程就是最终确定的方程。 2 2后退法后退法后后退退法法与与前前进进法法相相反反, ,首首先先用用全全部

38、部m m个个变变量量建建立立一一个个回回归归方方程程, ,然然后后在在这这m m个个变变量量中中选选择择一一个个最最不不重重要要的的变变量量, ,将将它它从从方方程程中中剔剔除除 ，即即把把回回归归系系数数检检验验的的F F值值最最小小者者对对应应的的自自变变量量剔剔除除。设设对对m m个个回回归归系系数数进进展展F F检检验验, ,记记求求得得的的F F值值为为 选其最小者记为选其最小者记为给定显著性程度 ，那么首先将Xj从回归方程中剔除,为方便,设Xj就是Xm,接着对剩下的m-1个自变量重新建立回归方程,进展回归系数的显著性检验,像上面那样计算出 ,假设又有 ,那么剔除Xj,重新建立y关于

39、m-2个自变量的回归方程,依此下去,直至回归方程中所剩余的p个自变量的F检验值均大于临界值 ,没有可剔除的自变量为止。这时,得到的回归方程就是最终确定的方程。前前进法法能能够存存在在这样的的问题, ,即即不不能能反反映映引引进新新的的自自变量量后后的的变化化情情况况。由由于于某某个个自自变量量开开场能能够是是显著著的的, ,但但当当引引入入其其他他自自变量量后后它它变得得并并不不显著著了了, ,却却又又没没有有时机机将将其其剔剔除除, ,即即一一旦旦引引入入, ,就就是是“终身身制制的的；这种种只只思思索索引引入入, ,而而没没有有思思索剔除的做法索剔除的做法显然是不全面的。然是不全面的。而而

40、且且, ,我我们在在许多多例例子子中中会会发现能能够最最先先引引入入的的某某个个自自变量量, ,当当其其他他自自变量量相相继引引入入后后, ,它它会会变得得对因因变量量y y很不很不显著。著。前进法和后退法述评前进法和后退法述评后后退退法法的的明明显缺缺乏乏是是, ,一一开开场把把全全部部自自变量量引引入入回回归方方程程, ,这样计算算量量很很大大。假假设有有些些自自变量量不不太太重重要要, ,一一开开场就就不不引引入入, ,就就可可减减少少一一些些计算算量量；再再就就是是一一旦旦某某个个自自变量量被被剔剔除除,“,“一一棍棍子子就就把把它它打死了打死了, ,它再也没有它再也没有时机重新机重新

41、进入回入回归方程。方程。 假假设涉及的自涉及的自变量量 是是完完全全独独立立的的( (或或不不相相关关),),那那么么在在 取取时, ,前前进法与后退法所建的回法与后退法所建的回归方程是一方程是一样的。的。 3逐渐回归法逐渐回归的根本思想是有进有出。详细做法是将变量一个一个引入,当每引入一个自变量后,对己选人的变量要进展逐个检验,当原引入的变量由于后面变量的引入而变得不再显著时,要将其剔除。引入一个变量或从回归方程中剔除一个变量,为逐渐回归的一步,每一步都要进展F检验,以确保每次引入新的变量之前回归方程中只包含显著的变量。这个过程反复进展,直到既无显著的自变量选入回归方程,也无不显著自变量从回

42、归方程中剔除为止。这样就防止了前进法和后退法各自的缺陷,保证了最后所得的回归子集是最优回归子集。 在逐渐回归法中需求留意的一个问题是引入自变量和剔除自变量的显著性程度 值是不一样的,要求引入自变量的显著性程度 小于剔除自变量的显著性程度 ,否那么能够产生“死循环。也就是当 时,假设某个自变量的显著性P值在 与 之间,那么这个自变量将被引入、剔除、再引入、再剔除循环往复,以致无穷。逐渐回归的计算参阅 *七、分部回归与多重共线性七、分部回归与多重共线性1 1、分部回归法、分部回归法(Partitioned Regression)(Partitioned Regression)对于模型在满足解释变量

43、与随机误差项不相关的情况下，可以写出关于参数估计量的方程组： 将解释变量分为两部分，对应的参数也分为两部分：假设存在那么有同样有这就是就是仅以以X2X2作作为解解释变量量时的参数估的参数估计量。量。这就是就是仅以以X1X1作作为解解释变量量时的参数估的参数估计量量2 2、由分部回归法导出、由分部回归法导出假假设一个多元一个多元线性模型的解性模型的解释变量之量之间完全正交，完全正交，可以将可以将该多元模型分多元模型分为多个一元模型、二元模型、多个一元模型、二元模型、进展估展估计，参数估，参数估计结果不果不变；实践模型由于存在或践模型由于存在或轻或重的共或重的共线性，假性，假设将它将它们分分为多个一元模型、二元模型、多个一元模型、二元模型、进展估展估计，参数估参数估计结果将果将发生生变化；化；