《 线性回归模型的异方差问题》由会员分享，可在线阅读，更多相关《 线性回归模型的异方差问题（47页珍藏版）》请在金锄头文库上搜索。
1、计量经济 学讲义1安徽大学经济 学院线性回归模型的异方差问题程建华 *安徽大学经济学院计量经济学讲义计量经济 学讲义2安徽大学经济 学院9.1 一元线性回归分析总结（一元线性回归的思想）总体一元线性回归方程 :样本一元线性回归方程：以样本统计量估计总体参数斜率（回归系数）截距(估计的回归方程)（一元线性回归方程）计量经济 学讲义3安徽大学经济 学院一元线性回归方程 中参数a、b的确定：最小二乘法基本数学要求：一元线性回归分析总结（回归系数的计算方法）计量经济 学讲义4安徽大学经济 学院整理得到由两个关于a、b的二元一次方程组成的方程组：进一步整理，有：一元线性回归分析总结（回归系数的计算公式）
2、计量经济 学讲义5安徽大学经济 学院残差之和为零所拟合直线通过样本散点图的重心误差项与解释变量不相关a与b分别是总体回归系数的无偏估计量a与b均为服从正态分布的随机变量一元线性回归分析总结（最小二乘法的优良性质 ）计量经济 学讲义6安徽大学经济 学院b与r的关系：r0 r0 r=0b0 b0 b=0一元线性回归分析总结（相关系数与回归系数的差别）计量经济 学讲义7安徽大学经济 学院假定1 回归模型参数是线性的，但不一定是变量线性 的，回归模型形式如下：一元线性回归分析回归的假定条件假定2 解释变量X与扰动误差项u不相关。但是，如果 X是非随机的，则该假定自然满足。计量经济 学讲义8安徽大学经济
3、 学院一元线性回归分析回归的假定条件假定3 给定X，扰动误差项u的数学期望或均值为0， 即E（u|X） 0。XY0uuuuuuE(Y|X)=+*X计量经济 学讲义9安徽大学经济 学院一元线性回归分析回归的假定条件假定4 误差扰动项u的方差为常数，即Var（u）2，称 之为同方差(homoscedasticity)同方差的含义：每个Y值以相同的方差分布在其均值周 围，即Y偏离其均值的程度相同。XY0uuuuuuE(Y|X)=+*XXY0uuuuuuE(Y|X)=+*X 同方差(homoscedasticity)异方差(heteroscedasticity)计量经济 学讲义10安徽大学经济 学院一
4、元线性回归分析回归的假定条件假定5 无自相关假定，即两个误差项之间不相关。Cov（ui,uj） = 0。正 相 关负 相 关不 相 关ujuiujuiujui计量经济 学讲义11安徽大学经济 学院假定6 回归模型是正确设定的，即实证分析的模型不 存在设定误差或设定错误。一元线性回归分析回归的假定条件假定7 在总体回归函数中，误差项u服从均值为0，方差为2的正态分布。即u N(0，2)中心极限定理 独立同分布的随机变量，随着变量个 数的无限增加，其和的分布近似服从正态分布。计量经济 学讲义12安徽大学经济 学院虽然古典线性回归模型强调了同方差假定，但在实践 中无法保证总能够满足。本章内容就是讨论
5、同方差假 定不满足条件下，回归模型可能会出现的问题，以及 如何解决问题：1. 异方差有什么性质？2. 异方差的后果是什么？3. 如何诊断存在异方差？4. 如果存在异方差，如何解决？异方差性回归问题的引入计量经济 学讲义13安徽大学经济 学院9.2 异方差的性质SalesR&DProfit SalesR&DProfit 6375.362.5185.180552.86620.113869.9 11626.492.91596.595249.03918.64487.8 14665.1178.3276.8101314.11595.310278.9 21869.2258.42828.1116141.361
6、07.58787.3 26408.3494.72225.9122315.74454.116438.8 32405.61083.03751.9141649.93163.89761.4 35107.71620.62884.1175025.813210.719774.5 40295.4421.74645.7241434.81703.823168.5 70761.6509.25036.4293543.09528.218415.4例9.1 美国创新研究：1988年美国研究与开发费用支出计量经济 学讲义14安徽大学经济 学院9.2 异方差的性质例9.1 美国创新研究：销售对研究与开发的影响R&D 266.
7、2575 + 0.030878*Salesse(1002.963) (0.008347)t (0.265471) (3.699508)p (0.7940) (0.0019)R2 0.461032从回归结果可以看出：（1）随着销售额的增加，R&D也逐渐增加，即销售额每增加一百万美元，研发相应的增加3.1 万美元。（2）随着销售额的增加，R&D支出围绕样 本回归线的波动也逐渐变大，表现出异方差性。计量经济 学讲义15安徽大学经济 学院9.2 异方差的性质方程回归结果图计量经济 学讲义16安徽大学经济 学院9.2 异方差的性质残差与观察值（销售额）关系图计量经济 学讲义17安徽大学经济 学院9.2
8、异方差的性质从残差图可以看出：残差的绝对值 随着销售额的增加而增加。尽管残差ei与扰动项 ui是两个不同的概念，根据ei的变化并不能断言ui的方差也是变化的。但是，实践中很难观察到ui，只能利用检验ei的变动来推断ui的变化。问题：如何理解残差ei与扰动项 ui两个概念的差别？计量经济 学讲义18安徽大学经济 学院9.3 异方差的后果如果CLRM其它假设保持不变，放松同方差假定，允许扰动项 方差随观察值而异，异方差有如下后果：1、OLS估计量仍是线性的。2、OLS估计量仍是无偏的。3、OLS估计量不再具有最小方差性，即不再是有效的。4、根据常用估计OLS估计量方差的公式得到的方差通常是有偏的，
9、无法先验地辨别偏差是正的还是负的。如果OLS高估了估计量的真实方差，则产生正的偏差，如果OLS低估了估计量的真实方差，则产生负的偏差。计量经济 学讲义19安徽大学经济 学院9.3 异方差的后果如果CLRM其它假设保持不变，放松同方差假定，允许扰动项 方差随观察值而异，异方差有如下后果：1、OLS估计量仍是线性的，是指关于随机变量Y线性的。计量经济 学讲义20安徽大学经济 学院9.3 异方差的后果5、方差的产生是由于 ，不再是真实2的无偏估计量，因为在计算OLS估计量的方差时已经用了 。6、建立在t分布与F分布之上的置信区间和假设检验 是不可靠的。如果沿用传统的假设检验 方法，则很可能得出错误的
10、结论。计量经济 学讲义21安徽大学经济 学院3.2 一元线性回归分析普通最小二乘估计量的方差与标准误差系数估计量的误差 ：是既然估计量是通过样本计算出来的，因此随着样本的变化，这些估计量是存在抽样变异性的 ，其变异性是由估计量的方差或其标注误差 来度量。2是误差扰 动项u的方差 ，但是在多数 情况下它是未 知的。计量经济 学讲义22安徽大学经济 学院9.4 异方差的诊断方法1：图形检验法例子 不同收入阶层人群的消费状况。不同收入阶层的消费方差很可能是不同的。异方差的诊断方法：1、残差的图形检验：即考虑解释变量X与误差ei之间的关系。从例9.1看出随着Sales增大，误差ei的平方呈逐渐增大趋势
11、。计量经济 学讲义23安徽大学经济 学院9.4 异方差的诊断方法1：图形诊断法计量经济 学讲义24安徽大学经济 学院9.4 异方差的诊断方法2：帕克(R.E.Park)检验法如果存在异方差，则异方差i2可能与一个或多个解释变量系统有关。是否相关，做i2对一个或多个解释变量X的回归。例如，在一元回归模型中进行如下回归：其中，vi是残差项。此即为帕克检验。在许多情况下，是无法知道i2的，因此就用ei代替ui，建立如下回归模型：(9.1)(9.2)ei2可以从原始回归模型中得到。计量经济 学讲义25安徽大学经济 学院9.4 异方差的诊断方法2：帕克(R.E.Park)检验法帕克检验步骤：1. 做普通
12、最小二乘回归，不考虑异方差问题；2. 从原始回归方程求得残差ei，并求其平方，再取对数形式；3. 利用原始模型中得一个解释变量做形如(9.2)的回归，如果有多个解释变量，则对每个解释变量做形如(9.2)的回归，或者做ei2对Y估计值的回归；4. 检验零假设B20，即不存在异方差。如果lnei2和lnXi之间是统计显 著的，则拒绝零假设，表示存在异方差的可能。5. 如果接受零假设，则回归方程中的B1可以理解为同方差i2的一个给定值。Park检验的弱点在哪？计量经济 学讲义26安徽大学经济 学院9.4 异方差的诊断方法3：格莱泽(Glejser)检验法该检验 方法实际上与帕克检验方法类似，从原始模
13、型中获得残差ei后，格莱泽所做的回归模型的方程不同，他采取的是下列函数形式：(9.3)(9.4)(9.5)Gleiser检验与Park检验存在同样的弱点。计量经济 学讲义27安徽大学经济 学院9.4 异方差的诊断方法4：怀特(White)检验法1、首先用普通最小二乘法估计方程(9.6)，获得残差ei2、做如下辅助回归：(9.6)(9.7)(9.8)3、求辅助回归方程(9.7)的R2值，在不存在异方差的原假设下，怀特证明了从方程(9.7)中得到的R2值与样本容量(n)的积服从2分布，自由度等于方程(9.7)中解释变量的个数。计量经济 学讲义28安徽大学经济 学院9.4 异方差的诊断方法4：怀特(
14、White)检验法4、如果从方程(9.8)中得到的2值超过了所选显著水平的2临界值，或者说计算2的p值很低，则拒绝原假设：不存在异方差。p值大，则不能拒绝原假设。(9.8)计量经济 学讲义29安徽大学经济 学院9.4 异方差的诊断方法4：怀特(White)检验法样本容量为19，自由度为2，19*0.179238=3.41则 22=2.77(=25) 3.41 22=4.61(=10)，存在异方差的可能性还是较大的。计量经济 学讲义30安徽大学经济 学院9.4 异方差的诊断方法4：怀特(White)检验法计量经济 学讲义31安徽大学经济 学院9.4 异方差的诊断方法4：怀特(White)检验法怀
15、特检验的缺陷在于它过于一般化，如果有若干个解释变量，那么在回归方程中要包括这些变量，变量的平方以及它们的交叉乘积项，就会迅速的消耗自由度。因此，在回归模型(9.7)中，引入太多变量时，必须谨慎。有时可以去掉回归模型(9.7)中的交叉乘积项。计量经济 学讲义32安徽大学经济 学院9.5 异方差的解决办法解决异方差的方法就是对原始模型进行变量代换，使得异方差的模型变为同方差的模型。采取的办法就是取决于真实方差i2是已知还是未知的：（1）当i2已知时：加权最小二乘法(9.9)(9.10)计量经济 学讲义33安徽大学经济 学院9.5 异方差的解决办法(9.10)(9.11)计量经济 学讲义34安徽大学
16、经济 学院9.5 异方差的解决办法（2）当i2未知时：作变量代换情形1：如果误差方差与Xi成比例，作平方根变换用OLS法进行估计，把回归的残差对解释变量X作图，看误差方差与X之间是否线性相关，或者说与X成比例，即2i= E(ui2) = k*Xi (9.11)(9.12)计量经济 学讲义35安徽大学经济 学院9.5 异方差的解决办法（2）当i2未知时：作变量代换情形2：如果误差方差与X2i成比例，作倒数变换用OLS法进行估计，把回归的残差对解释变量X作图，看误差方差与X2之间是否线性相关，或者说与X2成比例，即2i=E(ui2) = 2*X2i (9.13)(9.14)计量经济 学讲义36安徽大学经济 学院9.5 异方差的解决办法（3）重新建立模型除了推测
