《计量经济分析方法与建模 课件第二版 第04章 其他回归方法》由会员分享，可在线阅读，更多相关《计量经济分析方法与建模 课件第二版 第04章 其他回归方法（142页珍藏版）》请在金锄头文库上搜索。
1、1 第四章其他回归方法 本章讨论加权最小二乘估计 异方差性和自相关一致协方差估计 两阶段最小二乘估计 TSLS 非线性最小二乘估计 广义矩估计 GMM 多项式分布滞后模型 逐步最小二乘回归 分位数回归和非参数回归 这里的大多数方法在第十二章的联立方程系统中也适用 本章中某些估计方法中含有AR和MA误差项 这些概念将在第五章中深入介绍 2 线性回归模型的基本假设 i 1 2 N 在普通最小二乘法中 为保证参数估计量具有良好的性质 通常对模型提出若干基本假设 1 解释变量之间互不相关 2 随机误差项具有0均值和同方差 即 i 1 2 N 即随机误差项的方差是与观测时点i无关的常数 3 不同时点的随
2、机误差项互不相关 序列不相关 即 s 0 i 1 2 N 3 当随机误差项满足假定1 4时 将回归模型 称为 标准回归模型 当随机误差项满足假定1 5时 将回归模型称为 标准正态回归模型 如果实际模型满足不了这些假定 普通最小二乘法就不再适用 而要发展其他方法来估计模型 5 随机误差项服从0均值 同方差的正态分布 即 i 1 2 N 4 随机误差项与解释变量之间互不相关 即 j 1 2 k i 1 2 N 4 古典线性回归模型的一个重要假设是总体回归方程的随机扰动项ui同方差 即他们具有相同的方差 2 如果随机扰动项的方差随观测值不同而异 即ui的方差为 i2 就是异方差 用符号表示异方差为E
3、 ui2 i2 异方差性在许多应用中都存在 但主要出现在截面数据分析中 例如我们调查不同规模公司的利润 会发现大公司的利润变化幅度要比小公司的利润变化幅度大 即大公司利润的方差比小公司利润的方差大 利润方差的大小取决于公司的规模 产业特点 研究开发支出多少等因素 又如在分析家庭支出模式时 我们会发现高收入家庭通常比低收入家庭对某些商品的支出有更大的方差 4 1异方差 5 表1中国1998年各地区城镇居民平均每人全年家庭可支配收入及交通和通讯支出单位 元 6 例4 1 我们研究人均家庭交通及通讯支出 cum 和可支配收入 in 的关系 考虑如下方程 cumi 0 1ini ui利用普通最小二乘法
4、 得到如下回归模型 cumi 56 917 0 05807 ini 4 1 4 1 57 8 96 R2 0 74D W 2 008 7 从图形上可以看出 平均而言 城镇居民家庭交通和通讯支出随可支配收入的增加而增加 但是 值得注意的是 随着可支配收入的增加 交通和通讯支出的变动幅度也增大了 可能存在异方差 如果我们把回归方程中得到的残差对各个观测值作图 则可以清楚地看到这一点 异方差的存在并不破坏普通最小二乘法的无偏性 但是估计量却不是有效的 即使对大样本也是如此 因为缺乏有效性 所以通常的假设检验值不可靠 因此怀疑存在异方差或者已经检测到异方差的存在 则采取补救措施就很重要 8 4 1 1
5、异方差检验1 图示检验法 1 用X Y的散点图进行判断观察是否存在明显的散点扩大 缩小或复杂型趋势 即不在一个固定的带型域中 9 2 X i2的散点图进行判断 首先采用OLS方法估计模型 以求得随机误差项u的方差 i2的估计量 注意 该估计量是不严格的 我们称之为 近似估计量 用ei2表示 于是有 4 1 5 即用ei2来表示随机误差项的方差 用解释变量x和ei2的散点图进行观察是否随着x增加 出现方差的逐渐增加 下降或者不规则变化 10 11 2 White异方差性检验White 1980 提出了对最小二乘回归中残差的异方差性的检验 包括有交叉项和无交叉项两种检验 普通最小二乘估计虽然在存在
6、异方差性时是一致的 但是通常计算的标准差不再有效 如果发现存在异方差性 利用加权最小二乘法可以获得更有效的估计 12 检验统计量是通过利用解释变量所有可能的交叉乘积对残差进行回归来计算的 例如 假设估计如下方程 4 1 6 式中b是估计系数 i是残差 检验统计量基于辅助回归 4 1 7 EViews显示两个检验统计量 F统计量和Obs R2统计量 White检验的原假设 不存在异方差性 也就是 式 4 1 7 中除 0以外的所有系数都为0成立 13 White证明出 4 1 8 其中 N是样本容量 k为自由度 等于式 4 1 7 中解释变量个数 不包含截距项 如果计算的 2值大于给定显著性水平
7、对应的临界值 则可以拒绝原假设 得出存在异方差的结论 也就是说 回归方程 4 1 7 的R2越大 说明残差平方受到解释变量影响越显著 也就越倾向于认为存在异方差 如果原模型中包含的解释变量较多 那么辅助回归中将包含太多的变量 这会迅速降低自由度 因此 在引入变量太多时 必须谨慎一些 White检验的另外一种形式 就是辅助回归中不包含交叉项 因此White检验有两个选项 交叉项和无交叉项 14 例4 2 人均家庭交通及通讯支出 CUM 和可支配收入 IN 的回归方程的White异方差检验的结果 该结果F统计量和Obs R2统计量的P值均很小 表明拒绝原假设 即残差存在异方差性 15 由于假设的异
8、方差形式不同 使用的辅助回归也不同 导致了不同的检验方法 各不同方法的异方差形式和辅助回归方程 Breusch Pagan Godfrey BPG 异方差检验方法 Harvey异方差检验 Glejser异方差检验 m 1 2 16 4 1 2加权最小二乘估计1 方差已知的情形考虑一个一元回归线性方程 4 1 11 假设已知随机误差项的真实的方差 var ui i2 则令wi 1 i 将模型两端同乘wi 变换为 4 1 12 令ui wiui 则 4 1 13 17 因此 变换后的模型 4 1 12 不再存在异方差的问题 可以用OLS估计 加权最小化残差平方和为 4 1 14 由此获得的估计量就
9、是权重序列为 wi 的加权最小二乘估计量 18 假设有已知形式的异方差性 并且有序列w 其值与误差标准差的倒数成比例 这时可以采用权数序列为w的加权最小二乘估计来修正异方差性 对加权最小化残差平方和得到估计结果 其中 是k 1维向量 在矩阵概念下 令权数序列w在权数矩阵W的对角线上 其他地方是零 即W矩阵是对角矩阵 y和X是因变量和自变量矩阵 则加权最小二乘估计量为 4 1 18 估计协方差矩阵为 4 1 19 19 例4 3加权最小二乘估计 本例考虑对由四组家庭住房支出和年收入组成的截面数据进行研究 表4 2 假设住房支出模型为其中 yi是住房支出 xi是收入 普通最小二乘估计得出如下回归结
10、果 t 4 4 15 9 R2 0 93F 252 7对数据图形的研究及以前有关支出的研究结果都说明这个模型具有异方差现象 20 21 对住房支出模型进行异方差修正 然后进行估计 变换后的模型为其结果为 t 21 3 7 7 R2 0 76F 58 7注意 修改后关于收入的回归系数的估计值为0 249 比原来普通最小二乘估计有所增加 R2下降 但是 并不能直接比较R2 因为因变量已经发生了变化 22 使用加权最小二乘法 也可以得到 23 2 方差未知的情形由于一般不知道异方差的形式 人们通常采用的经验方法是 并不对原模型进行异方差检验 而是直接选择加权最小二乘法 尤其是采用截面数据作样本时 如
11、果确实存在异方差性 则被有效地消除了 如果不存在异方差性 则加权最小二乘法等价于普通最小二乘法 具体步骤是 1 选择普通最小二乘法估计原模型 得到随机误差项的近似估计量 t 2 建立wi 1 t 的权数序列 3 选择加权最小二乘法 以wi 1 t 序列作为权 进行估计得到参数估计量 实际上是以1 t 乘原模型的两边 得到一个新模型 采用普通最小二乘法估计新模型 24 使用加权最小二乘法估计方程 首先到主菜单中选Quick EstimateEquation 然后选择LS LeastSquares NLSandARMA 在对话框中输入方程说明和样本 然后按Options钮 出现如下对话框 25 单
12、击WeightedLS TSLS选项在Weighted项后填写权数序列名 单击OK 例子 26 例4 4 27 EViews会打开结果窗口显示标准系数结果 如上图 包括加权统计量和未加权统计量 加权统计结果是用加权数据计算得到的 未加权结果是基于原始数据计算的残差得到的 估计后 未加权残差存放在RESID序列中 28 如果残差方差假设正确 则加权残差不应具有异方差性 如果方差假设正确的话 未加权残差应具有异方差性 残差标准差的倒数在每个时刻t与w成比例 检验加权残差的异方差性 可以看到加权最小二乘法消除了残差的异方差性 29 4 1 3存在异方差时参数估计量的一致协方差 当异方差性形式未知时
13、使用加权最小二乘法提供在异方差存在时的一致参数估计 但通常的OLS标准差将不正确 在描述协方差估计技术之前 应注意 使用White异方差一致协方差或Newey West异方差一致协方差估计不会改变参数的点估计 只改变参数的估计标准差 可以结合几种方法来计算异方差和序列相关 如把加权最小二乘估计与White或Newey West协方差矩阵估计相结合 30 1 异方差一致协方差估计 White HeteroskedasticityConsistentCovariances White White 1980 得出在存在未知形式的异方差时 对系数协方差进行正确估计的异方差一致协方差估计量 White协
14、方差矩阵公式为 其中N是观测值数 k是回归变量数 i是最小二乘残差 EViews在标准OLS公式中提供White协方差估计选项 打开方程对话框 说明方程 然后按Options钮 接着 单击异方差一致协方差 HeteroskedasticityConsistentCovariance 选择White钮 接受选项估计方程 31 例4 5 在输出结果中 EViews会包含一行文字说明表明使用了White估计量 32 2 HAC一致协方差 Newey West 前面描述的White协方差矩阵假设被估计方程的残差是序列不相关的 Newey和West 1987 提出了一个更一般的估计量 在有未知形式的异方
15、差和自相关存在时仍保持一致 Newey West估计量为 其中 33 q是滞后截尾 一个用于评价OLS随机误差项ut的动态的自相关数目的参数 根据Newey West假设 EViews中令q为 Newey West异方差一致协方差估计量 不能和加权最小二乘法一起使用 使用Newey West方法 在估计对话框中按Options钮 在异方差一致协方差项中选Newey West钮 34 Newey West估计量为 35 4 2二阶段最小二乘法 回归分析的一个基本假设是方程的解释变量与扰动项不相关 但是 由于解释变量测量误差的存在 用于估计模型参数的数据经常与它们的理论值不一致 或者由于遗漏了变量
16、 使得随机误差项中含有可能与解释变量相关的变量 这些都可能导致解释变量与扰动项的相关 出现这种问题时 OLS和WLS估计量都有偏差且不一致 因而要采用其他方法估计 最常用的估计方法是二阶段最小二乘法 36 考虑多元线性回归模型的矩阵形式 4 2 1 其中 y和X是因变量和解释变量数据矩阵 是系数向量 为简化起见 我们称与残差相关的变量为内生变量 与残差不相关的变量为外生变量或前定变量 解决方程右边解释变量与残差相关的方法是使用工具变量回归 就是要找到一组变量满足下面两个条件 1 与方程解释变量相关 2 与扰动项不相关 37 选择zi z1i z2i zki 作为工具变量 它与解释变量相关 但与扰动项不相关 即 4 2 2 这些变量就可成为工具变量 用这些工具变量来消除右边解释变量与扰动项之间的相关性 38 二阶段最小二乘方法 twostageleastsquare TSLS 本质上属于工具变量法 它包括两个阶段 第一个阶段 找到一组工具变量 模型中每个解释变量分别关于这组变量作最小二乘回归 第二个阶段 所有变量用第一个阶段回归得到的拟合值来代替 对原方程进行回归 这样求得的回归系数就是
