异方差性、自相关以及广义最小二乘（gls）

异方差性、自相关以及广义最小二乘（GLS、FGLS）蒋岳祥（浙江大学经济学院）一、 古典模型中的 b 的非线性函数的分布及其检验二、 异方差性和自相关（非球形扰动）1、问题的提出2、广义最小二乘（GLS）3、可行广义最小二乘（FGLS）三、异方差不含自相关的检验（怀特检验）一、古典模型中的 b 的非线性函数的分布及其检验b 的函数的渐近分布的函数的渐近分布————得尔塔方法得尔塔方法斯拉茨基定理斯拉茨基定理 对一个不是 n 的函数的连续函数 g(xn)，有)lim()(limnnxpgxgp如果 f(b)是一组关于最小二乘估计量 J 个连续的线性或非线性的函数并令bbfG)(G 是 J×K 矩阵，其中第 j 行是第 j 个函数关于 b 的导数利用（4-21）的斯拉茨基（Slutsky）定理，)()(limfbfp并且，)(limfGp于是（0）      12 ),()(QnfNbfa实际上，渐近协方差矩阵的估计量是GXXsGbfVarAsyEst])([)([..12如果某个函数是非线性的，则如果某个函数是非线性的，则 b 的无偏的性质不会传给的无偏的性质不会传给 f(b)。

不过从（0）中可得 f(b)是f(β)的一致估计量，而且渐近协方差矩阵很容易获得对对 f(ββ)的检验也很容易的检验也很容易二、异方差性和自相关（非球型扰动）一） 问题的提出多元化回归模型扰动项违背古典假设的更一般的模型是广义回归模型，即假设（1）2][, 0][,EEXy其中 Ω 是一般的正定矩阵，而不是在古典假设的情况下的单位矩阵古典假设条件情况只是这种模型的一个特例我们将仔细考察的两种情况是异方差性和自相关当扰动项有不同的方差时，它们就是异方差的，异方差性经常产生于横截面数据，其中因变量的尺度（scales）和模型解释能力在不同的观察值之间倾向于变动我们仍然假设不同观测值之间扰动无关因此σ2Ω是22 22 12000000nLMLL自相关自相关经常出现在时间序列数据中，经济时间序列经常表现出一种“记忆” ，因为变化在不同时期之间不是独立的时间序列数据通常是同方差的，因此σ2Ω可能是 111212111 2nnnnMLL非对角线上的值依赖于扰动项的模式普通最小二乘法的结果具有球形干扰项0][E和IE2][（2）重申前面的内容，普通最小二乘估计量，XXXyXXXb11)()(（3）是最佳线性无偏的、一致的和渐近正态分布的（CAN=Consistent and asymptotically normally distributed） ，并且如果干扰项服从正态分布，在所有 CAN 估计量中它是渐近有效的。

现在我们考察哪些特性在（1）模型中仍然成立有限样本特性对（3）两边取期望，如果，则0]|[XE（4）]]|[[][XbEEbEX如果回归量和扰动项是无关的，则最小二乘法的无偏性不受（2）假设变化的影响最小二乘法估计量的样本方差是]))([(][bbEbVar])()[(11XXXXXXE121)()()(XXXXXX（5）112 nXX nXX nXX n在（3）中，b 是的线性函数因此，如果服从正态分布，则]))(()(,[~112XXXXXXNb由于最小二乘估计量的方差不再是，任何基于的推断都可能导12)(XX12)(XXs致错误不仅使用的矩阵是错误的，而且 s2也可能是的有偏估计量通常无法知道2是比 b 的真正方差大还是小，因此即使有的一个好的估计，Var[b]的传统12)(XX2估计量也不会有用最小二乘法的渐近特性最小二乘法的渐近特性如果 Var[b]收敛于 0，则 b 是一致的使用表现良好的回归量，将收敛到1)/(nXX一个常数矩阵（可能是 0） ，并且最前面的乘子将收敛于 0。

但不一定收敛，n/2nXX/如果它收敛，则普通最小二乘是一致的和无偏的因此如果都是有限正定矩阵，则 b 是 β 的一致估计量)/lim()/lim(nXXpnXXp和上述结论成立的条件依赖于 X 和 Ω另一种分离这两个组成部分的办法是：如果1、X′X 最小的特征根当时无限制地增加，这意味着；n0)lim(1XXp2、Ω 最大的特征根对于所有 n 都是有限的对于异方差模型，方差就是特征根因此，要求它们是有限的对于有自相关的模型，这要求 Ω 的元素有限并且非对角线元素与对角线元素相比不是特别大那么，普通最小二乘法在广义回归模型中是一致的说明普通最小二乘法是不一致的模型说明普通最小二乘法是不一致的模型假定回归模型是，其中的均值为 0，方差为常数并且在不同观测值之间具y有相同的相关系数于是1111LMLLL矩阵 X 是一列 1μ 的普通最小二乘估计量是把 Ω 代入（5） ，得y（5a）)1 (][2 nnyVar这个表达式的极限是而不是 0尽管 OLS 是无偏的，但它不是一致的对于这2个模型，不收敛。

利用（5a） ，X 是一列 1，因此是一个) 1(1/nnXXnXX标量，满足条件（1） ；但是，Ω 的特征根是（重数是 n-1）和，不满足条1)1 (n件（2） ；这个例子中模型的困难是不同观测值间有太多的相关在时间序列情况下，我们一般要求观测值之间关于时间的相关系数随它们之间距离增加而减小这里条件没有被满足关于在简介中曾讨论的自相关扰动项的协方差矩阵上需要附加什么种类的要求，这给出一些很有意义的信息如果（5b）X nnXXbn 1)(1的极限分布是正态的，则 OLS 估计量渐近地服从正态分布如果，那QnXXp)/lim(么右边项的极限分布与（5c）iiix nQX nQv1111的分布相同，其中是 X 的一行（当然假定极限分布确实存在） 现在，问题是中心极限ix定理是否可以直接应用于 v如果扰动项只是异方差的而且仍是无关的，答案通常是肯定的在这种情况下，很容易看到只要 X 表现良好，而且 Ω 对角元素是有限的，最小二乘估计量是渐近正态分布的，方差矩阵由（5）给出对于大多数一般的情况，答案是否定的，因为（5c）中的和不一定是相互独立或是甚至无关的随机变量的和。

不过，雨宫（1985，第 187 页）和安德森（1971）曾指出，自相关扰动项的模型中 b 的渐近正态性是足够普遍的，以致于包括了我们在实际中可能遇到的大多数情况我们可以得到结论，除了在特别不利的情况下，b 渐近地服从均值为 β，方差矩阵由（5）给出的正态分布总之，OLS 在这个模型中只保留了它的一些可取性质，它是无偏的、一致的和渐近正态分布的不过，它不是有效我们需要寻求 b 的有效估计二） 广义最小二乘（GLS）在广义回归模型中，β 的有效估计需要关于Ω的知识我们只考察Ω是已知的、对称正定矩阵的情况，这种情况偶尔会发生，但在大多数的模型中Ω包含必须估计的未知参数由于Ω是正定对称矩阵，它可以分解为（6）CC其中 C 的各列是Ω的特征向量经过正交化而得到，即 CC’=I，而且Ω的特征根被放在对角矩阵中令是对角元素为的对角矩阵，并令，于是2/1i2/1 CT另外，令，因此TT 2/1 CPPP 1用 P’前乘（1）中的模型可得PXPyP或（7）*** Xy的方差是*IPPE22 **][因此，这个变换后的模型就是一个我们熟悉的古典回归模型。

由于 Ω 已知，所以，**Xy 和是可观测数据在古典回归模型中，OLS 是有效的；因此yXXXyPPXXPPXyXXX1111 **1 **)()()(是的有效估计量这是的广义最小二乘（GLS）估计量按照古典回归模型，我们有以下结论：如果，GLS 估计量是无偏的这等价于，但由于 P0]|[**XE0]|[PXPE是已知常数的矩阵，我们回到熟悉的要求我们必须要求回归量与扰动项是0]|[XE无关的如果（8）***limQnXXp  GLS 估计量是一致的，其中 Q*是有限正定矩阵进行替换可得（9）1 *11 lim    QnXXp我们需要的是变换后的数据 X*=P’X 而不是原始数据 X 的数据根据（9）的假设，GLS 估计量是渐近正态分布的，均值为，样本方差为（10）1121 **2)()(]ˆ[XXXXVar通过对（7）中的模型应用高斯—马尔科夫定理可得如下的艾特肯（可得如下的艾特肯（1935）定理：）定理：GLS 估计量估计量是广义回归模型中的最小方差线性无偏估计量。

是广义回归模型中的最小方差线性无偏估计量ˆ有时被称为艾特肯估计量这是一个一般性结果，当时高斯—马尔科夫定理是它ˆI的一个特例对于假设检验，我们可以把所有结果应用到变换后的模型（7）中为了检验 J 个线性约束 Rβ=q，相应的统计量是JqRRXXRqRKnJF)ˆ(])(ˆ([)ˆ(],[11 **2，2ˆ/ ) ˆˆˆˆ(Jcc其中残差向量是,ˆ **Xy 而KnXyXy Kn)ˆ()ˆ(ˆˆˆ1 2有约束的 GLS 残差，基于ccXy**ˆ（11）)ˆ(])([][ˆˆ11111qRRXXRRXXc总之，对于古典模型的所有结果，包括通常的推断过程，都适用于（7）中的模型应该注意的是：应该注意的是：在广义回归模型中没有 R2的准确对等物不同的统计量有不同的意义，但使用它们时一定要谨慎三） 可行的最小二乘估计（FGLS）上一节的结果是基于 Ω 必须是已知的条件基础上的如果 Ω 含有必须估计的未知参数，则 GLS 是不可行的但在无约束的情况下，中有 n(n+1)/2 个附加参数。

这对于2用 n 个观测值来估计这么多的参数是不现实的只有当模型中需要估计的参数较少时，即模型中 Ω 某种结构要简化，才可以找到求解的方法可行的最小二乘估计（可行的最小二乘估计（FGLS））具有代表性的问题涉及到一小组参数，满足例如，只有一个未知数)(，其常见的表达形式是，1112122132LMLLnnnn其中，也只有一个附加的未知参数一个也只包含一个新参数的异方差模型是iiz22接下来，假定是的一致估计量（如果我们知道如何求得这样的估计量）为了使 GLS 估ˆ计可行，我们将使用)ˆ(ˆ替代真正的我们所考虑的问题是利用是否要求我们改变上节的某些结果)ˆ(如果，利用似乎渐近等价于利用真正的然而，并非如此令可行ˆlimpˆ广义最小二乘（或 FGLS）估计量记为yXXX111ˆ)ˆ(ˆ那么，渐近等价于的条件是ˆˆˆ（18）nXXpnXXp11 limˆlim和（19）111limˆ1limX npX np如果（7）中变换后的回归量表现良好，则（19）右边服务从极限正态分布。

这正是我们求最小二乘估计量的渐近分布时所利用的条件因此，当替时（19）要求同样的ˆ条件成立这些是必须逐个情况进行核实的条件但在大多数情况中，它们的确成立如果我们假设它们成立，基于基于的。