《经济计量分析讲义第4章》由会员分享，可在线阅读，更多相关《经济计量分析讲义第4章（7页珍藏版）》请在金锄头文库上搜索。
1、经济计量分析 第 4 章 最小二乘估计的大样本性质1第 4 章 最小二乘估计的大样本性质和工具变量估计LARGE-SAMPLE PROPERTIES OF THE LEAST SQUARES ESTIMATOR AND INSTRUMENTAL VARIABLES ESTIMATORS4.1 介介 绍绍我们前面在正态扰动和独立样本假设下获得了参数估计和检验统计量的确切分布，这些性质和分布与样本数量无关。但是随机误差的正态性和样本之间的独立性是古典回归模型中两个比较强的假设，在一些面版数据情形或者时间序列情形下，这些性质不一定成立。为此，我们需要推广这两个基本限制。在本章中我们讨论最小二乘估计的
2、大样本性质，即极限性质。4.2 最小二乘估计的渐近性质最小二乘估计的渐近性质(Asymptotic properties of LSE)由于我们开始讨论大样本性质，因此不再要求误差的正态分布假设，而是对数据生成机制的不同假设给出分析。4.2.1 最小二乘估计的相合性最小二乘估计的相合性( Consistency of the least squares estimator)假设的生成过程可以不加以指定的，即它可以是常数或者是由与误差独立的随机过x程生成的。下面我们做出两个关键假设。(1) ，是独立样本观测数据。),(iixni, 2, 1(2) 数据的大样本行为满足：，是正定矩阵QXXnnli
3、mpQ由于最小二乘估计可以表示为：nnXXXb1 则得到： nXQblimplimp1假设其中的解释变量与误差向量的相交项为： niiniiinnn11111wwxX因此有： wQblimplimp1根据解释变量的外生性假设，可以得到： 0xxxwwXX|iiiiiiEEEEE因此有： 0wE现在我们考虑方差，利用条件方差公式，可以得到： |XwXwwEVarVarEVar上式中的第二项为零，而第一项为：经济计量分析 第 4 章 最小二乘估计的大样本性质2 nnnEnEVarXXXXXXwwXw21|1|因此得到： nnVarXXw2 如果解释变量矩阵乘积的极限为正定矩阵的话，则上述方差收敛到
4、零，即 00lim QwVar n因此，由于的均值为零、方差收敛到零，因此可以知道均方收敛到零ww(convergence in mean square to zero)，因此也可以推导出它按概率收敛到零。因此有： 0limpw因此有： blimp这说明最小二乘估计按照概率收敛到参数，它古典线性模型中的相合估计。如果时间序列当中包含时间的一次趋势、二次趋势等现象经常违背上述严格假设，此时需要推广一些条件，例如称为Grenander条件等。这是最小二乘估计仍然是相合估计。4.2.2 最小二乘估计的渐近正态性最小二乘估计的渐近正态性(Asymptotic normality of the leas
5、t squares estimator)我们假设样本观测值之间是独立的，则可以表示下述公式：XXXb nnn1)(1 连续函数的概率收敛定律满足，因此可以得到：11 limp QXX n因此上述分布的极限分布与下述概率极限的分布相同：XQXXX nnn11limp11这样一来，我们需要寻求下述变量的极限分布：，)(1wwXEn n 0wE我们利用多元情形下的Linderberg-Feller中心极限定理来获得上述极限分布，这是个n独立随机向量的和的极限问题，的均值为零，而方差矩阵为：iiixw iiixw iiiiiEQxxx22Var则的方差为：wn1Var122 nnnnQQQw在通常假设
6、下，可以得到上述极限为： QQw22limVarlim nnnn利用中心极限定理可以得到：经济计量分析 第 4 章 最小二乘估计的大样本性质3,12Q0XN nd 总结可以得到：定理4.1 独立观测数据的渐近分布 如果是具有均值零和方差的独立随机变量，i2并且解释变量数据满足Grenander条件，则有：ikx 12 ,QbnNa在具有应用中，需要利用参数的估计量替代分布中的未知参数。4.2.3 的相合性和渐近方差的估计的相合性和渐近方差的估计2s为了完成最小二乘估计渐近性质的推导，我们需要得到最小二乘估计方差的渐近估计。类似地推导可以得到：命题 最小二乘估计中，有：(1) 22limps(2
7、) 12)(Var.Asy.EstXXbs4.2.4 最小二乘系数估计函数的渐近分布最小二乘系数估计函数的渐近分布在具有应用中，需要利用参数的估计量替代分布中的未知4.2.5 渐近有效性渐近有效性前面提出的Gause-Markov定理表明，在有限样本情形下最小二乘估计是最优的。为了建立最小二乘估计更为广泛范围内的优良性质，我们需要给出另外的评价标准。定义4.1 渐近有效性(asymptotic efficiency) 在所有相合和渐近正态分布的估计量中，如果一个估计量的渐近方差在正定意义下是最小的，则称该估计量是渐近有效的。如果最小二乘估计也是极大似然估计，则最小二乘估计是渐近有效的。4.3
8、工具变量与二阶段最小二乘估计工具变量与二阶段最小二乘估计(instrumental variable and two stage least squares estimation)到目前为止，与之间的不相关性假设起到了关键作用。但是，在一些重要的经济ixi问题当中，这样的假设地不到满足，典型的情况是解释变量的度量当中存在误差，或者模型包含涉及到预期的动态过程。如果没有这样的假设，则上述关于最小二乘估计的相合性的证明就都不再成立了，因此对应的最小二乘估计就不再是吸引人的估计了，这时另外一种估计方法被称为工具变量法(instrumental variable，IV)，最小二乘估计只是特例，而工具变
9、量方法则更为一般。 目前分析的问题是，在古典线性回归模型中，个解释变量可能与误iiiyxKix差是相关的。现在假设存在个变量(至少与一样大)，与相关，但与不iLizLKizixi相关。此时我们无法通过利用解释变量获得参数的相合估计，但是我们可以通过假设ix、和之间的关系来获得的相合估计。izixi为了方便起见，我们假设样本独立且具有有限矩(这个条件可以拓展到相依样本情形)。经济计量分析 第 4 章 最小二乘估计的大样本性质4其他假设包括：(1) XXQXX nlimp(2) iiiE|x(3) xiiE(4) Xn1limp(5) kkikxE)()(2 xxQ(6) llzzilzE)()(
10、2Q(7) lkzxikilxzE)()(Q(8) 0|iiEz在上述假设下可以得到：zzQZZn1limpZXQXZn1limp0Zn1limp对于这个更为一般的模型，古典线性模型中的一些推断不再成立了。例如此时最小二乘估计是有偏估计： XX)X(X|b1E因此Gauss-Markov定理也不再满足。此时最小二乘估计也不再是相合估计了，因为：QXXXb 11 plimplimplimXXnn现在我们转向讨论工具变量估计。由于工具变量满足，并且每一项具有有0iiEz限方差，我们可以表示为：XZZXZyZ nnnnplimplimplimplim为了简单起见，先假设与中的变量数量一样多。我们已经
11、假设矩阵的秩是ZXXZK，所以是一个可逆方阵，则有：XZyZXZ nnplimplim1由此可以得到参数的工具变量估计(instrumental variable estimator)为： yZXZb1 IV)(上面我们已经在推导过程中证明了工具变量估计的相合性，现在我们开始讨论它的渐近分布。首先有：ZXZb nnn1)(1IV类似分析可以证明：,12 ZZQ0ZN nd经济计量分析 第 4 章 最小二乘估计的大样本性质5则有：,11121 XZZZZXQQQ0ZXZN nnd总结上述结论，可以得到下述定理。定理定理4.3 工具变量估计的渐近分布工具变量估计的渐近分布 如果，且关于工具变量等极
12、限假设成立，KL 则工具变量估计的渐近分布为：yZXZb1 IV)(yQQQbXZZZZX,112IVnNd这里，)/lim(pnXZQZX)/lim(pnZZQzz为了估计渐近协方差矩阵，我们需要估计其中的方差参数，一个自然估计选择是：2 niiiyn12 IV2)(1bx此时利用自由度进行修正是相当复杂的，因为这时所有结果都是渐近的，并且不会2在任何意义上无偏的。将残差向量表示为： yZXZXybXy1 IV)(将代入，XyZXZXIXZXZXIbXy)()()(11 IV因此得到： nnnnnnnnnnZXZXZXZXXZXZ111 22利用概率极限的乘积性质，通过简单运算可以证明22p
13、lim这说明是的相合估计。因此我们获得渐近方差的估计为：2211211IV)()(1Var.Asy.Est ZXZZXZZXZZXZbnnnnn上述推导中我们忽略了一个细节，那就是一旦中包含的变量个数比中包含的变量ZX个数多时，是一个阶矩阵，且秩数小于变量个数，这时的逆矩阵不再XZKLKLXZ存在了。前面分析中一个关键假设是，即的每一列与是渐近无关的，0)/plim(nZZ这也意味着的所有列的线性组合与是渐近无关的，这就建议可以选取的各列之间的ZZ线性无关的个线性组合。如果仅仅是从中选取列，则显然将丢失其余各列所包含的信KK息。为此，一个比较好的做法是将的各列在的各列生成的线性子空间中进行投影，这XZ时可以得到：XZZZZX1)(稍后我们将说明这样的工具变量选取具有很多优点。如果利用代替工具变量，则XZ新的工具变量估计为：yZZZZXXZZZZXyXXXb
