《附录3-1：高斯-马尔科夫定理的证明》由会员分享，可在线阅读，更多相关《附录3-1：高斯-马尔科夫定理的证明（3页珍藏版）》请在金锄头文库上搜索。
1、高斯马尔科夫定理（高斯马尔科夫定理（OLS 有效性）的证明有效性）的证明根据 OLS 的一阶条件：022)(XXyXS设 b 是解，则 b 满足正则方程组yXXbX这正是我们曾分析的最小二乘正则方程组。因为 X 是满秩的，所以的逆存在，XX 从而得到解是yXXXb1)(XXyXyyS2)(022)(XXyXS为了证实这确实是最小值，我们需要二阶编分矩阵XXSb2)(2是一个正定矩阵。我们现在来证明这个结果。对任意一非零向量 c，令，则XcXcqXcqii其中,2除非的每一元素都为 0，否则 q 是正的。但若为零的话，则 X 的各列的一个线性组合等于 0，这与 X 满秩的假定相矛盾。三、最小二乘
2、估计量的统计特性在本节中，我们对回归量的两种情况，即非随机回归量和随机回归量下分别作讨论。1、X 非随机回归量若回归量当作非随机来进行处理时，则将 X 当作常数矩阵处理就可导出最小二乘估计量的各种特性。可得（4）XXXXXXXb11)()()(若 X 是非随机的，或，则（4）中第二项的期望值是 0。所以，最小二乘0)(XE估计量是无偏的，它的协方差矩阵是)(bbEbVar)()(11XXXXXXE11)()(XXXEXXX121)()()(XXXIXXX12)(XX在前面的内容中，对 K=2 的特殊 b 是的最小方差的线性无偏估计量。现在我们给出这个基本结果的一个更一般的证明，令的另一个不同于
3、 b 的线性无偏估计量，是Cyb 其中 C 是一个 Kn 矩阵。若是无偏的，b,CCXECyE这暗示着 CX=I，并且。所以可以得到的协方差矩阵是CbbCCbVar2现在令，由假设知 D0。那么， XXXCD1)(,*Dybbb于是是非负定矩阵。, *)(2DDDDbVarYDD则)()()(112XXXDXXXDbVar)()()(112XXXDXXXD)(12XXDD在展开这个四项和式之前，我们注意到)()(1XXXXDXCXI由于上面最后一项是 I，有 DX=0，所以122)(XXDDbVarDDbVar2的方差矩阵等于 b 的方差矩阵加上一个非负定矩阵。所以，的每个二次型bbVar都大于的相应二次型。bVar利用这个结果可以证明高斯-马尔科夫定理：高斯马尔科夫定理： 对任意常向量 w，古典线性模型中的最小方差线性无偏估计量是，其中 bwbw是最小二乘估计量。
