《第二章 多元线性回归模型的有偏估计》由会员分享，可在线阅读，更多相关《第二章 多元线性回归模型的有偏估计（54页珍藏版）》请在金锄头文库上搜索。
1、第二章 多元线性回归模型的有偏估计模型的参数估计依赖于观测样本，样本是随机的:至少Y是随机的)，因此估计量也是随机的，不一定恰好等于被估计参数的真值。但是我们希望多次估计的结果的期望值接近或等于真 值，即E(0)二卩，E(&2)二 2这就叫无偏估计。无偏估计被认为是一个估计量应有的优良性质。但是在一些场合，满足无偏性的估计量却不具备其它应有的优良性，比如说稳定性、容 许性。统计学家提出了一些新的估计方法，它们往往不具备无偏性，但在特定场合综合起来考 虑还是解决问题较好的。本章就分别介绍这些特定场合下的有偏估计。第一节 设计矩阵列复共线与岭回归一、设计矩阵列复共线的影响上一章最后一节讲的是设计矩
2、阵列向量完全线性相关，IX Xl=0的情况。实际工作中常遇 到的是，设计矩阵的列向量存在近似线性相关(称为复共线(multicollinearity), IX XQO。此 时一般最小二乘方法尽管可以进行，但估计的性质变坏，主要是对观测误差的稳定性变差，严 重时估计量可能变得面目全非。例如我们建立二元线性回归模型Y = X + X +(2.1.1)12有关资料在下面运算过程可以看到。看一看原始资料，它近似满足 Yi=X1i+X2i， 应该估计出i 1i 2i0 = 0, 0 = 1, 0 = 1。可是我们调用普通最小二乘回归程序，运算结果却是 0 1 2Y = 0.0033 + 0.4330X
3、+1.566X +(2 12)12对现有数据拟合的还挺好，两条曲线几乎成了一条曲线(图2.1.1.1)，F值为303744，但是代 入X1=0, X2=10,预测值却为15.66，这与原模型应有的预测值10相距甚远。岭回归与岭迹图计算程序, 例 2.1.4例214.D数据文件中,n=8, M=2 要显示原始资料吗? 0=不显示, 1=显示2.0100 .9900 1.01001.99001.0200.99004.01002.03001.99005.99002.97003.01008.01003.96004.01007.99004.01003.990010.01005.04004.990011.
4、99006.05005.9900正规方程系数矩阵的行列式的值是 2.12162 请输入工作参数, 0=普通回归, 1=岭回归, 2=计算岭迹(0)现在作线性回归显著性检验，计算t,F,R统计量请输入显著性水平a,通常取a=0.01, 0.05, 0.10, a=?(0.05) 线性回归分析计算结果样本总数 8自变量个数 2回归方程 Y = b0+b1*X1+.+b2*X2Y =.0033 +.4330 X1 +1.5660 X2回归系数 b0, b1, b2, ., b2.0033.43301.5660残差平方和:.00回归平方和:93.92误差方差的估计 :.0001 标准差 = .0098
5、线 性 回 归 显 着 性检验显著性水平 :.050回归方程整体显著性F检验,H0:b0=b1=.=b2=0F 统计量：303744.5000 F 临界值 F(2, 5)5.786全相关系数 R :1.0000回归系数逐一显著性t检验,H0:bi=0, i=1,.,2 t 临界值 t( 5)2.015回归系数b1-b 2的t值：.0106.0382要作回归预测吗? 键入 0=不预测, 1=要预测(1)现在作回归预测, 请输入自变量, X1-X 2X( 1)= 0 X( 2)= 10线性回归预测： Y的预测值=15.6633给定 X1-X 2= .0000 10.0000Y 的观测值Y 的拟合值
6、差2.01002.0136-.00361.99001.9953-.00534.01003.9987.01135.99006.0030-.01308.01007.9977.01237.99007.9881.001910.010010.0001.009911.990012.0035-.0135要作回归预测吗? 键入 0=不预测, 1=要预测 (0)要打印拟合数据吗? 0=不打印, 1=打印(1)计算结束。下面显示拟合图像。图2.1.1.1原始数据 亠拟合数据对此我们可以作如下理论分析。B作为0的估计是否优良，应该考察它与B的接近程度, 这可以用P的均方误差(Mean Square Error)来度
7、量：八八I ZXZXIMSE(3)二 E(II 卩-卩 112)二 E(卩-卩)(卩-卩)(2.1.3)我们来计算线性模型Y = X + s, E(8) = 0, Va () =21(2.1.4)n的 MSE( 3 )。由于-卩二(XX)-1XY-卩二(XX)-1X(XP+8)-卩二(XX)-1X8(2.1.5)故由公式 E(yAy)二(Ey)A(Ey) + trAVar(y)得MSE(p)二 E(p p)(p p)二 EsX(XX)-2Xs二 c2tr(X(XX)-2X)g2tr(XX)-2XX)二 c2tr(XX)-1iH.步，若N(0,z 2/”),则因对于对称矩阵A有注意到另Yaii
8、, j =1u,v=1a ss s s j uv i j it v3c 4i= j=u=u C 4i = j,u = u,i0i丰j,或u丰u丰u(sAs )2E (s s s s ) =i j it uE (sAs )2 = 3c 4 另 a 2 +c 4iii=1另ai=1ii丿另(a a + a 2 + a a )ii jj ij ij jii, j=1 i丰j 2 另 a 2 ij i,j=1-=c 4 (trA) 2 + 2trA 2因此Var(sAs)二 E(sAs)2 E(sAs)2 二 2c4trA2于是Var(ll 0 p II2)二 VarLx(XX)-2X J二 2c4t
9、rX(XX)-2XX(XX)-2X二 2c4tr(XX)-2由于X X为正定阵，其特征根皆为正数，设为入占入严三入0,则 12ptr ( X X ) 1九i =1 i代入(2.1.6)与(2.1.11)得MSE(p) = E(II p - p II2)Var(II p p II2) = 2c4乞丄 九22.1.6)2.1.7)2.1.8)2.1.9)2.1.10)2.1.11)2.1.12)2.1.13)2.1.14)1当设计矩阵X的列向量存在复共线关系时，入0, 很大，就使E (II卩-卩112)与 p九pVar(II 0 -卩II2)都很大。尽管这时按平均来说，0是卩的无偏估计，但具体在每
10、一次计算， 由于均方误差太大，使得Q估计值偏差很大，以致前面的数值例子变得面目全非。二、岭回归统计学界由A. E. Hoerl在1962年提出并和R. W. Kennard在1970年系统发展的岭回归 (Ridge Regression)方法，可以显著改善设计矩阵列复共线时最小二乘估计的均方误差，增强估 计的稳定性。这个方法在计算数学称为阻尼最小二乘，出现得较早一些。岭回归方法主要就是在病态的(X X)中沿主对角线人为地加进正数，从而使入p稍大一些。 我们知道模型(2.1.4)中0的最小二乘估计为P0 = (X X )-1X Y(2.1.15)则0 的岭估计定义为0(k) = (XX + kI
11、 )-1X Y, 0 k +(2.1.16)p从式子直觉看出，当k=0时，它就是最小二乘估计；当 S, 0(k) T 0。于是就要 问k究竟取多大值为好?同时我们也要知道0(k)的统计性质究竟如何。性质1.岭估计不再是无偏估计，即E(0 (k)鼻0。因为E(0 (k) = E(X X + kI ) -1X Y = (X X + kI ) -1X X0pp=(XX + kI )-1(XX)-1)-10= I + k(XX)-1-10pp无偏性一直被认为是一个好的统计量所必须具有的基本性质，但是在现在所讨论的问题场 合，我们只好牺牲无偏性，以改善估计的稳定性。性质 2. 岭估计是线性函数。记 S=
12、X X, Zk= (I+kS-1)-1， 则因k0(k) = (S + kI)-1XY = (S + kI)-1SS-1XY = (I + kS-1)-10 = Z 0(2.1.17)L k L可见0(k)不仅是Y的线性函数，而且是原来最小二乘估计0的线性函数。L性质3. Zk的特征根都在(0,1)内。 设有正交阵P与P使PSP =A = diag (九，,九)1p2.1.18)PZ Pr = P(I + kS-1)-1 Pr = P(I + kS-1)P-1 = I + kA-1-1K九1九+ kAA (k)九p九+ kp1九故知兀的特征根分别为，都在(0,1)内。k入+ ki性质4.岭估计
13、是压缩估计，即II 0(k)101 0 II。这是因为由性质2、性质 3，有II 0(k) II2 =11 Z 0 II2 =11 PA(k)P0 II2 =11 A(k)P0 I|2| P0 |2 =| 0 |2k九当然，由于亍r, i=1,p并不一定互相相等，这种压缩一般不是各方向上的均匀压缩。 入+ ki性质5. 岭估计的均方误差较小，即E II 0 (k)-0 II2 E II 0-0 II2(2.1.19)这个性质我们放到下一章与方差分量线性模型的广义岭估计一起证明。三、岭迹分析与岭参数选择因为岭估计0(k) = (XX + kl)-1XY(2.1.20)是k的函数，所以在二维坐标平
14、面上若以横轴为k,纵轴为0(k)，它将画出一条曲线。这条曲线我们称之为岭迹。前已指出，当k0时，岭迹反映了最小二乘估计0的不稳定性。当k+8时，岭迹将2趋于0。在k从0至到+的变化过程中，0(k)的变化可能比较复杂。关于岭参数选择的问题，已有许多文献讨论。讨论来讨论去，并没有一个公认最优的准则。 许多办法含有未知参数，又要对其进行估计。下一章我们将仔细介绍在方差分量模型的广义岭 估计中岭参数的选择办法。这里我们只简要介绍几种较有影响的方法和原则。1. 岭迹稳定观察岭迹曲线，原则上应该选取使P(k)稳定的最小k值，同时残差平方和也不增加太多。2. 均方误差小岭估计的均方误差MSE(0(k) = E(II 0(k) - 0 11)2还是k的函数，可以证明它能在某处 取得最小值。计算并观察MSE(0 (k)，开始它将下降，到达最小值后开始上升。取它最小处
