《多元线性回归模型的各种检验方法》由会员分享，可在线阅读，更多相关《多元线性回归模型的各种检验方法（14页珍藏版）》请在金锄头文库上搜索。
1、对多元线性回归模型的各种检验方法对于形如Y=0 +P X +P X +P X +u七、0112 2k k（1）的回归模型，我们可能需要对其实施如下的检验中的一 种或几种检验：一、对单个总体参数的假设检验：t检验在这种检验中，我们需要对模型中的某个（总体） 参数是否满足虚拟假设h 0 ： P j ，做出具有统计意义 （即带有一定的置信度）的检验，其中为某个给定的 j已知数。特别是，当a F时，称为参数的（狭义意义 j上的）显著性检验。如果拒绝H 0，说明解释变量X ,对 被解释变M 具有显著的线性影响，估计值0才敢使j用；反之，说明解释变量* .对被解释变量Y不具有显 著的线性影响，估计值P-对
2、我们就没有意义。具体检验 j方法如下：（1）给定虚拟假设h 0： p j = a.;P - E （P ） P - ajj j j（2）计算统计量Se（。）7的数值;jjSe（P= 6*，其中 C打=（XtX）-1.+1（3）在给定的显著水平下（。不能大于0.1即10%,也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t（ n - k -1）分布的临界值a /2 ；3（4）如果出现t 的情况，检验结论为拒绝 3 / 2 0 ；反之，无法拒绝 0。t检验方法的关键是统计量t=客必须服从已Se （p ）j知的，分布函数。什么情况或条件下才会这样呢？这需 要我们建立的模型满足如下的条件（或
3、假定）:（1）随机抽样性。我们有一个含n次观测的随机样 阪汀，X,2, X,k,Y）： / = 1,2,n。这保证了误差 自身的随机性，即无自相关性，Cov(u 一 E(u )(u - E(u ) = 0。(2) 条件期望橙为0。给定解释变量的任何值，误 差U的期望值为零。即有E (u X , X ,，X ) = 0这也保证了误差 独立于解释变量X 1，X 2,，X，即 模型中的解释变量是外生性的，也使得E (U ) = 0。(3) 不存在完全共线性。在样本因而在总体中， 没有一个解释变量是常数，解释变量之间也不存在严格 的线性关系。(4) 同方差性。 Var(X 1，X2,.,X) 二。2
4、=常数。(5) 正态性。误差U满足 u Normal (0 ,。2)。在以上5个前提下，才可以推导出：B N p , Var (B ) .jjj(P P )/Sd(P ) N(0,1) jjj(P P )/Se(P ) t j jjnk 1由此可见，检验方法所要求的条件是极为苛刻的。二、对参数的一个线性组合的假设的检验需要检验的虚拟假设为.:P.。比如叩02无 法直接检验。设立新参数气=。p 22。原虚拟假设等价于 0：。= 0。将P1 =91 + p2代入原模型后 得出新模型：11Y=P +9 X +P (X + X )+P X + u011212k k (2)在模型中再利用检验方法检验虚拟
5、假设 :。=0。H101我们甚至还可以检验这样一个更一般的假设H :林=X P + X P + X P = C00 01 1k kt统计量为祁-邱t =t (n - k -1)Se2 MXtXi 入 t三、对参数多个线性约束的假设检验：F检验需要检验的虚拟假设为H :03 I 疽 0，P I + 2,一，P k = 0。该假设对模型（1）施加了个排除性约束。模型（1） 在该约束下转变为如下的新模型：Y = P +P X +P X + +P X + u 小、01 12 2kq kq（3）模型（1）称为不受约束（ur）的模型，而模型（3）称 为受约束（r）的模型。模型（3）也称为模型（1）的 嵌套
6、模型，或子模型。分别用OLS方法估计模型（1） 和（2）后，可以计算出如下的统计量：、（RSS- RSS） / q-RSS /（ - k - 1）关键在于，不需要满足t珞验所需要的假定（3），统计量F就满足：F F利用已知的F分布函数，q , n 一 k 一 1我们就可以拒绝或接受虚拟假设H ：P =0, P , . ,P = 0 了。所以，一般来讲，F检验比t痛验鱼先使涌，亩的 更普遍，可信度更高。利用关系式 RSS = TSS（1 -R2），RSS = TSS(1 - R2), F 统计量还可“ s 一 g- R 一(1 R 2)/( n k 1)I、对回归模型整体显著性的检验：F检验需要
7、检验的虚拟假设为H 0 : P1 = 0, P 2,P k = 0。相当 于前一个检验问题的特例，q =k。嵌套模型变为 P 0 + 。R 2 = 0，RSS = TSS，R 2 = R 2 O F统计量变为: u r曰 R 2/kF =(1R 2)/(nk1)_ESS / k-RSS/(nk 1)五、检验一般的线性约束需要检验的虚拟假设比如为P1 = 1，P2，Pk = 0。受约束模型变为：Y = p + X + u01Y - X + u再变形为：10。F统计量只可用:(RSS - RSS )/ q-RSS /(n - U-1)其中，RSS = TSS=y -X )-(Y-X )1斗 -Y)
8、 - (X - X )1。Y - X1ii11ii11六、检验两个数据集的回归参数是否相等：皱（至庄） 检验虚拟假定是总体回归系数的真值相等。步骤如下:（1）基于两组样本数据，进行相同设定的回归，将 者的RSS分别记为RSS 1和RSS 2。（2）将两组样本数据合并，基于合并的样本数据, 进行相同设定的回归，将回归的RSS记为RSS 。T（3）计算下面的F统计量：F _ ( RSSt - RSS - RSS) /(k +1)(RSS IRSS )1/(n + ； 2k 2)1212(4)如果F F ,拒绝原假定。七、非正态假定下多个线性约束的大样本假设检验：LM (拉格郎日乘数)检验F检验方法
9、需要模型(1)中的满足正态性假定。在不满足正态性假定时，在大样本条件下，可以使用LM 统计量。虚拟假设依然是H 0 : Pk 尸0, Pk q+2，,(V 0。LM统计量仅要求对受约束模型的估计。具体步骤如下:(i)将，对施加限制后的解释变量进行回归，并 保留残差。即我们要进行了如下的回归估计 Y_p +X +X + + X +u0112 2kq kq(ii)将对所有解释变量进行辅助回归，即进行如 下回归估计u _(x +a X +a X +a X +0112 2k k并得到R-平方，记为R 2 u 。(iii)计算统计量:(N)将 LM 与 X 2 q果 LMc, gG 口皿 jsiMXH0
10、LM = nR 2u。分布中适当的临界值。比较。如，就拒绝虚拟假设H ；否则，就不能拒绝虚拟 假设H 。八、对模型函数形式误设问题的一般检验：RESET如果一个多元回归模型没有正确地解释被解释变 量与所观察到的解释变量之间的关系，那它就存在函数 形式误设的问题。误设可以表现为两种形式：模型中遗 漏了对被解释变量有系统性影响的解释变量；错误地设 定了一个模型的函数形式。在侦察一般的函数形式误设方面，拉姆齐（Ramsey，1969）的回归设定误差检验（regression specilfication error test , RESET） 是一种常用的方法。RESET背后的思想相当简单。如果 原
11、模型（1）满足经典假定（3），那么在模型（1）中添 加解释变量的非线性关系应该是不显著的。尽管这样做 通常能侦察出函数形式误设，但如果原模型中有许多解 释变量，它又有使用掉大量自由度的缺陷。另外，非线 性关系的形式也是多种多样的。RESET则是在模型（1） 中添加模型（1）的OLS拟合值的多项式，以侦察函数 形式误设的一般形式。为了实施RESET，我们必须决定在一个扩大的回归 模型中包括多少个拟合值的函数。虽然对这个问题没有 正确的答案，但在大多数应用研究中，都表明平方项和 三次项很有用。令.表示从模型（1）所得到的OLS估计Y值。考虑扩大的模型.（4）Y = P +P X +P X + +P
12、 X +5 Y2 +6 Y3 +这个模型看起来有2些奇怪，1因为原估计的拟合值的函数 现在却出作为解释变量出现。实际上，我们对模型（4） 的参数估计并不感兴趣，我们只是利用这个模型来检验 模型（1）是否遗漏掉了重要的非线性关系。记住，.和Y 2都只是的非线性函数。X对模型（4），我们检验虚拟假设。这时，H :5 = 0, 5 =0模型（4）是无约束模型，模型（1）是受约束模型。计 算F统计量。需要查分布表。拒绝反，模型（1）F2，0存在误设，否则，不存在误设。九、利用非嵌套模型检验函数形式误设寻求对函数形式误设的其他类型（比如，试图决定某 一解释变量究竟应以水平值形式还是对数形式出现）作 出检
13、验，需要离开经典假设检验的辖域。有可能要相对 模型Y =。+p log（X ） + P log（X ） + +P log（X ） + s（5） 01122kkE/检验模型（1），或者把两个模型反过来。然而，它们是 非嵌套的，所以我们不能仅使用标准的F检验。有两种 不同的方法。一种方法由 Mizon and Richard （1986）提出，构造一 个综合模型，将每个模型作为一个特殊情形而包含其 中，然后检验导致每个模型的约束。对于模型（1）和 模型（5）而言，综合模型就是（6）Y = y +y X + + y X + +y log（X ） + + y log（X ） + p可以先检验11kkk
14、，1作为对模型（1）的检验。也H : y = 0,5= 0可以通过对检验，作为对模型（5）的检验。H :y = 0,，5 = 0 01k另一种方法由 Davison and MacKinnon （1981）提出。 认为，如果模型（1）是正确的，那么从模型（5）得到 的拟合值在模型（1）中应该是不显著的。因此，为了 检验模型（1）的正确性，首先用OLS估计模型（5）以 得到拟合值，并记为,。在新模型y（7）y = p +p x +p x + + p x +9 y + p中计算，的t统计量，利用t检验拒绝或接受假定。yh :。= 0显著的t统计量就是拒绝模型（1）的证据。类似的， 为了检验模型（5）的正确性，首先用OLS估计模型（1） 以得到拟合值，并记为.。在新模型 y（8）y = p +p iog（x）+ p iog（x）+ + p iog（x）+9y + p中计算y的t统计量,利用t检验拒绝或接受假定h 0 0。以上两种检验方法可以用于检验任意两个具有相0同T 的被解释变量的非嵌套模型。非嵌套检验存在一些问题。首先，不一定会出现一个 明显好的模型。两个模型可能都被拒绝，也可能没有一 个被拒绝。在后一种情形中，我们可以使用调整的R- 平方进行
