基本极限分布理论和线性检验统计量的构造

《基本极限分布理论和线性检验统计量的构造》由会员分享，可在线阅读，更多相关《基本极限分布理论和线性检验统计量的构造（7页珍藏版）》请在金锄头文库上搜索。

1、基本极限分布理论和线性检验统计量的构造一、基本极限分布理论1对于序列 ，如果对于任意 ，存在 使得对于 时，有 ，则称 ；NaNN|aNaN2 和 ： 是 的，如果 是有界的，特别地，当 时，若 有界，)(O)(o)(Oa 0则称 是 ； 是 的，如果 ；N1N 0N3依概率收敛：对于所有 ，有 ，记作 或 ；T|PrcXobT cXpTlimcpT性质 1： 为连续函数，若 ，则 ；)(gp )()(cgT性质 2： ， ，则 ；1cXpT 22cpT 2121pT 2121cpT 4依分布收敛：记 为 的分布函数，若 ，则 ；)(xFTX )(limxFXXTXD性质 1： ，若 ；则 （

2、渐近等价引理）YDT 0pTYD性质 2： ， ，则 ； ；cp DT cXT YcDT性质 3： ， （连续影射定理）XDT )()(gg性质 4：向量 ， ； ；cp , NYDT ),(cNcYDT 二、推导统计量渐近分布时的有用结论及应用主要结论1 )(,12XN1若 ，则 ， （非中心参数）nI),(2n2i2N 维 随机变 量 ，则 （证明思路为对 进行楚勒斯基分解，即,0(V)(1nX 1V）PV13N 维 随机变 量 ，BV 为幂等矩阵，则),(NX )(2Brank应用（检验 ）rR1t 统计量。t 统计量的计算形式为 ，则 ；/)()(se)(,01XN； ；（ ）112

3、)()()()( XkTuXsVarse 1)()(XkTseu),0(INu故 为 t 分布。)(,0/)(2)(INskT2F 统计 量。F 统计量的计 算形式为 ，q 为约束个数，SSR 1和 SSR0分别为受)/(01kTSR限模型和非受限的残差平方和。则 （*）；201 /)()()()/( sqrRXr； 。（*）式上下同除以 得到：)(,012XRNrRkTus2 2， ，由相关结论可知统计量服从 F 分布。,1 ),0(IN注意：无论是 t 统计量还是 F 统计量只有当残差严格服从正态分布的时候才是有效的。三、计量经济学中的假设检验1计量经济建模中需要哪些检验从经济理论出发、选

4、择解释变量、构建回 归方程到模型的参数估计量的求解，再到 该模型能否解释所研究的经济现象的本质特征或所研究的经济活动中的各个因素之间的关系，最后到能否进行模型的实际应用，必须通过各种检验加以确定。一般来讲， 计量经济建模需要进行三个方面检验：（1）设定检验（Specification Test），即将数据生成设定为某一种具体形式以便进行参数估计；（2）经济意义的检验，即根据经济理论对某个约束条件进行检验；（3）诊断检验（Diagnose Test），即判断参数估计是否具有显著性，以及模型设定是否合理。设定检验一般包括：正态性检验、异方差检验 、序列相关性 检验、单 位根检验、协整检验、面板数据

5、模型形式设定检验、个体效应固定效应检验、 针对非线性模型的 线性检验等。2检验的形式 Wald 检验 、似然比 检验和 LM 检验（得分检验、Rao 检验）2.1 Wald 检验Wald 检验与 F 检验类似，通常适用于残差不是严格服从正态分布的情况，主要优点是应用简单，并且不需要对受限模型进行估计。 Wald 检验的基本思想是如果约束条件为真，则未受限模型的估计量近似等价于受限模型估计量。由于最值估计量（M-Estimator，即通过求解一系列最大化或者最小化目标函数得出参数估计，Huber，1967 年提出，包括普通最小二乘法、非线性最小二乘法、最大似然估计和准极大似然估计等）渐近服从正态

6、分布，即。则在原假设下有 ，故 ，),0()(0VNnd rR0),0()(RVNrRnd ，q 为约束条件个数。)(21rRrRd2.2 得分检验某些情况下，受限模型比非受限模型具有更简单的形式，因此在构造检验统计量时人们希望只估计受限模型（原假设下的模型）。以线性检验为例，原假设为模型是线性的， 备择假设为模型是非线性，显然估计线性模型（原假设成立下的模型）更为简单。这就是提出得分检验的初衷。该检验的基本思想是，如果原假设成立，则目 标函数的梯度向量 应该渐近服从均值为零的正态分布，即 ， ；则得分检验的统计量)()(1rRX ),0( Nnd。得分检验最初是针对最大似然估计提出的（也就是

7、 LM 检验），)(2201qRXd 但是其基本思想可以应用于许多估计方法。2.3 似然比检验构造 Wald 检验要求估计非受限模型，构造得分检验要求估计受限模型，而似然比 检验需要同时估计受限和非受限模型。统计量的计算表达式为： ；)()(ln)(l22qLLR为非受限估计量， 为受限估计量。 为了证明似然比统计量服从 分布，需要将 在 l处二阶泰勒级数展开得到 （根据最大似然估计的定)()(2)ln)(l HL义，一阶展开项为 0），则 ；由于 ，则：LR 0I)()()()( 2qnIIn 2.4 Wald 检验、似然比检验、得分检验的渐近等价性通过（2.1）（2.3）不难发现，wald

8、 检验、得分检验 和似然比检验统计量都渐近服从 分布，2那么它们之间是否存在某种联系呢？是的！这三种检验以及 qF 统计量在原假设成立时是渐近等价的，即 。下面 对这三个检验统计量进行总结：（1）LR 统计量的构造LRMWqF是建立在似然函数基础上的，因此它依赖于对残差的分布做出假设；（2）qF 统计量又被称为伪似然比统计量，因为其构造同样依赖受限和非受限估计量。二者的区别是 qF 统计量不需要对分布做出假设；（3）Wald 检验和得分检验是针对线性模型提出的，但是它们的基本思想同样适用于非线性模型。尽管这些统计量是渐近等价的，但从数值计算的角度来看三者还是存在差别的，这是由于方差估计的不同方

9、法造成的。这就带来一个问题，人们可以根据偏好有选择地使用某种检验得到想要的结果。因此，在实证应用中，理想的解决方法是同 时给出三种统计量的检验结果。3统计量临界值的计算统计量临界值的计算都是以统计量的极限分布为基础的，具体来说有两种方法：（1）如果统计量的极限分布是标准的，则可以直接查相应的分布表；（2）大多数情况下，统计量的分布形式要么非标准要么难以计算，此时需要运用模拟方法。举例来说， 单位根检验的统计量为，其中 W(r)为(0,1)内的维纳过程。显然计算2/11022/1)()()(1drWysDFTtu该统计量的分布函数是极为困难的。使用 Monte Carlo 方法计算统计量的临界值

10、通常分为以下 3 步：（1）使用原假设成立下的数据生成过程产生样本；（2）构造辅助回归，计算所需要的统计量数值；（3）重复以上两步 N 次（N 足够大）， 并根据要求的 检验水平确定统计量数值序列的分位数。下面就以 DW 检验和单位根检验为例，介绍这一过 程。DW 检验DW 检验的原假 设为： ，即 不存在自相关；检验统计量为 ，0:Htu TttteDW12)(使用的数据生成过程为 ， （检验的名义水平为 1%，5%，10%）tttxy)1,0(.dNi单位根检验单位根检验的原假设为 ；检验统计量为 ，即 对应的 t 统计量，使用的1:0H)(1sDF数据生成过程为 ， ，即将检验的辅助回归

11、设定为不含有漂移项和趋tttuy1),0(.dNi势项。 （检验的名义水平为 1%，5%，10%）4检验统计量的（有限样本）性质4.1 检验功效与检验水平在假设检验中可能犯两类错误，即第一类错误（“弃真 错误”）和第二类错误（“取伪错误” ）。不同检验方法犯错误的概率一般是不一样的，而且对于同一种方法，采用不同的统计量或对同一统计量采用不同的参数估计方法，其犯错误的概率也不尽相同。另一方面， 检验临界值是在某一假设前提下，在统计 量的极限分布基础上（ ）计算的，如果待检验的序列较短，或T者假设条件不满足，则统计 量的性质（可靠性）会受到影响。因此， 为了评价检验的可靠性需要计算统计量在不同样本

12、容量下以及误差项不同设定情况下的检验功效和实际检验水平，这就要用到 Monte Carlo 模拟的方法。所 谓检验功效（Power of Test）是指给定一个名义检验水平，在备择假设 H1成立的条件下，拒 绝原假设的概率； 实际检验水平（Size of Test）是指，给定一个名义检验水平，当原假设成立的条件下，拒绝原假设 的概率。 Monte Carlo 方法解决这一问题的基本思路是：（1）使用原假设（计算 Size）或备择假设（计算 Power）的数据生成过程生成样本；（2）使用样本序列构造统计量数值，并与临界值比较；（3）重复上述步骤若干次，确定统计量数值小于临界值的频率，从而得到 S

13、ize 或者 Power。实验：构造针对数据生成过程 ， 的 t 检验，计算不同样本容量下 t121*t ttyyu20.9检验的功效和实际检验水平。提示：计算检验功效时的 DGP 为 ，121*t ttyyu；计算检验水平时 DGP 为 。（名义检验水平为20.,4.6,80.5 1.t tt0.05，样本容量分别为 T=20，40，80，120，200，1000）4.2 检验功效与检验水平的权衡关系统计量的检验水平和检验功效之间存在着一种权衡取舍（trade-off）的关系，即不论数据生成过程是何种形式，检验水平的值越小，相 应的检验 功效的值也就越小；检验水平的值越大，相应的检验功效的值

14、也就越大。这也就是说，当某种检验方法犯第一类错误的可能性越小时，其犯第二类错误的可能性就会越大。从这种意义上来说，我们不能奢望某一种检验方法能够同时在这两个方面都明显地优于其他的检验方法。实验：仍然使用上一个实验的数据生成过程，针对原假设 ，计算大样本下9.0:20H（T=1000）和小样本下（T=25），t 统计量、 LM 统计量（ 版本和 F 版本）以及 LR 统计量的检验2功效和检验水平。4.3 影响统计量可靠性的因素我们推导统计量极限分布以及据此计算其临界值的过程都是建立在这样两个假设基础上的：（1）样本容量足够大；（2）残差项独立同分布。 （思考：为什么不要求残差服从正态分布？）因此

15、当这两个条件不满足时，统计量的可靠性值得商榷。对于第一个条件，主要是 现有统计量的分布和临界值都是在大样本情况下得到的（理解“极限分布” 中的“极限”二字）；对于第二个条件，如果数据生成过程存在序列相关或者异方差，我们根本无法得到模型方差-协方差矩阵的一致估计，使得统计量的极限分布（例如，Wald 检验需要估计 中的 V，得分检验需要估),0(N计 ）和标准情况存在很大的偏差。20影响统计量可靠性的另一个因素是冗余参数问题（nuisance parameter）。所谓冗余参数就是指我们不关心其取值，但其取值又会影响我们分析其他参数的一类参数。假设检验中的冗余参数是指不参与统计量的构造，但其取值会影响统计量可靠性的参数。与之相对应的一个概念就是轴枢统计量（pivotal statistic），即 统计量的分布不含有未知参数。简而言之，轴枢统计量就是不含有冗余参数的统计量。实验：仍然使用上一个实验的数据生成过程和原假设 ，针对不同