《9多重假设检验方法及其在经济计量中的应用》由会员分享，可在线阅读，更多相关《9多重假设检验方法及其在经济计量中的应用（11页珍藏版）》请在金锄头文库上搜索。
1、多重假设检验方法及其在经济计量中的应用一、 引 言复杂数据主要表现在维数高、相依、非线性与不完全观测等，在基因序列、股市和社会经济等领域中经常出现。传统的数理统计学方法在处理低维、独立、线性与完全数据时有效，但面对如此复杂的数据时，困难很多。因此，“复杂数据和复杂模型的统计推断问题”被列为“十五”期间我国统计学研究的重要领域及重点课题中的主要问题之一。（课题组，统计研究，2000）在2004年第164届美国统计学会（American Statistical Association）年会中，美国统计学会主席、斯坦福大学统计系教授Bradley Efron在致辞中指出：“计算机技术突破了曾限制经典
2、统计理论发展的计算瓶颈。与此同时，一些极其重要的问题像洪流一样涌向我们，其表现为巨型数据集合与大规模推断问题（huge data sets and large-scale inference problems）。我相信这一代统计学家将置身于一个可与Fisher，Neyman，Hotelling和Wald所处黄金时代相媲美的统计创新时代。”（Efron, B., 2005）（朱钰等，2005）2005年5月25 -27日，香山科学会议召开了主题为“生物与医学中的复杂性问题”的学术讨论会。北京大学韩世辉教授认为，目前对脑成像数据的分析方法还是经典的统计方法，没有完全挖掘出数据中关于与大脑认知功能相
3、关的特性。因此应结合多学科，进一步发展脑成像数据的分析方法（http:/ “计算生物学最新进展” 的学术研讨会。与会专家们达成了共识：如何从海量的生物学数据中挖掘出最有用的信息，是对生命科学以及医药研究的巨大挑战。计算生物学是一门交叉学科，需要来自不同背景的研究人员通力合作。（http:/www.cae- 数据挖掘（Data Mining）的理论、方法和技术已应运而生。而针对诸如怎样同时检验成千上万个基因中哪些基因的表达水平有显著性差异之类的高维统计推断问题，以错误发现率1 False Discovery Rate，国内学者还有其它多种译法，如“假发现率”和“阳性发现错误率”等，本文采用“错误
4、发现率”的翻译是沿用了单重假设检验中第I类错误 (Type I error- false positive)的含义。 FDR（False Discovery Rate)为主要特征的多重假设检验2 本文将Multiple hypothesis testing翻译成“多重假设检验”。国内学者还有其它译法，如“多检验方法”。（Multiple hypothesis testing）的错误控制理论无疑为其提供了一个有效的解决途径。以最近关于FDR的应用研究成果为例：2001年，天体物理学家与统计学家合作在Science上发表了利用FDR方法证实宇宙起源大爆炸理论的论文（Miller, C J., Ni
5、chol., R C., Batuski, D J. , Science, 2001）。2005年，在Nature上，遗传学家与统计学家合作，将FDR方法用于遗传多态现象间交互作用对基因表达的影响研究。（Brem, RB., Storey, JD., Whittle, J. and Kruglyak, L., Nature, 2005） 本文以变量个数远远多于观测次数的高维复杂数据为研究对象，以多重假设检验的错误控制为主线，对多重假设检验问题的错误控制理论、方法和过程及最新进展进行综述，并对多重假设检验方法在经济计量研究中的应用进行展望。二、多重假设检验国内外研究文献综述多重假设检验（Mult
6、iple hypothesis testing）问题1 这与经典统计中的多重比较问题（如方差分析后多组均数的比较或多组等级分布比较后的两两比较等）不同。经典统计多重比较问题主要是基于同一组样本观测数据进行多个不同的假设检验，而本文要讨论的多重假设检验问题是对应每一个单重假设检验，都有其相对独立的样本观测数据。1，是将多个单重的假设检验作为一个整体，或称为一个检验族（Family-wise），然后对这个检验族中的每个假设同时进行检验的问题。我们需要讨论和解决的是：从多重假设检验族考虑，统计检验所犯的错误有多大？用什么尺度合理度量？采取何种方法有效控制？ 传统的多重假设检验主要是控制族错误率（FW
7、ER ：Family-wise Error Rate）。如经典Bonferroni多重检验过程和idk 过程（idk , 1967），这些过程具有简单和直观的特点。但是，因为它们将每个检验都同等对待，所以在部分检验具有强相关性时，检验过程就会显得过于保守，导致检验的功效（power）较低。Holm (1979) 首先将检验p-值按小大次序排序，对经典Bonferroni过程进行改进，提出Holm逐步向下控制过程。随后，Simes（1986）, Hommel (1988) 和Rom (1990)在此基础上对改进的Bonferroni过程进行了拓展。Hochberg, Y. 和 Tamhane,
8、A C. (1987)共同出版了关于多重比较过程的经典专著 Multiple Comparison Procedures。Hochberg, Y.（1988）提出了Hochberg逐步向上控制过程，Charles, W. (1992) 也对多重假设检验的逐步向上控制过程进行了研究。在多重假设检验错误控制问题的研究过程中，具有里程碑意义的是错误发现率FDR（False Discovery Rate )的提出。FDR建立了一个全新的错误控制理论，1995年由以色列Tel Aviv 大学统计学教授Yoav Benjamini 和Hochberg共同 提出（Benjamini, Y., Hochber
9、g, Y., 1995) 。这篇文献现已成为多重假设检验问题理论和应用研究的必引文献。FDR的定义是在多重假设检验过程中，错误拒绝（拒绝真的原（零）假设）的个数占所有被拒绝的原假设个数的比例的期望值。与控制FWER相比，控制FDR不仅提高了检验的功效，同时也改进了传统的多重假设检验过程过于保守的缺陷。FDR控制过程特别适用于大规模的多重比较和多重假设检验问题。现在，SAS软件专门开发了多重比较与多重假设检验的模块（Multiple Comparisons & Multiple Tests Using the SAS System）。2001年8月，在Temple University 举行了“
10、New Horizons in Multiple Comparison Procedures” 的国际会议，并出版了专集（Benjamini, Y. , Bretz , F. and Sarkar, S.，2004)。在Yoav Benjamini教授的个人网页（http:/www.math.tau.ac.il/ybenja/）上，Yoav Benjamini教授对FDR的发展历史、定义、方法、控制过程和软件，以及FDR在医学、生物学、遗传学、经济学和统计决策等领域的应用做了清晰的分类和详细的总结，并列出了相关的重要文献和他本人最新的研究成果。Shaffer, J P. (1995, 2002
11、) 对多重假设检验方法进行了总结。Hsu, J C. (1996) 出版了专著Multiple Comparisons: Theory and Methods。Brown, L D. (2000)对统计决策中如何应用FDR方法的前景进行了展望。Sandrine, D., Shaffer, J P. 和 Boldrick, JC. (2003)对多重假设检验中各种错误的控制方法和过程进行了全面的综述。Genovese, C. and Wasserman, L. (2004) 在随机效用混合模型框架下研究了FDR控制的渐进过程。 从贝叶斯统计推断角度对多重假设检验错误控制进行研究，研究成果特别显著
12、的是华盛顿大学生物统计系的John D. Storey博士，他提出了pFDR的概念，给出了q-值的计算方法，并从贝叶斯统计学的角度研究了pFDR的性质和应用（Storey , JD., 2003)。随后，他与多人合作发表了许多重要文章，如Storey, JD., Taylor, JE., and Siegmund, D. (2004)；Storey, JD., Akey, JM., and Kruglyak, L. (2005)；Brem, RB., Storey, JD., Whittle, J. and Kruglyak, L. (2005)；Leek, JT., Monsen, EC.,
13、 Dabney, A R., and Storey, JD.(2006)以及多篇工作论文（详见他的个人网页：http:/faculty.washington.edu/jstorey/）。特别是前文提到的他与Brem, R B.共同合作发表在Nature(2005)的成果，在学术界具有非常大的影响。其他学者，如Newton, Noueiry, Sarkar and Ahlquist (2004)；Pounds,S. and Cheng,C. (2004)；Brot, Lewin, Richardson, Dalmasso and Magdelenat (2004)；Dalmasso, C. ,
14、Broet, P. , Moreau, T.（2005）分别对pFDR的贝叶斯估计进行了研究。关于多重假设检验问题的研究，也受到了国际著名统计学家的高度重视，且已编入了国际统计学的教材中。Erich Lehmann 是美国加州大学Berkley分校的名誉退休教授，美国国家科学院院士。他编著的Theory of Point Estimation1 此书的第二版（1998）已由北京大学的郑忠国教授等人翻译为中文版点估计（2005）。1和Testing Statistical Hypotheses的是世界各国培养统计学研究生的标准教材，被世界各国的大学广泛采用。在Testing Statistica
15、l Hypotheses（3rd ed., 2005）第I篇的第9章中，Erich Lehmann介绍了多重假设检验问题的基本理论和方法。2005年，Lehmann 还撰文提出了k-族错误率(k-FWER)的概念(Lehmann, E L., Joseph , P., and Romano, 2005)。另外斯坦福大学统计系教授Bradley Efron也对此问题做了深入的研究，并在许多重要报告中介绍了FDR的应用成果。参见文献：Efron, B（2001-2005）或他的个人网页（http:/www-stat.stanford.edu/brad/papers/）。国内目前涉及多重假设检验FDR问题研究才刚刚起步，研究文献还较少。关于FDR的研究，黄丽萍等（2003）对多检验方法FDR在脑功能磁共振成像(fMRI)处理中的应用进行了研究，他们对错误发现率 (FDR)方法进行了计算机实现，将FDR方法及其他几种假设检验方法应用在模拟数据和fMRI数据分析中，研究结果表明FDR方法是一种更可信的多检验方法。缪柏其（2005）和朱 钰等（2005）介绍了FDR方法取得的显著成果。东北师范大学郭建华教
