统计学二十一世纪的挑战和机遇

《统计学二十一世纪的挑战和机遇》由会员分享，可在线阅读，更多相关《统计学二十一世纪的挑战和机遇（30页珍藏版）》请在金锄头文库上搜索。

1、统计学：二十一世纪的挑战和机遇Bruce LindsayJon KettenringDavid Siegmund2003 年 6 月编缪柏其译中国科学技术大学统计与金融系2003.12报告是由美国国家科学基金会 (NSF) 资助召开的一个研讨会的一份工作报告，时间 为 2002 年的 5 月 6 日至 8 日。大约由 50 位来自世界各地的统计学家参加。研讨会的 目的是确认统计学今后的挑战和机遇。 它主要集中于科学研究， 但也涉及重要的相关领 域，如统计教育， 基础结构， 国际前景和长期目标。 该科学委员会负责起草出这份报告， 在明年的这一过程中，还将收到来自该委员会其他成员和专业统计组织负责

2、人的意见。 这个报告试图反映出这些意见的一个综合观念。统计本身是一门科学从数据中学习的科学，它扎根于继续增长的知识核心。这 表明它的根是概率论和数学， 同时也受到更现代的计算机科学的影响。 统计学来自于这 些根，又反馈给它们新的数学和计算问题。 统计也是一个不多见的学科交叉领域。 的确， 应用是它的原动力。 在为认可的技术提供有价值的市场时它们激发了关于新理论和新方 法的研究。对统计来说目前最迫切的是要适应于这种数据集的需求，它们是如此之大和如此复 杂，以至于需要新的概念。 统计学家不但要使用数据， 而且要设计试验和阐述试验结果。 这些问题经常是广泛的学科间合作的源泉从天文到公共政策到动物学这

3、些都 是今天的统计学家从事的领域。1 统计是什么？ 假如面对广大的听众演讲，委员会感到有必要来阐述科学中的统计角色。许多科学 家(如果不是全部) 仅仅看到了我们领域的一点皮毛。 为此在研讨会上的第一个演讲者， 牛津大学著名的 D. R. Cox 教授，被要求从最基本的讲起，以及确认“统计是什么？” 该问题在研讨过程中被反复提及。我们在这儿综述一些主要观点。统计学科本质上可以用它的多学科性来识别。该领域的长远( over-arching )目标 是从所有类型的数据中提取科学的和有意义的信息。 统计学家用不同的方法在大量的科 学过程中达到这一目标。 在好的实验原理培养下， 他们可以成为从初级实验设

4、计一直到 最终数据分析和得出结论这一科学过程的合作者。统计工作的科学领域几乎与科学尝试一样广泛，在研讨会中，我们集中讨论六个主 要领域：统计核心加上六个应用的主要领域： 生物科学 工程和工业统计 地理和环境科学 信息技术 物理科学 社会和经济科学 被选择的这些领域大体上对应于(美国)国家科学基金资助的不同的方向。 在本报告的第五章， 这些领域的每个部分， 除了一个外都将给出一个有深度的回顾， 但社会和经济科学必须被不幸地排除。 编委们面临的困难是这个领域不但很难与别的领 域分开， 而且相当复杂。 在该领域的研究工作者大多不在统计系工作， 但对诸如经济学， 心理学和社会学感兴趣。 这包含了若干个

5、领域， 这些领域有它们自己成熟的和特有的统 计文献， 如心理计量学和经济计量学等。 关于对这种成熟的和有大量文献领域的回顾已 超出我们的时间框架和资源。在合作领域外，统计学者的核心活动是用于信息抽取的数学和概念工具的构造。虽 然大部分这类研究的数学基础是概率论，但最终目的是要提供在经验工作中有用的结 果。这区分了统计学家理论研究结果和大多数数学领域的结果在其中抽象结果纯粹 追求它们内在的意义。正如NSF报告98- 95 “关于美国数学的国际评估的高级评估小组报告” (report of the Senior Assessment Panel for the Inttrnationd Asses

6、sment of the U.S.A Machematical Science） （以后称为 ”Odom Report ”） 所述，： 统计总是与应用连在一起的，结论的重要性，既使是理论统计，也是强烈依 赖于与结论有关的应用类型。在这方面它非常不同于计算数学以外的其它所有数学 分支。（我们所强调的） 统计领域的显著特点，以及它发展的方法论，集中在从数据得出科学结论的小心谨 慎原则的设计上。该原则性方法使统计有别于数据处理，组织和分析的场合。一个主要 的要求是规定我们必须要对由数据作出的科学陈述的不确定性提供一种度量。 设计的这 类统计工具如置信系数， 显著性水平以及信任区域等， 提供了关于有效

7、性的容易解释的 度量。适当使用这些工具有助于控制来自于数据的虚假结论。首先是本杰明 狄斯瑞利（ Benjamin Disraeli ），后来由马克 吐温引用，说道： “有 三类谎言：谎言，可恶的谎言，以及统计。 ”事实上，统计学家被训练成能区分科学真 理和科学虚构。 为了指出这一点， 在本报告的后面， 我们将讨论有效性的一种新的度量， 假发现率（false discovery rate）,它是由于在现代科学研究中的海量数据和假设范围很 大而发展起来的。当然，统计学拥有统计工具一点也不比数学家拥有数学工具多。确实，大多数的统 计应用和统计研究是由其它学科领域的科学家得到的。 统计研究的基本作用是

8、发展新工 具用于尖端科学。 本报告的后一节我们将描述近年来产生的非常激动人心的统计研究的 可能性。特别，数据收集和储存的可能性已打开了对数据分析问题的全新方法的需求。统计学会 根据统计工作的性质，统计学者在很广的范围内工作。在美国，有许多统计学家在 统计系工作。这种系可以在大多数研究型大学中找到。目前在统计，生物统计和生物计 量领域有 86 个博士点。它们往往集中在研究生的研究中，包括与其它学科合作，教学， 以及为本科服务的课程。 本报告后面要演讲的一个主要问题是， 在为主修统计的本科生 拓宽进入统计领域渠道的主要努力中他们潜在的未来角色。这些系大部分是在二十世纪后半叶从数学系分出来的。因此统

9、计常常被认为是数学 的一个分支。这种结构观点也很明显反映在 NSF 本身。在其中，概率和统计作为数学 下的一个分支，与纯数学分支，如拓扑和代数等同放在一起。但是“未来”研讨会与会 代表的一个主要结论是统计与其它数学分支越来越不同。 统计学家的科学目标和现代科 学的方向指向这样一个方向：计算机和信息科学工具对统计而言至少与概率论同等重 要。大量的科学统计学会的分支不在统计系。这可能就出现在有统计系的大学里，我们 可以在商学院，社会科学和不同门类的理科系中发现它们。在没有统计学的学院，例如 在四年制的学院，统计学家经常在数学系，因为数学系需要他们为本科生上课。最后， 还有许多统计学家在生物统计系工

10、作。还有大量的统计学家在科学学会外，但与学会有良好联系，他们受雇于政府、企业和许多统计使用者。NSF报告，即Odom报告，叙述了关于统计的领域：在科学学会与工业和政府中的使用者之间的交流发展得很快，因此理论思想与来于 应用的挑战性的问题，以及各学科传统之间的散布都非常快。，统计学家也工作于各政府部门，从人口普查局到国家标准化和技术研究所，到国家 卫生研究所。他们也受雇于许多工业企业，经常是从事质量控制工作。特别，医药工业 已成了统计学家最大的雇主。他们完成药品以及所需的试验设计和分析。著作二十一世纪的统计 （ Raftery 等著） 包含了当今许多领头学者们撰写的 70 篇论文。可以把它介绍给

11、统计学家作为有用的信息要目，它在很广的统计主题范围内涵盖了统计当前的地位和将来的研究方向。2.历史回顾统计方法在科学上的应用已经有很长的历史了，尽管将之认知为一门独立的学科要追溯到20世纪。西格尔(Stigler) (1986)将现代统计学确认为一门统一的学科，“既是逻辑又是方法”。于是在这种基础上产生了各种统计思想。其中之一就是源于天文和地理测量中的联 合测量难题上的数据分析。最早的贡献就是1800年左右拉格朗日(Legendre)的最小二乘法。第二个分支是起源于概率论早期发展的不确定理论的基础。这里，数学家贝努里(Bernoulli)，德谟弗(DeMoivre)，贝叶斯(Bayes)，拉普

12、拉斯(Lapalace)，高斯(Gauss)奠定了 概率模型结构的基础，同时也提供了从概率模型得出关于数据结论的基础。十九世纪后期在英国统计思想才有了本质性的加速，现在那些产生概念的度量正是起源于遗传和生物计量学所用的度量。相关系数和回归这些主要的统计思想正是在这个时候发展起来的。不久 K皮尔逊(K- Pearson)发展了2检验(1900)。这是一个相当重要的概念性的突破。直到今天它还被用作统计模型中科学假设的严格检验。伦敦大学的应用统计系在1911年由K-皮尔逊建立，它是世界上第一个大学里的统计系。它的前身是优生学实验室和生物计量实验室几年之内， R-费歇(R -Fisher)，也是英国人

13、，创建了很多现代统计学的基础。费歇也 是现代人类遗传学的创立者，他具有极高的天赋。他创建了复杂实验的分析方法，即现在每天被科学家们使用成千上万次的“方差分析”。他证明了一个称之为似然的函数可以用来研究几乎任一概率模型中的最优估计和检验程序。受农业田间实验的启发，他建立并发展了实验设计的主要思想。费歇有相当强烈的统计直觉。至少二十世纪的一些重要工作都仅仅是弄清显著性和推广他田间试验的研究领域。在随后的二十世纪30年代的重要工作就是伦敦大学的J 纽曼和E皮尔逊对假设检验的严格的理论发展了。这个理论已成为二十世纪后期这个领域中其他 研究的基础。至厅二十世纪中期，美国的统计学家做出了一些开创性的工作。

14、哥伦比亚大学的A 瓦尔特(A .Wald)是发展序贯分析的领导者，这是二战时期需要有效抽样而发展起来的一门 学科。同时，他也是统计决策理论发展方向的领导者。这个时期的另一个大师级人物就是宾夕法尼亚州立大学的 C.R.劳(C.R. Rao)前不久全国科学金牌的获得者(national medal ofscienee),他在多元统计方面有很多的创新，解决了研究多维数据的复杂结构问题。另一个科学金牌获得者普林斯顿的J. 土凯(J.Tukey)则是现代数据分析之父。正是在这段时期，统计学在美国作为一门独立学科开始制度化和系统化，统计学不同于数学也不是数学应用的特殊领域。美国的哥伦比亚大学和北加州大学都

15、是最早的一批加入 者。后来，随着科学的发展，统计部门的数量和规模都在逐步壮大。下一章节中我们将会看 到这方面的迹象。上个世纪很多重要的发展都出自建模和估计领域，这些研究出来的方法扩大了可用模 型的视野和拓宽了统计程序有效性的范围。这些研究的一个重要副产品是所谓的大样本理论的扩展一-当数据样本大小很大时统计过程的分布性质的研究。不确定性的精确度量是统计推断的关键部分。大样本理论使统计学家们能够在很广的一类问题中计算这些度量的相当好 的近似值。科学上的一个主要革命发生在二十世纪七十年代，这次革命注定要永远改变统计学的面貌。起初是笨拙地用打孔机打卡，但是计算机很快地取代了这种很慢的打孔方法，它完全改变了得出统计分析结论的意义。它也改变了科学家们收集数据和存储数据的工作。那么随之而来的是什么呢？这个报告正是关于这些问题的。关于历史，我们注意到这样一个事实：二十世纪末最成功的方法， 如自助法和比例危险率模型，如果没有计算机的帮助，这些方法可能就不能付诸实际。科学家们收集更多和更复杂数据的能力给我们指出了一 个令人兴奋和极具挑战性的，并有更多基础性结果的未来。3现状概述统计的理论和应用涉及很多学科。应该注意到，统计学科不可能有一种在传统分类意义下分成不同研究领域的统一分法。专业性质Odom报告对于美国学者们在统计上的努力给予了充分肯定，报告指出：“美国的统计科学非常正常地涵盖了所有