《20世纪统计学的回顾与展望》由会员分享，可在线阅读，更多相关《20世纪统计学的回顾与展望（44页珍藏版）》请在金锄头文库上搜索。
1、2020 世纪统计学的回顾与展望世纪统计学的回顾与展望作者：张作者：张 南南关键词：统计学；信息科学；金融工程；极值统计学关键词：统计学；信息科学；金融工程；极值统计学一、一、2020 世纪统计学的发展世纪统计学的发展按照统计学科体系的基本原理与应用的不同，统计学可分为理论统计学与应用按照统计学科体系的基本原理与应用的不同，统计学可分为理论统计学与应用统计学两大类。理论统计学指的是统计学的数学性原理，也就是数理统计学，统计学两大类。理论统计学指的是统计学的数学性原理，也就是数理统计学，具有通用方法论的理学性质。应用统计学指的是基于理论统计学的基本原理，具有通用方法论的理学性质。应用统计学指的是
2、基于理论统计学的基本原理，应用于各个领域的数据处理方法，统计解析方法及统计推测方法。其特征有二：应用于各个领域的数据处理方法，统计解析方法及统计推测方法。其特征有二：一是其数理性原理为各研究领域通用；二是具有对应于某特定领域的特有的分一是其数理性原理为各研究领域通用；二是具有对应于某特定领域的特有的分析方法。比如经济统计学中的指数分析法，医药统计学中的生存解析法等。析方法。比如经济统计学中的指数分析法，医药统计学中的生存解析法等。理论统计学的基础理论在理论统计学的基础理论在 2020 世纪的世纪的 20-3020-30 年代已经基本完成。其中由英国统计年代已经基本完成。其中由英国统计学家费舍学
3、家费舍(R.A.Fisher(R.A.Fisher，1890-1962)1890-1962)所确立的统计推测理论，样本分布理论，试所确立的统计推测理论，样本分布理论，试验计划法及验计划法及 F F 分布理论对奠定分布理论对奠定 2020 世纪统计学的基础理论作出了很大的贡献。世纪统计学的基础理论作出了很大的贡献。40-5040-50 年代对统计学来说是分布理论的时代。以概率分布的形式成功地将各种随年代对统计学来说是分布理论的时代。以概率分布的形式成功地将各种随机现象的数量特征、性质加以归纳、描述。机现象的数量特征、性质加以归纳、描述。6060 年代是分布偏差有效年代是分布偏差有效(Robust
4、)(Robust)推定理论盛行的时代。即采用古典的方法论成推定理论盛行的时代。即采用古典的方法论成功地解决了概率分布的假定与实际数据分布偏离的问题。但是，其研究所假定功地解决了概率分布的假定与实际数据分布偏离的问题。但是，其研究所假定的概率模型侧重于数学形式的完整可能，而对数据所遵从的概率分布的拟合准的概率模型侧重于数学形式的完整可能，而对数据所遵从的概率分布的拟合准确性的考虑尚有欠缺。在以后的系统控制论中，分布偏差有效理论起到了很大确性的考虑尚有欠缺。在以后的系统控制论中，分布偏差有效理论起到了很大的作用。的作用。7070 年代可以认为是规范化线性模型的时代。自德国统计学家高斯年代可以认为是
5、规范化线性模型的时代。自德国统计学家高斯(C.F.Gauss(C.F.Gauss，17771777 一一 1855)1855)创立误差与正态分布理论及最小二乘法以来，在创立误差与正态分布理论及最小二乘法以来，在 7070年代，从正态分布的假定，发展到将共变量的条件分布线性模型化。其方法论年代，从正态分布的假定，发展到将共变量的条件分布线性模型化。其方法论的核心是剔除正态性的假定，实现了包括从二项分布到咖码分布的规范线性化。的核心是剔除正态性的假定，实现了包括从二项分布到咖码分布的规范线性化。此理论与概率随机过程理论相结合，促成了对医学数据可进行深入考察的生存此理论与概率随机过程理论相结合，促成
6、了对医学数据可进行深入考察的生存解析法的产生。从分布的假定与数据的偏差这种关系来看，规范化线性模型理解析法的产生。从分布的假定与数据的偏差这种关系来看，规范化线性模型理论与论与 6060 年代的分布偏差有效理论是从不同的角度对推定统计量进行的研究。年代的分布偏差有效理论是从不同的角度对推定统计量进行的研究。8080 年代的前期侧重于渐进理论的研究，高次渐进性理论运用高等数学公式推导年代的前期侧重于渐进理论的研究，高次渐进性理论运用高等数学公式推导出了复杂的展开式，对高次渐进的有效性与充分性进行了探讨。以往很多都是出了复杂的展开式，对高次渐进的有效性与充分性进行了探讨。以往很多都是固定模型的次元
7、，在样本容量极限的条件下研究其确定的变动，结果失去了许固定模型的次元，在样本容量极限的条件下研究其确定的变动，结果失去了许多有用的信息。之后作为改进，在决定理论的结构中用有限的样本进行更为严多有用的信息。之后作为改进，在决定理论的结构中用有限的样本进行更为严密的考察。但由于理论设计忽视了分布模型与数据的吻合，出现了即使模型与密的考察。但由于理论设计忽视了分布模型与数据的吻合，出现了即使模型与实际的拟合受到影响也要一味追求模型近似的精确度等问题，使得为此所进行实际的拟合受到影响也要一味追求模型近似的精确度等问题，使得为此所进行的较严密的计算并没有多大的实际意义。由此可见，如果数据的分布是在模型的
8、较严密的计算并没有多大的实际意义。由此可见，如果数据的分布是在模型之外，单纯依靠数学性的推导是不能指望这种理论会有何应用价值的。在这一之外，单纯依靠数学性的推导是不能指望这种理论会有何应用价值的。在这一方面理论统计学有它的局限性，数理统计学所具有的本质弱点也正在于此。方面理论统计学有它的局限性，数理统计学所具有的本质弱点也正在于此。8080年代后期统计学对计算机的利用引人瞩目，如数据模拟年代后期统计学对计算机的利用引人瞩目，如数据模拟(Bootstrap)(Bootstrap)，回归变量的，回归变量的推定等非参数估计的方法应运而生。与此同期可称为统计学一大成果的，还有推定等非参数估计的方法应运
9、而生。与此同期可称为统计学一大成果的，还有通过运用在通过运用在 7070 年代开发出来的标准信息量，交差检验法，缩小法等，使得平滑年代开发出来的标准信息量，交差检验法，缩小法等，使得平滑化法的拟合有了很大的改进。化法的拟合有了很大的改进。9090 年代对年代对“ “复杂性复杂性“ “研究较为瞩目。这对研究较为瞩目。这对 9090 年代的一些技术性方法的研究起到了年代的一些技术性方法的研究起到了理论先导的作用。其中，特别是对马尔可夫链蒙特卡尔理论理论先导的作用。其中，特别是对马尔可夫链蒙特卡尔理论(Markov(Markov chainchain MonteMonte CarloCarlo：MC
10、MC)MCMC)的研究对建立可实际应用的统计模型开辟了广阔的前景。的研究对建立可实际应用的统计模型开辟了广阔的前景。9090 年代以来，很多应用问题都存在着分析对象比较复杂与正确识别模型结构的年代以来，很多应用问题都存在着分析对象比较复杂与正确识别模型结构的困难。现在根据困难。现在根据 MCMCMCMC 理论，通过使用专用统计软件进行理论，通过使用专用统计软件进行 MCMCMCMC 模拟，可解模拟，可解决许多复杂性问题。此外，得益于决许多复杂性问题。此外，得益于 MCMCMCMC 理论的运用，使得贝叶斯理论的运用，使得贝叶斯(Bayes)(Bayes)统统计得到了再度复兴，以往被认为不可能实施
11、计算的统计方法变得是很轻而易举计得到了再度复兴，以往被认为不可能实施计算的统计方法变得是很轻而易举了。了。另外，按照统计数据整理分析的不同阶段，统计学还区分为记述统计学另外，按照统计数据整理分析的不同阶段，统计学还区分为记述统计学(descriptive(descriptive statistics)statistics)与推测统计学与推测统计学(inferential(inferential statistics)statistics)。从统计数据的收集整。从统计数据的收集整理这一统计记述过程来看，理这一统计记述过程来看，2020 世纪中记述统计学的最大功绩首推世纪中记述统计学的最大功绩首推
12、 19531953 年创立年创立的国际通用的国民收入帐户的国际通用的国民收入帐户(A(A SystemSystem ofof NationalNational AccountsAccounts andand SupportingSupporting TablesTables，国民帐户体系及辅助表，国民帐户体系及辅助表) )，及，及 19681968 年的以国民收入帐户为主，包括了年的以国民收入帐户为主，包括了投入产出表，资金循环表，国民资产负债表，国际收支表的新投入产出表，资金循环表，国民资产负债表，国际收支表的新 SNASNA 体系，以及体系，以及19931993 年的更新概念，扩大兼容性，
13、完善记述功能的改订年的更新概念，扩大兼容性，完善记述功能的改订 SNASNA 体系。作为统计体系。作为统计学源流的学源流的 1717 世纪德国国势学及英国政治算术的统计学思想在世纪德国国势学及英国政治算术的统计学思想在 2020 世纪得到了极世纪得到了极大的发展。大的发展。在在 2020 世纪，如同经济统计学中产生了罗伦斯世纪，如同经济统计学中产生了罗伦斯(Lorenz)(Lorenz)曲线的计测方法，经济的曲线的计测方法，经济的时间序列分析方法，经济预测方法一样，应用于各个领域的应用统计学也有了时间序列分析方法，经济预测方法一样，应用于各个领域的应用统计学也有了长足的发展。但是，自长足的发展
14、。但是，自 9090 年代以来，随着信息科学的发展，统计学的应用环境年代以来，随着信息科学的发展，统计学的应用环境发生了很大的变化，统计学受到了信息科学发展的影响，出现了许多依靠以往发生了很大的变化，统计学受到了信息科学发展的影响，出现了许多依靠以往的统计学的理论所不能解决的新问题。比如，与遗传基因，环境，气象，金融的统计学的理论所不能解决的新问题。比如，与遗传基因，环境，气象，金融等相关联的庞大数据的处理等相关联的庞大数据的处理( (将庞大数据压缩收集后取出有用信息的方法将庞大数据压缩收集后取出有用信息的方法) )；信息；信息社会中有关个人隐私的数据收集与个人隐私保护；计算机互连网的使用使得
15、数社会中有关个人隐私的数据收集与个人隐私保护；计算机互连网的使用使得数据取得方式的改变；统计软件的普及所带来的对数据含意的不求甚解，导致脱据取得方式的改变；统计软件的普及所带来的对数据含意的不求甚解，导致脱离现实的统计模型的滥用等。离现实的统计模型的滥用等。值得注意的是这些新出现的问题都是统计学外部环境发生了变化所带来的问题。值得注意的是这些新出现的问题都是统计学外部环境发生了变化所带来的问题。这些问题并不能通过以往的统计学的理论框架解决，并不能通过单纯地设定数这些问题并不能通过以往的统计学的理论框架解决，并不能通过单纯地设定数学假定，修改概率模型就可以得到数学性的解决。因此，学假定，修改概率
16、模型就可以得到数学性的解决。因此，2020 世纪以来基本成型世纪以来基本成型的统计学的理论框架受到了新的挑战。的统计学的理论框架受到了新的挑战。二、统计学与信息科学二、统计学与信息科学统计学是处理数据的科学。教科书中的记述统计侧重数据的收集加工整理，而统计学是处理数据的科学。教科书中的记述统计侧重数据的收集加工整理，而数理统计侧重数据处理的数理统计侧重数据处理的“ “科学性科学性“ “。一般而言。一般而言“ “科学科学“ “要求有客观性，再观性，普要求有客观性，再观性，普遍性。为表现这种科学性，研究者常喜欢用数学模型。因为数学比较简明，严遍性。为表现这种科学性，研究者常喜欢用数学模型。因为数学比较简明，严谨，比较抽象。数理统计就运用数学工具，记述数据产生的过程，描述概率分谨，比较抽象。数理统计就运用数学工具，记述数据产生的过程，描述概率分布，进行推定，作假定检验，形成了一个比较完整的理论体系。布，进行推定，作假定检验，形成了一个比较完整的理论体系。但是如上所述，数理统计学的基本理论框架产生于但是如上所述，数理统计学的基本理论框架产生于 2020 世纪的世
