统计学发展概况 由于人类的统计实践是随着计数活动而产生的,因此,统计发展史可以追溯到远古的原始社会,也就是说距今足有五千多年的漫长岁月但是,能使人类的统计实践上升到理论上予以概括总结的程度,即开始成为一门系统的学科统计学,却是近代的事情,距今只有三百余年的短暂历史统计学发展的概貌,大致可划分为古典记录统计学、近代描述统计学和现代推断统计学三种形态 一、古典记录统计学古典记录统计学形成期间大致在十七世纪中叶至十九世纪中叶统计学在这个兴起阶段,还是一门意义和范围不太明确的学问,在它用文字或数字如实记录与分析国家社会经济状况的过程中,初步建立了统计研究的方法和规则到概率论被引进之后,才逐渐成为一项较成熟的方法最初卓有成效地把古典概率论引进统计学的是法国天文学家、数学家、统计学家拉普拉斯(P.S. Laplace,1749~1827)因此,后来比利时大统计学家凯特勒指出,统计学应从拉普拉斯开始一)拉普拉斯的主要贡献1、发展了概率论的研究拉普拉斯第一种关于概率论的表述发表于1774年从1812年起,先后出过四版《概率分析理论》,是他的代表作书中,拉普拉斯最早系统地把数学分析方法运用到概率论研究中去,建立了严密的概率数学理论。
该书不仅总结了他自己过去的研究,而且还总结了前一代学者研究概率论的成果,成为古典概率论的集大成者2、推广了概率论在统计中的应用由于拉普拉斯是通过结合天文学、物理学的研究来从事概率研究的,所以,他能相当自觉、相当明确地指出:概率论能在广泛范围中应用,能解决一系列的实际问题他在实际推广中的成绩是多方面的,主要表现在人口统计、观察误差理论和概率论对于天文问题的应用1809~1812年,他结合概率分布模型和中心极限思想来研究最小二乘法,首次为统计学中这项后来最常用的手段奠定了理论基础3、明确了统计学的大数法则 拉普拉斯认为:“由于现象发生的原因,是为我们所不知或知道了也因为原因繁复而不能计算;发生原因又往往受偶然因素或无一定规律性因素所扰乱,以至事物发展发生的变化,只有进行长期大量观察,才能求得发展的真实规律概率论则能研究此项发展改变原因所起作用的成份,并可指明成份多少这是他通过天文学上的研究后所得的体会他发现在观察天体运动现象中,当次数足够多时,能使个体的特征趋于消失,而呈现出某种同一现象他指出这其中一定存在着某些原因,而非出于偶然4、进行了大样本推断的尝试 在统计发展史上,人口的推算问题,多少年来成为统计学家耿耿于怀的难题。
直到十九世纪初,拉普拉斯才用概率论的原理迈出了关键的一步在理论上,1781年拉普拉斯在“论概率”一文中,建立了概率积分,为计算区间误差提供了有力手段1781~1786年提出“拉普拉斯定理”(中心极限定理的一部分),初步建立了大样本推断的理论基础在实践上,拉普拉斯于1786年写了一篇关于巴黎人口的出生、婚姻、死亡的文章,文中提出根据法国特定地方的出生率来推算全国人口的问题他抽选了30个市县,进行深入调查,推算出全国总人口数尽管其方法和结果还相当粗糙,但在统计发展史上,他利用样本来推断总体的思想方法,为后人开创了一条抽样调查的新路子另一位对概率论与统计学的结合研究上作出贡献的是德国大数学家高斯(,1777~1855)二)高斯的主要贡献1、建立最小二乘法在学生时代,高斯就开始了最小二乘法的研究1794年,他读了数学家兰伯特(J.H. Lambert,1728~1777)的作品,讨论如何运用平均数法,从观察值(Yi ,xi)中确定线性关系Y=α+βx中的二个系数1795年,设想了以残差平方和Σ(Yi -a-bxi )2为最小的情况下,求得的a与b来估计α与β1798年完成最小二乘法的整个思考结构,正式发表于1809年。
2、发现高斯分布 调查、观察或测量中的误差,不仅是不可避免的,而且一般是无法把握的高斯以他丰富的天文观察和在1821~1825年间土地测量的经验,发现观察值x与真正值μ的误差变异,大量服从现代人们最熟悉的正态分布他运用极大似然法及其他数学知识,推导出测量误差的概率分布公式误差分布曲线”这个术语就是高斯提出来的,后人为了纪念他,称这分布曲线为高斯分布曲线,也就是今天的正态分布曲线高斯所发现的一般误差概率分布曲线以及据此来测定天文观察误差的方法,不仅在理论上,而且在应用上都有极重要的意义 二、近代描述统计学近代描述统计学形成期间大致在十九世纪中叶至二十世纪上半叶由于这种“描述”特色由一批原是研究生物进化的学者们提炼而成,因此历史上称他们为生物统计学派生物统计学派的创始人是英国的高尔登(F. Galton,1822~1911),主将是高尔登的学生毕尔生(K.Pearson,1857~1936)一) 高尔登的主要贡献1、初创生物统计学为了研究人类智能的遗传问题,高尔登仔细地阅读了三百多人的传记,以初步确定这些人中间多少人有亲属关系以及关系的大致密切程度然后再从一组组知名人士中分别考察,以便从总体上来了解智力遗传的规律性。
为了获得更多人的特性和能力的统计资料,高尔登自1882年起开设“人体测量实验室”在连续六年中,共测量了9337人的“身高、体重、阔度、呼吸力、拉力和压力、手击的速率、听力、视力、色觉及个人的其它资料”,他深入钻研那些资料中隐藏着的内在联系,最终得出“祖先遗传法则”他努力探索那些能把大量数据加以描述与比较的方法和途径,引入了中位数、百分位数、四分位数、四分位差以及分布、相关、回归等重要的统计学概念与方法1901年,高尔登及其学生毕尔生在为《生物计量学》(Biometrika)杂志所写的创刊词中,首次为他们所运用的统计方法论明确提出了“生物统计”(Biometry)一词高尔登解释道:“所谓生物统计学,是应用于生物学科中的现代统计方法”从高尔登及后续者的研究实践来看,他们把生物统计学看作为一种应用统计学,其研究范围,既用统计方法来研究生物科学中的问题,更主要的是发展在生物科学应用中的统计方法本身2、对统计学的贡献(1) 关于变异变异是进化论中的重要概念,高尔登首次以统计方法加以处理,最终导致了英国生物统计学派的创立1889年,高尔登把总体的定量测定法引入遗传研究中高尔登通过总体测量发现,对对象或植物的每一个种别都可以决定一个平均类型。
在一个种别中,所有个体都围绕着这个平均类型,并把它当作轴心向多方面变异这就是他在《遗传的天赋》一书中提出的“平均数离差法则”2)关于“相关”统计相关法是由高尔登创造的关于相关研究的起因,最早是他因度量甜豌豆的大小,觉察到子代在遗传后有“返于中亲”的现象1877年他搜集大量人体身长数据后,计算分析高个子父母、矮个子父母以及一高一矮父母的后代各有多少个高个子和矮个子子女,从而把父母高的后代高个子比较多、父母矮的其后代高个子比较少这一定性认识具体化为父母与子女之间在身长方面的定量关系1888年,高尔登在“相关及其主要来自人体的度量”一文中,充分论述了“相关”的统计意义,并提出了高尔登相关函数(即现在常用的相关系数)的计算公式⑶ 关于“回归”1870年,高尔登在研究人类身长的遗传时发现:高个子父母的子女,其身长有低于他们父母身长的趋势;相反,矮个子父母的子女,其身长却往往有高于他们父母身长的趋势,从人口全局来看,高个子的人“回归”于一般人身长的期望值,而矮个子的人则作相反的“回归”这是统计学上“回归”的最初涵义1886年,高尔登在论文“在遗传的身长中向中等身长的回归”中,正式提出了“回归”概念。
二)毕尔生的主要贡献对生物统计学倾注心血,并把它上升到通用方法论高度的是毕尔生毕尔生的一生是统计研究的一生,他对统计学的主要贡献有:1、变异数据的处理 生物统计中所取得的数据常常是零乱的,很难看出其所以然为此,毕尔生首先探求处理数据的方法,他所首创的频数分布表与频数分布图如今已成为统计方法中最基本的手段之一2、分布曲线的选配十九世纪以前,人们认为以频数分布描述变异值,最终都表现为正态分布曲线但是,毕尔生从生物统计资料的经验分布中,注意到许多生物上的度量不具有正态分布,而常常呈偏态分布,甚至倾斜度很大;也不一定都是单峰,也有非单峰的说明“唯正态”信念并不可靠1894年,他在“关于不对称频率曲线的分解”一文中首先把非对称的观察曲线分解为几个正态曲线他利用所谓“相对斜率”的方法得到12种分布函数型,其中包括正态分布、矩形分布、J型分布、U型分布或铃型分布等后来经R. 费雪的进一步研究,毕尔生分布曲线中第Ⅰ、Ⅱ、Ⅲ、Ⅳ及Ⅶ型出现在小样本理论内尽管,毕尔生的曲线体系的推导方法是缺乏理论基础的,但也给人们不少启迪3、卡方检验的提出1900年毕尔生独立地又重新发现了分布,并提出了有名的“卡方检验法”(Test of )。
毕尔生获得了统计量:=∑(实际次数-理论次数)2 /理论次数,并证明了当观察次数充分大时,总是近似地服从自由度为(k-1)的分布,其中k表示所划分的组数在自然现象的范围内,检验法运用得很广泛后经R.费雪补充,成为了小样本推断统计的早期方法之一4、回归与相关的发展 回归与相关,经毕尔生进一步作了发展后,这两个出自于生物统计学领域的概念,便被推广为一般统计方法论的重要概念 1896年,他在“进化论的数理研究: 回归、遗传和随机交配”一文中得出至今仍被广泛使用的线性相关计算公式:毕尔生还得出回归方程式:=a+bx (其中a与b根据最小二乘法计算获得),以及回归系数的计算公式:当y随x而变时,∑(x-)(y-)/∑(x-)2;当x随y而变时,∑(x-)(y-)/∑(y-)2此外,在1897~1905年,毕尔生还提出复相关、总相关、相关比等概念,不仅发展了高尔登的相关理论,还为之建立了数学基础 三、现代推断统计学现代推断统计学形成期间大致是二十世纪初叶至二十世纪中叶人类历史进入二十世纪后,无论社会领域还是自然领域都向统计学提出更多的要求各种事物与现象之间繁杂的数量关系以及一系列未知的数量变化,单靠记录或描述的统计方法已难以奏效。
因此,相继产生“推断”的方法来掌握事物总体的真正联系以及预测未来的发展从描述统计学到推断统计学,这是统计发展过程中的一个大飞跃统计学发展中的这场深刻变革是在农业田间试验领域中完成的因此,历史上称之为农业试验学派对现代推断统计的建立贡献最大的是英国统计学家哥塞特(W.S. Gosset,1876~1937)和费雪(R.A. Fisher,1890~1962)一) 哥塞特的t检验与小样本思想1908年,哥塞特首次以“学生”(Student)为笔名,在《生物计量学》杂志上发表了“平均数的概率误差”由于这篇文章提供了“学生t检验”的基础,为此,许多统计学家把1908年看作是统计推断理论发展史上的里程碑后来,哥塞特又连续发表了“相关系数的概率误差”(1909)、“非随机抽样的样本平均数分布”(1909)、“从无限总体随机抽样平均数的概率估算表”(1917),等等他在这些论文中,第一,比较了平均误差与标准误差的两种计算方法;第二,研究了泊松分布应用中的样本误差问题;第三,建立了相关系数的抽样分布;第四,导入了“学生”分布,即t分布这些论文的完成,为“小样本理论”奠定了基础;同时,也为以后的样本资料的统计分析与解释开创了一条崭新的路子。
由于哥塞特开创的理论使统计学开始由大样本向小样本、由描述向推断发展,因此,有人把哥塞特推崇为推断统计学的先驱者二) R. 费雪的统计理论与方法R. 费雪一生先后共写作论文329篇在世界各国流传最广泛的统计学著作是:1925年出版的《供研究人员用的统计方法》、1930年出版的《自然选择的遗传原理》、1935年出版的《试验设计》、1938年与耶特斯合著出版的《供生物学、农学与医学研究用的统计表》、1938年出版的《统计估计。