第七章 拟合优度检验拟合优度检验的应用n总体分布未知,从样本数据中发总体分布未知,从样本数据中发现规律(现规律(总体分布总体分布),再利用拟),再利用拟合优度检验对合优度检验对假设的总体分布假设的总体分布进进行验证引例引例1】某地区某地区在在1500到到1931年的年的432年间,共爆发了年间,共爆发了299次战次战争,具体数据如下(每年爆发战争,具体数据如下(每年爆发战争的次数可以看作一个随机变量争的次数可以看作一个随机变量X):):战争次数战争次数 X01234 22314248154 发生发生 X 次战争的年数次战争的年数 根据我们对泊松分布产生的一般条件的理根据我们对泊松分布产生的一般条件的理解,可以用一个泊松随机变量来近似描述解,可以用一个泊松随机变量来近似描述每每年爆发战争的次数年爆发战争的次数也就是说,我们可以假也就是说,我们可以假设每年爆发战争次数分布设每年爆发战争次数分布 X 近似泊松分布近似泊松分布现在的问题是:现在的问题是: 上面的数据能否证实上面的数据能否证实 X 具有泊松分布的具有泊松分布的假设是正确的?假设是正确的?【引例引例2】某钟表厂对生产的钟某钟表厂对生产的钟进行精确性检查,抽取进行精确性检查,抽取100个钟个钟作试验,校准作试验,校准24小时后进行检小时后进行检查,将每个钟的误差(快或慢)查,将每个钟的误差(快或慢)按秒记录下来。
按秒记录下来问该厂生产的钟的误差是否服从正态分布?问该厂生产的钟的误差是否服从正态分布?【引例引例3】某工厂制造了一批某工厂制造了一批骰子,声称它是均匀的骰子,声称它是均匀的 为检验骰子是否均匀,要把骰子实地投掷为检验骰子是否均匀,要把骰子实地投掷若干次,统计各点出现的频率与若干次,统计各点出现的频率与1/6的差距问题是:问题是: 得到的数据能否说明得到的数据能否说明“骰子均匀骰子均匀”的假的假设是可信的?设是可信的?K.皮尔逊皮尔逊 解决这类问题的工具是英解决这类问题的工具是英国统计学家国统计学家K.皮尔逊在皮尔逊在1900年发表的一篇文章中介绍了年发表的一篇文章中介绍了 2 检验法拟合优度检验的工具- 2 检验n2 检验法检验法是在总体是在总体 X 的分布未知时,的分布未知时,根据来自总体的样本,检验关于总根据来自总体的样本,检验关于总体分布的假设的一种检验方法体分布的假设的一种检验方法 H0:总体:总体 X 的分布函数为的分布函数为 F(x) 然后根据样本的然后根据样本的经验分布经验分布和所假设的和所假设的理论分布理论分布之间的吻合程度来决定是否接之间的吻合程度来决定是否接受原假设。
受原假设 这种检验通常称作这种检验通常称作拟合优度检验拟合优度检验,它,它是一种是一种非参数非参数检验使用使用 2 检验法检验法对总体分布进行检验时,对总体分布进行检验时,先提出原假设先提出原假设:拟合优度检验的一般步骤1.将总体将总体 X 的取值范围分成的取值范围分成 k 个互不重叠个互不重叠的小区间,记作的小区间,记作A1, A2, , Ak 2.把落入第把落入第 i 个小区间个小区间 Ai 的样本值的个数的样本值的个数记作记作 fi ,称为,称为实测频数实测频数; 所有实测频数所有实测频数之和(之和(f1+ f2+ + fk)等于样本容量)等于样本容量 n3.根据所假设的理论分布,可以算出总体根据所假设的理论分布,可以算出总体X 的值落入每个的值落入每个 Ai 的概率的概率 pi,npi就是落就是落入区间入区间 Ai 的样本值的的样本值的理论频数理论频数皮尔逊引进如下统计量表示皮尔逊引进如下统计量表示经验分布经验分布与与理论分布理论分布之间的差异之间的差异:在理论分布在理论分布已知的条件下已知的条件下,npi是常量是常量实测频数实测频数理论频数理论频数4.观测频数观测频数与与理论频数理论频数比较,判断二者比较,判断二者不符合程度是否由于机会所造成。
不符合程度是否由于机会所造成统计量统计量 的分布是什么的分布是什么?皮尔逊为什么会选用这个统计量皮尔逊为什么会选用这个统计量?两个问题:关于第一个问题,皮尔逊证明了如下关于第一个问题,皮尔逊证明了如下定理定理: 若原假设中的理论分布若原假设中的理论分布 F(x) 已经完全给定,已经完全给定,那么当那么当 n 时,统计量:时,统计量:的分布的分布渐近渐近 (k-1) 个自由度的个自由度的 分布 如果理论分布如果理论分布 F(x) 中有中有 r 个未知参数需用相个未知参数需用相应的估计量来代替,那么当应的估计量来代替,那么当 n 时,统计时,统计量量 的分布渐近的分布渐近 (k-1-r)个自由度的个自由度的 分布皮尔逊定理的几点说明n统计量的选择统计量的选择n自由度的确定自由度的确定n连续性矫正连续性矫正统计量的选择n求求 k 个个 OiTi 之和,之和,显然它们恒等于显然它们恒等于0n求求 k 个个 (OiTi)2 之和,之和,得不出相对的不符合程度得不出相对的不符合程度nOi9、Ti6,OiTi3;Oi49、Ti46,OiTi3前者的不符合程度远大于后者前者的不符合程度远大于后者n求求 k 个个 (OiTi)/Ti2 之和,之和,但仍有问题但仍有问题n如:如:Oi8、Ti5以及以及Oi80、Ti50时时 (OiTi)/Ti 都都等于。
等于统计量的选择n为了解决上述问题,以为了解决上述问题,以 Ti 为权求加权值为权求加权值自由度的确定变量之间存在着一个制约关系:变量之间存在着一个制约关系:故统计量故统计量 渐近渐近 (k-1) 个自由度的个自由度的 分布 在在 F(x) 尚未完全给定尚未完全给定的情况下,每个未知的情况下,每个未知参数用相应的估计量代替,就相当于增加一个参数用相应的估计量代替,就相当于增加一个制约条件,因此,自由度也随之减少一个制约条件,因此,自由度也随之减少一个若有若有 r 个未知参数需用相应的估计量来代替,个未知参数需用相应的估计量来代替,自由度就减少自由度就减少 r 个故统计量故统计量 渐近渐近 (k-1-r) 个自由度的个自由度的 分布 如果根据所给的样本值如果根据所给的样本值 X1,X2, ,Xn算得统算得统计量计量 的实测值落入拒绝域,则拒绝原假设,的实测值落入拒绝域,则拒绝原假设,否则就认为差异不显著而接受原假设否则就认为差异不显著而接受原假设得拒绝域得拒绝域:(不需估计参数不需估计参数)(估计估计 r 个参数个参数)根据根据皮尔逊皮尔逊定理,对给定的显著性水平定理,对给定的显著性水平 ,查查 分布表可得临界值分布表可得临界值 ,使得,使得连续性矫正n当当df1时应做连续时应做连续性矫正,矫正方法如性矫正,矫正方法如下:下: 皮尔逊定理是在皮尔逊定理是在 n 无限增大时推导出来的无限增大时推导出来的,因而在使用时要注意,因而在使用时要注意 n 要足够大要足够大,以及,以及 npi 不太小不太小这两个条件。
这两个条件 根据根据计算实践计算实践,要求,要求 n 不小于不小于50,以及,以及npi 都不小于都不小于 5否则应适当合并区间,使否则应适当合并区间,使 npi 满足这个要求满足这个要求 皮尔逊定理小结皮尔逊定理小结 奥地利生物学家孟德尔进行了长达奥地利生物学家孟德尔进行了长达八年之久的豌豆杂交试验,并根据试八年之久的豌豆杂交试验,并根据试验结果,运用他的数理知识,发现了验结果,运用他的数理知识,发现了分离规律分离规律孟德尔孟德尔 以遗传学上的一项伟大发现为例,说明统计以遗传学上的一项伟大发现为例,说明统计方法在研究自然界和人类社会的规律性时,是方法在研究自然界和人类社会的规律性时,是起着积极的、主动的作用起着积极的、主动的作用例例1】子二代子二代子一代子一代黄色纯系黄色纯系绿色纯系绿色纯系他的一组观察结果为:他的一组观察结果为:黄黄70,绿,绿27近似为近似为2.59:1,与理论值相近与理论值相近 根据他的理论,子二代中,黄、绿之比根据他的理论,子二代中,黄、绿之比 近近似为似为3:1,这里,这里,n=70+27=97,k=2,检验孟德尔的检验孟德尔的3:1理论理论:提出假设提出假设H0: O-T=0 (p1=3/4,p2=1/4)理论频数为:理论频数为: np1,np2实测频数为实测频数为70(黄黄),),27(绿绿)。
自由度为自由度为2-1=1未落入拒绝域未落入拒绝域故认为试验结果符合孟德尔的故认为试验结果符合孟德尔的3:1理论按按 =,自由度为,自由度为1,查表得,查表得由于统计量由于统计量【引例引例1】某地区某地区在在1500到到1931年的年的432年间,共爆发了年间,共爆发了299次战次战争,具体数据如下(每年爆发战争,具体数据如下(每年爆发战争的次数可以看作一个随机变量争的次数可以看作一个随机变量X):):战争次数战争次数 X01234 22314248154 发生发生 X 次战争的年数次战争的年数【例例2】引例引例1,检验每年爆发战争次数分布,检验每年爆发战争次数分布是否服从泊松分布是否服从泊松分布 按参数按参数 为的泊松分布,计算事件为的泊松分布,计算事件X=i 的概的概率率pi ,pi的估计是:的估计是:H0:O-T=0 (X 服从参数为服从参数为 的泊松分布)的泊松分布)根据观察结果,得参数根据观察结果,得参数 的极大似然估计为:的极大似然估计为:解:解:将有关计算结果列表如下将有关计算结果列表如下:2. 因因H0所假设的理论分布中有一个所假设的理论分布中有一个未知参数未知参数 ,故自由度为故自由度为4-1-1=2。
1. 将将npi 5的组予以合并,即将发生的组予以合并,即将发生3次及次及4次战争次战争的组归并为一组的组归并为一组按按 ,自由度为,自由度为4-1-1=2,查表得:,查表得:统计量统计量:未落入拒绝域未落入拒绝域 故认为每年发生战争的次数故认为每年发生战争的次数 X 服从参数为服从参数为 的泊松分布的泊松分布 2 检验的另一应用-独立性检验独立性检验n是指研究是指研究两个或两个以上两个或两个以上的的计数资料计数资料(或属性资料)之间是否相互独立的(或属性资料)之间是否相互独立的假设检验,先假设所观测的各属性之假设检验,先假设所观测的各属性之间没有关联,然后检验这种无关联的间没有关联,然后检验这种无关联的假设是否成立假设是否成立n方法方法1:列联表:列联表 2 检验检验【例例】下表给出不同给药方式与给药效果下表给出不同给药方式与给药效果,问给药方式与给药效果是否有关联问给药方式与给药效果是否有关联检验统计量:检验统计量:?【例例】下表给出不同给药方式与给药效果下表给出不同给药方式与给药效果,求证:给药方式与给药效果有无关联求证:给药方式与给药效果有无关联若事件若事件 A 和事件和事件 B 是相互独立的,则是相互独立的,则P(AB)=P(A)P(B)列联表 2 检验一般步骤1.提出零假设:假设实测数提出零假设:假设实测数与与理论数无差异。
即理论数无差异即H0:OT02.计算理论数:若事件计算理论数:若事件 A 和事件和事件 B 是相互独立的是相互独立的,则则 P(AB)=P(A)P(B)n例如:例如:在给药方式和效果之间是相互独立的前提下,在给药方式和效果之间是相互独立的前提下,计算口服(事件计算口服(事件B)有效(事件)有效(事件A)的)的概率概率 P(BA)P(B)P(A) = (98/193) (122/193)其理论数理论数T1(98/193)(122/193) 193 = (98)(122)/193 n每个理论值用每个理论值用Tij表示,表示,Tij=(i行总数行总数)(j列总数列总数)/总数列联表 2 检验一般步骤3.计算计算 2 值:若值:若 2 2,则拒绝,则拒绝H04.确定确定 df:因为每一行的各理论数受该行总数:因为每一。