《非参数统计概述课件》由会员分享，可在线阅读，更多相关《非参数统计概述课件（86页珍藏版）》请在金锄头文库上搜索。
1、非参数统计,吕光明,WELCOME TO,NONPARAMETRIC STATISTICS,教科书,易丹辉、董寒青，非参数统计：方法与应用，中国统计出版社2009年版。 其他参考书 1.吴喜之，非参数统计，中国统计出版社2006年第2版。 2.希尔德布兰德等，社会统计方法与技术，社会科学文献出版社2005年版。 3.王星，非参数统计，清华大学出版社2009年版。,先修课,最好熟练掌握以下课程： 统计学 、 经济学、高等数学、概率论与数理统计、抽样理论与方法等。,1 导论,1.1 测量的层次（数据的计量尺度） 1.2 统计检验 1.3 参数统计 1.4 非参数统计,1.1 测量的层次（数据的计量
2、尺度）,定类尺度,定序尺度,定距尺度,定比尺度,精 确 程 度,良好,1980,141公斤,休斯顿火箭,俱乐部：,健康状况：,出生年份:,体重：,1、定类尺度 （Nominal Scale）,例如：性别、民族、职业 数据表现为“类别” 各类之间无等级次序 各类别可以用数字代码表示 根据定类尺度得到的数据为分类数据。,定类尺度实例,编码,意见,男 女,同意,不同意,人 种,白 黄 棕 黑,1,2,3,4,定类尺度数据没有顺序和大小区别,2、定序尺度（Ordinal Scale）,例如健康状况、质量等级、教育程度 数据表现为“类别”，有顺序差异 可对等级、大小等排序 未测量出类别之间的准确差值 根
3、据定序尺度得到的数据为顺序数据。,定序尺度实例,编码,定序尺度数据不能测量差别的多少,产品等级,一等品,二等品,三等品,1,2,3,对事物的态度,很满意,满 意,中 立,不满意,反 对,1,2,3,4,5,3、定距尺度 Interval Scale,例如年份、摄氏温度、海拔、时钟、智商得分 数据表现为“数值”，且有计量单位 可以进行加减运算 “0”是只是尺度上的一个点，不代表“不存在” 根据定距尺度得到的数据为间距数据。,定距尺度实例,4、定比尺度 Ratio Scale,例如体重、身高 数据表现为“数值” 可以进行加减、乘除运算 “0”表示“没有”或“不存在” 根据定比尺度得到的数据为比率数
4、据。,定比尺度实例,定比尺度数据可以计算比值,6枚,3枚,定距尺度与定比尺度的区别,定距尺度中“0”表示一个具体数值，不表示“没有”或“不存在”，定比尺度中“0”表示“没有或一无所有”、“不存在” 。 5（F- 50）= 9(C-10) 摄氏与华氏温度转换 定距尺度 - 273.15 -123.15 0 26.85 定比尺度 0K 150K 300K,四种计量尺度的比较,1、四种尺度所包含的信息量是依次递增的，级别由低到高。 2、根据较高层次的计量尺度可以获得较低层次的计量尺度。 3、不同的尺度数据对应这不同数据显示方法和分析方法。,非参数统计,参数统计,1.2 统计检验（参数的假设检验）,1
5、.基本思想 2.零假设和备择假设 3.两类错误 4.假设检验的基本步骤,1.假设检验的基本思想,小概率原理,如果对总体的某种假设是真实的，那么不利于或不支持这一假设的事件A（小概率事件）在一次试验中几乎不可能发生；如果在一次试验中A竟然发生了，就有理由怀疑该假设的真实性，拒绝这一假设。,假设检验的推断类似于反证法。,分析：,2. 原假设与备择假设,原假设,备择假设,又称零假设，指正在被检验的假设，记为,指拒绝原假设后打算要接受的假设，记为,基本形式,检验假设是设的总体而不是样本。 零假设和备择假设是互斥的，它们中仅有一个正确；等号必须出现在零假设中； 最常用的有三种情况：双侧检验、左侧检验和右
6、侧检验。,检验时，假定零假设为真，构造检验统计量、拒绝域和接受域。 检验统计量：我们用来决策（拒绝或不能拒绝零假设）时依据的样本统计量。不同的总体参数适用的检验统计量不同。 拒绝域和接受域：检验统计量取值的集合称为拒绝域，当根据样本得到的检验统计量的值属于该集合时，拒绝零假设。不能拒绝零假设的检验统计量取值的集合称为接受域； 划分拒绝域和接受域的数值称为临界值。,双侧检验的形式,【例】某生产线出产的产品单位重量正常水平应为100克，某日随机抽查100个产品，测得其平均重量为101.5克，标准差为8克。这个抽查结果是否意味着生产过程处于失控状态？,H0： = 100 H1：100,拒绝域和接受域
7、（双侧检验）,右侧检验的形式,【例】某型号汽车每升汽油平均行驶里程为10公里。生产厂家研制了一种新型汽化器以求提高燃料效率。目前正在进行行驶实验，以求通过实验证明新型汽化器可以提高燃料效率。,H0： 10 H1： 10,拒绝域和接受域（右侧检验）,左侧检验的形式,【例】某品牌方便面包装袋上标明，其油炸面饼的重量不少于 100 克。现通过抽取的样本，实际称量面饼重量，检验生产厂家的说明是否有效。,H0： 100 H1： 100,拒绝域和接受域（左侧检验）,零假设和备择假设的选择原则,通常把研究者要证明的假设作为备择假设； 把现状（Status Quo）作为原假设； 把不能轻易否定的假设作为原假设
8、；,零假设和备择假设： 把研究者要证明的假设作为备择假设,某种汽车原来平均每加仑汽油可以行驶24英里。研究小组提出了一种新工艺来提高每加仑汽油的行驶里程。为了检验新的工艺是否有效需要生产了一些产品进行测试。该测试中的零假设和备择假设该如何选取？ 要证明的结论是24，因此零假设和备择假设的选择为： 24 24,思考题,哲学上，可以说“接受”和“拒绝”两个概念对称的，那么，在统计实践中，零假设和备择假设对称吗？,统计上两者不对称，显著性检验的主要目的是拒绝零假设。 这与科学领域的理论发展类似 物理上 日心说牛顿定律相对论。,第一类错误,指拒绝了一个本来是真实的原假设，又称为“弃真”错误或“拒真”错
9、误,犯第一类错误的概率为假设检验的显著性 水平 ，即,3、两类错误与显著性水平,通常取0.01,0.05,0.1。根据确定检验统计量的临界值，从而进一步根据样本观测值和临界值得出检验结论。,双侧检验时,左侧检验时,犯第一类错误的概率,右侧检验时,犯第一类错误的概率,第二类错误,指接受了一个本来是不真实的原假设，又称为“采伪”错误或“取伪”错误,记犯第二类错误的概率为 ，即,1- 为该检验检验不真实零假设的检验功效，又称检验效能（power of a test）/把握度： 其意义是：当两总体确有差别，按规定的检验水准 a 能发现该差别的能力（概率）。 例如1- =0.90，即说明H0不成立，则理
10、论上每100次检验中，在的水准上，平均有90次能拒绝H0（能认为有统计学意义）。,接受区域,假设的总体抽样分布,实际的总体抽样分布,样本均值落在此区间，原假设便不能被拒绝,犯第二类错误的概率 ,以左侧检验为例,接受区域,a,b,实际的总体抽样分布越接近假设的总体抽样分布，犯第二类错误的可能性就越大,假设的总体抽样分布,实际的总体抽样分布,以左侧检验为例,接受区域,a,b,假设的总体抽样分布,实际的总体抽样分布,在样本容量一定的情况下，增大犯第一类错误的概率，则可以缩小犯第二类错误的概率，但不可能两个概率同时减少。,以左侧检验为例,a,b,希望所用的检验方法尽量少犯错误，但不能完全排除犯错误的可
11、能性。理想的检验方法应使犯两类错误的概率都很小，但在样本的容量给定的情形下，不可能使两者都很小，降低一个，往往使另一个增大。,a 与 b 的反向关系,a,- Z,b,b,？,当实际分布的均值为未知时，无法计算出犯第二类错误的概率。因此，我们通常只控制犯第一类错误的概率。,假设的总体抽样分布,以左侧检验为例,找一个不犯错误的检验！？ 控制两种错误概率的方法：增加样本量和N-P原则。 N-P原则：控制犯第一类错误的概率不超过。 显著水平：犯第一类错误的最大概率。,Neymann-Pearson原则,两类错误总结,结论正确（功效）,第二类错误 （概率为 ）,H1 为真,第一类错误 （概率为 ）,拒绝
12、 H0,结论正确,不能拒绝 H0,H0 为真,总体实际情况,结论,例1 某厂生产的螺钉,按标准强度为68克/mm2, 而实际生产的螺钉强度 X 服从 N ( ,3.6 2 ). 若 E ( X ) = = 68, 则认为这批螺钉符合要 求,否则认为不符合要求.为此提出如下假设:,现从该厂生产的螺钉中抽取容量为 36 的样本, 其样本均值为 ,问原假设是否正确?,犯第一类错误的概率 =P(拒绝H0|H0为真),若H0为真, 则,所以,拒绝 H0 的概率为 , 又称为显著性水平, 越大,犯第一类错误的概率越大, 即越显著.,例1 中,H0 不真,即 68, 可能小于68,也可能大于 68, 的大小
13、取决于 的真值的大小.,下面计算犯第二类错误的概率 ,设 = 66, n = 36, = P ( 接受 H0 | H0不真 ),若 = 69,n = 36,取伪的概率较大.,仍取 = 0.05,则,( , 67.118 ) 与 ( 68.882 , + ),因此，接受域为 (67.118, 68.882),现增大样本容量,取 n = 64, = 66, 则,两类错误与零假设和备择假设的选取,H0与H1地位应平等,但在控制犯第一类错误 的概率 的原则下,使得采取拒绝H0 的决 策变得较慎重,即H0 得到特别的保护.,因而,通常把有把握的、有经验的结论作为 原假设,或者尽可能使后果严重的错误成为
14、第一类错误加以控制.,注意,例2：公司设计出一种充气包，这种充气包在发生交通事故时对司机可起到缓冲保护作用。该公司宣称其设计的充气包在发生交通事故瞬间只需不超过0.2秒的时间即可充好气而起到缓冲作用。实践证明，如果其充气时间超过0.2秒，则来不及对司机起到缓冲保护作用而造成伤亡。试对此问题提出合理的原假设 。,1.假设检验的功效的影响因素有哪些？,2.不能拒绝零假设的原因有哪些？,两点讨论,1.假设检验的功效的影响因素有哪些？ 显著性水平、参数的真值、样本大小、检验统计量,2.不能拒绝零假设的原因有哪些？ 证据不足（样本太少）、检验功效低、零假设本身是对的。,4.假设检验的基本步骤,（一）提出
15、假设 （二）构造检验统计量，并确定分布 （三）确定显著性水平 （四）建立拒绝原假设的规则 （五）计算检验统计量并做出结论,提出假设,双侧检验,左侧检验,右侧检验,说 明,提出原假设应本着“保守”或“不轻易拒绝原假设”的原则，即保护零假设原则。 等号总是出现在原假设的一方。,被检验的参数是均值？成数？方差？ 样本是大样本？小样本？ 总体方差是已知？未知？,构造检验统计量并确定分布,构造检验统计量及确定其所服从分布的决定因素：,确定显著性水平,原则,固定第一类错误的概率； 误判的代价尽量小。,通常的做法： 民意测验： = 0.1 市场调查、医药等领域： = 0.05 质量控制： = 0.01,建立拒绝原假设的规则,方法一,方法二,比较计算的检验统计量与由水平查表确定的临界值的大小,比较观测到的显著性水平P值与事先确定的显著性水平值的大小,接受或拒绝原假设的判定方法有：,建立拒绝原假设的规则,接受域,（方法一）,双侧检验时，拒绝域在两侧，检验统计量小于下侧临界值或大于上
