《第八讲假检验》由会员分享，可在线阅读，更多相关《第八讲假检验（28页珍藏版）》请在金锄头文库上搜索。
1、第八讲第八讲 假设检验假设检验一、基本概念一、基本概念二、二、Neyman-Pearson 引理引理三、一致最优势检验三、一致最优势检验一、基本概念一、基本概念在在自然科学和社会科学等中，常常要对某自然科学和社会科学等中，常常要对某些重要问题做出回答：些重要问题做出回答：是是或或否否。如如月球比地球月球比地球早早形成吗？形成吗？ 一种新药对某种病有效吗？一种新药对某种病有效吗？ 某种某种股票会张吗？股票会张吗？新推出的电视节目收视率高吗？新推出的电视节目收视率高吗？等等。等等。为了回答这些问题，为了回答这些问题，我们需要对感兴趣我们需要对感兴趣的的问题进行试验或观察获得相关数据，问题进行试验或
2、观察获得相关数据，根据这根据这些数据决定些数据决定是是或或否否的过程称为的过程称为假设检验假设检验。(Hypothesis Testing)在在这节，给出一般的这节，给出一般的Neyman-Pearson假设假设检验构架。检验构架。原假设和备择假设原假设和备择假设布或布或关于参数关于参数 的推测，的推测，称为称为假设假设，其中其中 是是 的非空真子集。的非空真子集。在在一个假设检验中，常涉及两个假设。一个假设检验中，常涉及两个假设。所所要检验的假设称为要检验的假设称为原假设原假设或或零假设零假设，记记为为 。而与而与 不相容的假设，称为不相容的假设，称为备择假设备择假设或或对立对立假设假设，记
3、为记为 。对参数统计模型对参数统计模型 而而言，原假设和备择假设这对矛盾的统一体言，原假设和备择假设这对矛盾的统一体称为称为假设检验问题假设检验问题。在在假设检验问题中，假设检验问题中，不相交的非空子集，不相交的非空子集，一定成立。一定成立。保留这个的灵活性，保留这个的灵活性，不仅是理论的不仅是理论的需要，需要，也有其实际意义。也有其实际意义。则称则称为为简单假设简单假设(Simple Hypothesis)， 否则称为否则称为复复合假设合假设(Composite Hypothesis)，对对备择假设也有备择假设也有简单假设和复合假设。简单假设和复合假设。拒绝域、接受域、检验统计量和检验函数拒
4、绝域、接受域、检验统计量和检验函数检验一个假设，就是根据某一法则在原检验一个假设，就是根据某一法则在原假设和备择假设之间做出选择，假设和备择假设之间做出选择，而而基于样本基于样本做出拒绝做出拒绝 或接受或接受 所依赖的法则称为所依赖的法则称为检验检验。这样一个检验就等同于将样本空间分成这样一个检验就等同于将样本空间分成两个互不相交的子集两个互不相交的子集 和和 ，绝绝 ，称称 为为拒绝域拒绝域，(Rejection Region)称称为为接受域接受域(Acceptance Region)。 这样检验和拒绝这样检验和拒绝域域就建立起一一对应关系。就建立起一一对应关系。为了确定拒绝域，为了确定拒绝
5、域，往往根据问题的直观背往往根据问题的直观背景，景，寻找合适的统计量寻找合适的统计量 ，要要能由统计量能由统计量 确定出拒绝域确定出拒绝域 ，这样的统这样的统计量计量 称为称为检验统计量检验统计量(Test Statistic)。为了便于描述拒绝域及数学理论上的需要，为了便于描述拒绝域及数学理论上的需要，有必要引入函数有必要引入函数它是拒绝于上的示性函数，它是拒绝于上的示性函数，称其为称其为检验函数检验函数。种检验函数也称为非随机化的，种检验函数也称为非随机化的， 而随机化的检而随机化的检验函数的定义是：验函数的定义是：这这在在随机化检验时，随机化检验时，有了样本有了样本 后，后，计算计算若若
6、两类错误、功效和功效函数两类错误、功效和功效函数由于样本时随机的，由于样本时随机的， 进行检验时可能犯进行检验时可能犯两类错误，两类错误，其一是当其一是当 为真时，却拒绝为真时，却拒绝 ，称为称为第一类错误第一类错误， 其概率为其概率为其二是当其二是当 为假时，却接受为假时，却接受 ， 称为称为第二类第二类错误错误，其概率为其概率为定义定义8.1一个检验的一个检验的功效功效(Power)定义为当定义为当 假假时拒绝时拒绝 的概率，的概率，即即而第一类错误和功效可以看成函数而第一类错误和功效可以看成函数的不同取值，的不同取值，这个函数称为这个函数称为功效函数功效函数。(Power Functio
7、n)检验的水平检验的水平当当样本容量样本容量 固定时，固定时，要减少犯第一类错要减少犯第一类错误的概率，误的概率，就会增大犯第二类错误的概率；就会增大犯第二类错误的概率；反反之，之，若要减少犯第二类错误的概率，就会增大若要减少犯第二类错误的概率，就会增大犯第一类错误的概率。犯第一类错误的概率。即就是说当样本容量固即就是说当样本容量固定时，定时，不可能同时减少犯两类错误的概率，不可能同时减少犯两类错误的概率， 这这是一对不可调和的矛盾。是一对不可调和的矛盾。Neyman-Pearson检验原理就是控制犯第一检验原理就是控制犯第一类类错误的概率在给定的范围内，错误的概率在给定的范围内，寻找检验使得
8、寻找检验使得犯第二类错误的概率尽可能的小，犯第二类错误的概率尽可能的小，即就是使检即就是使检验的功效尽可能的大。验的功效尽可能的大。这样就是在给定一个较这样就是在给定一个较小的数小的数 (一般取为一般取为0.01,0.05,0.1等等)，在满足在满足的的检验函数类中，检验函数类中，寻找使得功效寻找使得功效尽可能大的检验函数。尽可能大的检验函数。则称则称 是一个是一个水水平平( Level)为为 的检验。的检验。根据这个定义，根据这个定义， 水平不唯一。水平不唯一。若若 是水平是水平为为 的检验，的检验，则对任何满足则对任何满足 的的 ，也是水平为也是水平为 的检验。的检验。称称为为检验检验 的
9、的大小大小(Size)或或真实水平真实水平。实用上当提到一个检验的水平时，实用上当提到一个检验的水平时，一般是一般是指它的真实水平。指它的真实水平。二、二、 Neyman-Pearson 引理引理设统计模型为设统计模型为 ，考虑检验问题考虑检验问题比检验比检验(Likelihood Ratio Test)。对较大对较大 拒绝原假设拒绝原假设 的检验称为的检验称为似然似然定义定义似然比似然比(Likelihood Ratio)为为是统计是统计量。量。在这节，我们先讨论简单原假设对简单备择在这节，我们先讨论简单原假设对简单备择假设的检验问题，假设的检验问题，设统计模型为设统计模型为 ，下节讨论较复
10、杂的检验问题。下节讨论较复杂的检验问题。即参数空间仅包含两个参数，即参数空间仅包含两个参数，所考虑的检验问所考虑的检验问题为题为比较两个检验比较两个检验 的优劣的一个自然的优劣的一个自然（1）的准则就是比较它们功效的大小。的准则就是比较它们功效的大小。若若根据这点我们有所谓最优的根据这点我们有所谓最优的检验定义如下。检验定义如下。定义定义8.2 在检验问题在检验问题(1)中，中，的的检验，检验，有有成立，成立，(Most Powerful Test)最优功效检验最优功效检验，简记为简记为MPT。对于检验问题对于检验问题(1)，下面的下面的N-P引理不但彻底解决了检验问题引理不但彻底解决了检验问
11、题(1) 的的而且还给出了构造而且还给出了构造MPT检检验的方法。验的方法。虽然这个引理仅针对检验问题虽然这个引理仅针对检验问题(1)，但它对解决复合假设检验问题最优检验的存在但它对解决复合假设检验问题最优检验的存在起到非常重要的作用。起到非常重要的作用。似然比为似然比为MPT的存在问题，的存在问题，规定：规定：就检验问题就检验问题(1)，(1)满足满足（2）（3）(2)引理引理8.1(Neyman-Pearson引理引理)注注:（1）MPT的的检验统计量可取为检验统计量可取为非随机化的形式非随机化的形式这说明此种情形下这说明此种情形下引理的证明可参看引理的证明可参看高等统计学高等统计学(郑忠
12、国郑忠国)。（2）MPT的的检验统计量检验统计量具有形式具有形式由于没有给出由于没有给出N-P引理的证明，引理的证明， 关于关于具有这种形式的原因解释如下：具有这种形式的原因解释如下：（5）MPT的检验的检验统计量未必统计量未必具有形式具有形式如果对给定的如果对给定的 ，存在存在k恰有恰有（6）则则MPT的检验统计量具有形式的检验统计量具有形式(6)，即具有形，即具有形为为 的拒绝域。的拒绝域。的分布函数是阶梯函数，的分布函数是阶梯函数，但由于但由于故可能不存在故可能不存在k使得使得成立，成立， 却只能找到却只能找到k有有就有必要改变就有必要改变可令可令注意这样的做法是合适的，注意这样的做法是
13、合适的， 仍具有仍具有N-P引引理中理中MPT的形式。的形式。从而可得所待定的从而可得所待定的r为为由于由于即即因此此时的水平为因此此时的水平为 的的MPT是随机检验，检验是随机检验，检验统计量具有式统计量具有式(5)。由于当由于当 时，时，所以式所以式(5)更具一般性，包括了式更具一般性，包括了式(6)。例例8.1的的简单样本。简单样本。求检验问题求检验问题解解由由N-P引理知，引理知，MPT的拒绝域具有形式的拒绝域具有形式似然比统计量为似然比统计量为由于由于故故有有这样这样拒绝域为拒绝域为 。注意这个例子的注意这个例子的MPT仅与水平仅与水平 有关，有关，而与而与备择备择假设中假设中 的具
14、体取值无关，只要的具体取值无关，只要 。作为课后练习，作为课后练习，试求试求原假设不变而备择假设原假设不变而备择假设改为改为 时的时的MPT。例例8.2样本，样本，试求检验问题试求检验问题解解 似然比统计量为似然比统计量为调减函数。调减函数。 根据根据N-P引理，水平为引理，水平为 的的MPT为为例如取例如取 ，若若给定给定则由则由Poisson分布表，有分布表，有从而可取从而可取k=5， 因此有因此有故故水平为水平为 的的MPT的检验统计量为的检验统计量为拒绝原假拒绝原假设；设；当当 时，时，则则接受原假设；接受原假设；当当时，时，做一次成功概率为做一次成功概率为0.548384的的Binomial试验，试验，若试验成功，则拒绝原假设，若试验成功，则拒绝原假设，若试验失败，则接受原假设。若试验失败，则接受原假设。这样当抽样所得的这样当抽样所得的 ，
