第三章 假设检验,学习目的和要求 学习重点 学习难点 教学方法 授课时数 基本内容,学习目的和要求,目的和要求： 假设检验的基本概念，理解Neyman-Pearson基本思想在此基础上，掌握一致最优势检验、一致最优势无偏检验的数学方法、掌握多参数指数型分布族的假设检验、似然比检验、U统计量检验和秩检验学习重点,1 、 Neyman-Pearson基本思想 2、几种类型的假设检验的基本思想学习难点,秩检验,教学方法,,讨论,讲授,授课时数,8学时,基本内容,第一节 基本概念 第二节 Neyman-Peason引理 第三节 一致最优势检验 第四节 一致最优势无偏检验 第五节 多参数指数型分布族的假设检验 第六节 似然比检验、U统计量检验、秩检验,什么是假设检验?,在很久以前的一次有各方人士参加的社交聚会中,一位女士为活跃气氛,声称她能区分在熬好的咖啡中，是先加奶还是先放糖众人不信，于是有爱凑热闹的人弄来8杯加了奶，放了糖的咖啡请该女士鉴别，结果该女士判断正确7杯，错误1杯于是很多人都承认该女士的鉴别能力，但是也有一些人却固执地认为该女士既然有鉴别能力，应该都说对，不应该猜错1杯，7对1错的结果完全是瞎蒙出来的。
两派人争执不下，正好也出席联欢会的一位统计学者，他认为该问题很有意思，思索良久，写出了推理思路假设检验相关概念,定义1、设（Ω，F，P ）为一统计结构，则P的非空子集称为假设，在参数分布族中 时, 的非空子集称为假设定义2、在一个假设检验问题中常涉及两个假设所要检验的问题称为原假设与原假设不相容的假设称为备择假设在参数分布族中,原假设和备择假设分别为：,定义3、在检验问题中，所谓检验法则（或称检验法、或检验）就是设法把样本空间划分成不相交的两个可测集W称为检验的拒绝域,定义4、,,,,,,在参数统计结构中,定义5 称样本值落在拒绝域的概率为检验的势函数，记为,在 时， ， 是检验犯第一类错误的概率 在 时， ， 是检验犯第二类错误的概率定义6 检验的水平,Neyman-Pearson假设检验理论的基本思想，就是使得犯第一类错误的概率在某一个范围内，然后寻找使犯第二类错误的概率尽可能小的检验定义7 检验函数,其势函数为,定义8 设 是定义在P上的可测函数， 满足条件 ，则称 为随机化检验函数。
其势函数为,第二节 Neyman-Pearson基本引理,定义（MPT）：在检验问题 中，设 是水平为 的检验，如果对任意一个水平为 的检验 ，都有,则称检验 是水平为 的最优势检验，记为MPT(most powerful test),定理（N-P基本引理）,设 和 是可测空间 上两个不同的概率测度，关于某个 有限的测度 ，有,设原假设和备择假设分别为:,（1）对给定的水平 存在一个检验函数 及常数k,使得,则,（2）满足该条件的检验函数 是水平为 的MPT，反之，如果 是水平为 的MPT，则一定存在常数k,使得 满足上式.,注1,满足该定理条件的检验函数 通常称为似然比检验函数（或称为概率比检验函数）如,定义似然检验比函数,注2,在似然比函数具有连续分布函数时，MPT检验函数可以取为非随机化的形式,其中k由 确定,若似然比函数为离散型随机变量时，可在集合 实施随机化MPT函数可取为,例题,设样本是来自正态总体，考虑如下的假设：,在水平为 时，构造似然比统计量,则MPT的拒绝域具有形式,令,即可,此题中若 呢?,例题,设样本来自Poisson分布族,在水平为 时，构造似然比统计量,取统计量,由N-P基本引理，检验函数为,关于简单假设对简单假设的检验问题，N-P基本引理给出了令人满意的解决方案。
在实际问题中，往往出现的是复合假设的情况定义（UMPT）：在检验问题 中，设 是水平为 的检验，如果对任意一个水平为 的检验 ，都有,则称检验 是水平为 的一致最优势检验，记为UMPT(uniformly most powerful test),一致最优势检验问题(UMPT),在某些情况下,UMPT可以直接从N-P引理推出,性质1 设 是 检验, 是的 子集,如果 是 的UMPT,则 是 的UMPT性质2 设 是 检验，则 是 的UMPT的充要条件是，对每一个 ， 是 的MPT性质3 设 是 检验，假设对某个 的 和对某一个 ， 都是 的MPT，则 也是 的UMPT如果简单原假设对简单备择假设的检验问题的MPT不依赖于备择假设的具体数值，则可适当扩大备择假设；而当势函数是单调函数时，也可适当扩大原假设反之，对于复合假设检验问题，MPT的 依赖于备择假设中的 , 则UMPT不一定存在。
对下面几种检验问题进行讨论:,类型III,IV一般无UMPT,所以不讨论类型I，II类似，V过于复杂，且不实用,所以只讨论类型I即可定义：设 是含有实参数 的概率密度族，其中 是实直线上的一个区间如果存在实值统计量T(X)，使得对任意 ，都有 （1）概率分布 与 是不同的； （2）似然比 是T(x)的单调函数，则称概率密度族 关于T(x)具有单调似然比MLR(montone likelihood ratio)如单数指数型分布族,若Q函数是单调函数，则,是T(x)的单调函数,定理：设单参数概率密度族关于实值统计量T(x)具有非降MLR，则对于单边假设检验问题（I），存在水平为a的UMPT检验函数,r由下式确定,同学们请参考例3.5（P189),所以在很多情况下，对于一个复合假设的检验问题，UMPT不存在．所以必须找出构造检验法（不管是简单假设还是复合假设）的一般方法． 人们提出了似然比检验方法．,似然比检验,设X=(X1, X2, …, Xn) 的分布密度函数是p(x;θ),对于简单假设：,检验问题的似然比为：,对于复合假设：,我们可定义,这里， θ0和θ1分别是H0和H1成立时， θ的MLE。
P(x;θ1)是备择假设成立时,观察到样本点x的可能性的一个度量; P(x;θ0)是原假设成立时,观察到样本点x的可能性的一个度量.在λ(x)比较大时,备择假设成立观察到样本点x的可能性比较大,因此可拒绝原假设.,故检验的拒绝域可设为:,请同学们参考例题3.14(P220),一般来说,为了更好地确定c的值,要对似然比检验函数的分布形式进行研究,但似然函数一般没有确定的分布形式和分布规则.,1938年,统计学家Wilks研究了似然比统计量的极限分布,并得到了一个重要的定理定理3.18(P222),其中， 是参数 的MLE原假设成立时,例题3.16(P225),例题,样本 且全部样本独立.要检验假设,记,则,所以大样本似然比检验有否定域,非参数统计结构的假设检验问题,前述各种检验方法基本上适用于参数统计结构，这些方法往往要求总体分布族的密度函数的数学形式已知，且只含有限个未知参数，但有些时候，人们难于由经验或某种理论得到总体的参数统计结构，而只能得到非参数统计结构因此有必要寻求非参数统计结构的检验方法游程检验,检验随机性的一个重要方法。
Bernoulli实验：掷一个硬币，以概率p得正面（记为1)，以概率1-p得反而（记为0)得到下面的结果: 00000001111110000111100,称连在一起的0或者1为游程（run），则上面这组数中有3个0游程，2个1游程，总共有5个游程(R=5)0的总个数m=13,1的总个数为n=10记总的实验次数为N,N=m+n由常识得知，如果这个实验是随机的，则不大可能出出太多的1或0的游程原假设成立时，算出 或 的值，也就可以做检验了,在m或n不大时，可直接计算得出而当样本很大时，即 时，在零假设下,可以借助于正态分布表得到p值和检验结果，在给定水平a后，可以用下面的近似公式来得到临界值,在实际问题中，不一定都碰到只有0或1所代表的二元数据，但是可以把它转换成二元数据来分析例：在工厂的质量管理中，生产出来的20个元件的某一尺寸按顺序为: 12.27,9.92,10.81,11.79,11.87,10.90,11.22 10.80,10.33,9.30,9.81,8.85,9.32,8.67,9.32 9.53,9.58,8.94,7.89,10.77(cm),我们想知道生产出来的尺寸变化是否只是由于随机因素，还是有其它非随机因素。
先找出中位数9.695,把大于中位数的记为1,小于中位数的记为0,于是得到一串1和0 11111111100000000001 此时R=3 m=n=10 P(R=3)=P(R=2)+P(R=3)=0.00011 在给定a水平较小的情况下，如果原假设成立，则R=3的概率很小所以原假设不成立，可以说，在生产过程 中有非随机性因素在起作用把所有数目转换成0或者1失去了一些信息，但是此方法对于检验随机性来说是一个简单易行的方法符号检验法,在有了一个样本之后,要知道它所代表的总体的”中心”在哪里例如，在对人们的收入进行了抽样之后，就自然要涉及“人均收入”和“中间收入”等概念这就是统计中的对总体的均值、中位数和众数等位置参数的推断假定用总体中位数M来表示中间位置，这意味着样本点取大于M的值的概率与小于M的概率应该相等如果排除样本点等于M的情况，该概率应就0.5X为连续型变量时，样本点等于M的概率为零；X若为离散型，一些样本点可能等于M，则在符号检验时，去掉这些点，同时相应减少n的值 这样M的确是有关总体的中位数（零假设），每一个样本点都以0.5的概率小于M,也以0.5的概率大于M大于M的样本点个数S+与小于S-都服从二项分布B(n,0.5)， S+和S-都可以做检验统计量。
取零假设 ，则S+和S-分别是这个差值 大于零（正号）和小于零（负号）的个数，所以此检验称为符号检验（sign test)以单边检验为例,当S+的取值S+很小时（即只有少数观察值大于M0),否定原假设，备择假设更为合理参考资料,1 陈希孺. 非参数统计.上海：上海科学技术出版社，1989. 2 吴喜之. 非参数统计. 中国统计出版社,1999. 3 Lehman E L. Testing Statistical Hypotheses(Second Edition). New York：John Wiley &Sons,1986.,。