《中科院高等数理统计第三章》由会员分享，可在线阅读，更多相关《中科院高等数理统计第三章（39页珍藏版）》请在金锄头文库上搜索。
1、2013 10 24 1 第三章 假设检验 Hypothesis Testing 3 1 基本概念 本章介绍的关于假设检验理论是 19 世纪 20 30年 代 由 统 计 学 家J Neyman 2 0010 Hv s H 其 UMP 检验仍然不存在 3 3 一致最优无偏检验 UMPU 检验 上节已经看到 许多情形下UMP检验不存在 若限制在某个固定类的检验中 可以找到一个 功效最好的检验 本节考虑限制在无偏检验类 中去寻找最优检验 定 义 3 3 1 给 定 水 平 对 检 验 问 题 0011 Hv sH 称检验 在水平 下是无偏的若 0 且 1 注 无偏检验的含义为 原假设成立时被否 定
2、的概率不超过原假设不成立时被否定的概 率 定义 3 3 2 若对任水平 的无偏检验 存在 水平 的无偏检验 使得 1 则称 为水平 的一 致最优无偏检验 一 致最优无偏检验 uniformly most powerful unbiased test UMPU 检验 注 水平为 的 UMP 检验必为水平为 的 UMPU 检验 其逆不真 2013 10 24 8 记 01 为 0 和 1 的公共边界 假设 01 非空 定义 3 3 3 给定水平 检验 称为对于集 01 相 似的 similar 若 01 引理 3 3 1 若对每一检验 为 的连续函 数 若检验 为水平 的相似检验中一致最优 功 效
3、最大 则 为水平 的 UMPU 检验 定义 3 3 4 设统计量T对于分布族 01 P 是 充分的 若检验函数 满足 EX T a s P 则称 对于T在 01 上有 Neyman 结构Neyman 结构 Neyman structure 引理 3 3 2 设 对于T在 01 上有 Neyman 结 构 则 对 于 集 01 相 似 若T还 是 01 P 有界 完全的 则两者等价 上节已经提到 对于定理 3 2 4 中单参数 指数分布族 下面两个检验 1 012112 Hv s Hor 2 0010 Hv s H 其UMP检验不存在 但其UMPU检验是存在的 这就是下面的定理 3 3 1 和定
4、理 3 3 2 定理 3 3 1 对于定理 3 2 4 中单参数指数 分 布 族 给 定 水 平 考 虑 检 验 012112 Hv s Hor 若检验 有形式 12 12 1 1 2 0 ii T Xk or T Xk XT Xk i kT Xk 其中 ii k 由 12 EXEX 确定 则 X 为水平 的 UMPU 检验 定理 3 3 2 对于定理 3 2 4 中单参数指数 分 布 族 给 定 水 平 考 虑 检 验 0010 Hv s H 存在检验 有形式 12 12 1 1 2 0 ii T Xk or T Xk XT Xk i kT Xk 其中 ii k 由 0 EX 00 E T
5、XXE T X 确定 且 X 为水 平 的 UMPU 检验 2013 10 24 9 下面考虑多参数指数分布族 其中参数为自 然参数 即 exp T XfxT xU xbs x x A 参数空间有内点 考虑以下四个检验问题 I 0010 Hv s H II 012112 Horv s H III 012112 Hv s Hor IV 0010 Hv s H 由于 T U为充分统计量 故检验只需考虑 基于 T U的检验 此时 T U的分布仍为指 数族exp T tub t uB 由于 条 件 分 布T U的 分 布 仍 为 指 数 型 exp u tb 与 无关 故处理上述检验 的方法是通过给定
6、U 对T取条件分布 来消 除参数 参数 称为 nuisance parameters 冗 余参数 然后转化到前面已解决的单参数情 形 定理 3 3 3 对上形式的多参数指数分布族 给 定水平 记 0 E 表示在密度 0 f 下求期望 I 1 1 0 Tk U T UUTk U Tk U 其中 k uu 由 0 1 ET u Uuu 确定 II 12 2 12 1 1 2 0 ii k UTk U T UUtk U i tk U or tk U 其中 ii k uu 由下式确定 12 22 ET u UuET u Uuu III 12 3 12 1 1 2 0 ii Tk U or Tk U T
7、 UUTk U i k UTk U 其中 ii k uu 由下式确定 12 33 ET u UuET u Uuu IV 12 4 12 1 1 2 0 ii Tk U or Tk U T UUTk U i k UTk U 其 中 ii k uu 由 0 4 ET u Uuu 以 及 00 4 ETT u UuET Uuu 确定 2013 10 24 10 以上 i 分别为 I II III 和 IV 检验问题的水 平为 的 UMPU 检验 注 1 此定理证明用到引理 3 3 1 和引理 3 3 2 以及功效函数的连续 可微性 具体可以 参 见E L Lehman Testing Statist
8、ical Hypothesis 2 nd Edition Page 145 2 由于对指数型分布 经参数的线性变换仍然 是指数型 故本定理可以用于参数的线性组合 的检验问题 例如令 00 0 T aaa 则 exp T fxT xU xbs x 变为 exp T fxTxUxbs x 其中 0 T x Tx a 0 aT x UxU x a 此时 关于 的上述四种检验问题的 UMPU 检验可以类 似的得到 例 3 3 1 2 2 contingency tables 设 A B为 两随机事件 作了n次独立实验 观测到事件 AB AB AB AB的频率如下表 A A Total Total B
9、11 X 12 X 1 n B 21 X 22 X 2 n Total Total 1 m 2 m n 称为 2 维列联表 11122122 XXXXX 为多项 分布 密度为 2 1 ij X ij i j ij p n X 这里 ijij npEX 具有指数分布族型式 111221 11122122 222222 exploglogloglog ppp XXXnps X ppp 因此我们可以给出任何形如 111221 012 222222 logloglog ppp aaa ppp 其中 012 a a a为已知常数的四种假设检验问题的 UMPU 检验 特别若想检验事件 A B是否独立 则
10、等 价 于 取 0 1a 12 1aa 检 验 00 由定理 3 3 3 IV 相当于 11 TX 11121121 TUXXXX 2013 10 24 11 只需考察条件分布 111112111211 P Xy XXn XXm 在 0 H下 即0 上分布易得为超几何分布 21 11 nnn mymy 从而可以确定此 UMPU 检验的临界值 注 上检验由 R A Fisher 提出 称为22 表的 Fisher 精确检验 Fisher s exact test 正态分布的 UMPU 检验 由于正态分布是实际中常见的连续性指数型分布 因此将 定理 3 3 3 具体用于正态分布情形 将得到关于正态
11、分布 的一些 UMPU 检验 引 理 3 3 3 设 exp T XfxT xU xbs x V T U为统计量且在 i 其与U独立 这里 i 为定理 3 3 3 I IV 假设中相对应的已知 i 则 1 若 V t u对固定u为t的增函数 则定理 3 3 3 I III 的 UMPU 检验中T和 T U用V代替且 i k u i u 为常数 i k i 2 若存在可测函数 0 a ub u 使得 V t ua u tb u 则定理 3 3 3 IV 的 UMPU 检验也类似的替换 注 1 引理 3 3 3 表明 当满足此引理条件时 UMPU 检验可以由V的分布来确定 而不用条件分布 T U
12、2 对于指数分布族 统计量 V T U与U的独立 性验证常常用 Basu 定理来判据 3 当所考察的分布为正态分布族时 由于条件 分布T U或者 V T U分布的连续性 i 可取为 0 One sample Problems 设 12 n XXX 2 ii dN 2 0R 2n 12 T n XXXX 联 合 分 布 密 度 2 2 22 1 11 exp 2 2 n i n i X 先考察关于 的假设检验问题 令TX 2 0 1 n i i UX 2 0 n 21 2 将其化为引理 3 3 3 指数分布形 式 2013 10 24 12 对 检 验 问 题 0010 Hv sH 取 0 VV
13、 T Un Xs 其中 22 1 1 1 n i i sXX n 可以验证给定U V为T的 增函数且当 0 时 由 Basu 定理V与U独立 Why 由于当 0 时 1 n Vt 故由引理 3 3 3 的 1 知 给定 0 1 其 UMPU 检验拒 绝域为 01 n n Xst 对双边检验问题 0010 Hv sH 取 0 VV T UXU 当 0 时 由 Basu 定理V与U独立 Why 故V满足引理 3 3 3 的 2 由于当 0 时 V的分布关于0对 称 故由引理 3 3 3 的 2 知 给定 0 1 其 UMPU 检验拒绝域有形式Vc 由于此时 2 0 1 1n Xsn nVnV 故
14、01 2 n Vcn Xst 以上关于均值检验即为通常的 One sample t tests 现考察方差的检验问题 2 检验 取 2 1 n i i TX UX 21 2 2 n 将其 化 为 引 理3 3 3指 数 分 布 形 式 取 22 1 VV T UTnUns 与UX 独立 满足引理 3 3 3 条件 对检验问题 I III 在 22 0 时 22 01 n V 则相应的检验临界值即 为 2 1n 的 分 位 数 对 检 验 问 题 2222 0010 Hv sH 给定 0 1 UMPU 检验拒绝域为 22 0102 VcorVc 其中 i c满足 2 1 1 1 c n c kt
15、 dt 2 1 1 1 1 c n c tkt dtn 这里 1 n kt 为 2 1n 的密 度 由 于 11 1 nn tktnkt 因 此 i c满 足 22 11 11 1 cc nn cc kt dtkt dt 由于 i c计算不 易 实 际 中 常 取 2 11 1 2 n c 2 21 2 n c 由之所得检验不是无偏 但相 去不远 特别是当n很大时 2013 10 24 13 Two sample Problems 设 12 m X XX 2 11 ii dN 12 n Y YY 2 2 2 ii dN 2 0 ii R 2n i X s 与 i Y s 独立 1212 T m
16、n X XXY YY 联合分布密度 22 12 2 22 222 11 1212 111 exp 2 2 22 mn ij mn ij XY 先 考 察 关 于 方 差 的 假 设 检 验 问 题 2222 02121 Hv s 或者 2222 02121 Hv s 的问题 其中 已知 为常数 通常1 令 2 1 n j j TY 22 11 1 T mn ij ij UXYX Y 22 12 11 22 12 222 112 1 2 T mn 将其 化为引理 3 3 3 指数分布形式 记 2 X s 2 Y s分别 为X和Y的样本方差 令 2 3 22 123 1 1 1 Y XY TnUns V msnsUmUnU 当 22 21 时 由 Basu 定理V与U独立 Why 当 22 21 时 2 1 1 2 Y nm X s FF s 由 于 1 1 1 nF V mnF 为F的严格增函数 故对于检 验 问 题 2222 02121 Hv s 给 定 0 1 其 UMPU 检验拒绝域为 1 1 nm FF 对于检验问题 2222 02121 Hv s 当 22 21 时 11 22
