《独立性检验的思想及应用(一) ppt课件》由会员分享,可在线阅读,更多相关《独立性检验的思想及应用(一) ppt课件(19页珍藏版)》请在金锄头文库上搜索。
1、2018/9/28,郑平正 制作,独立性检验的基本思想及其初步应用,第三章 统计案例,2018/9/28,郑平正 制作,问题: 数学家庞加莱每天都从一家面包店买一块1000g 的面包,并记录下买回的面包的实际质量。一年后,这位数学家发现,所记录数据的均值为950g。于是庞加莱推断这家面包店的面包分量不足。,假设“面包份量足”,则一年购买面包的质量数据的平均值应该不少于1000g ; “这个平均值不大于950g”是一个与假设“面包份量足”矛盾的小概率事件; 这个小概率事件的发生使庞加莱得出推断结果。,2018/9/28,郑平正 制作,一:假设检验问题的原理,假设检验问题由两个互斥的假设构成,其中
2、一个叫做原假设,用H0表示;另一个叫做备择假设,用H1表示。,例如,在前面的例子中, 原假设为: H0:面包份量足, 备择假设为: H1:面包份量不足。 这个假设检验问题可以表达为:H0:面包份量足 H1:面包份量不足,2018/9/28,郑平正 制作,二:求解假设检验问题,考虑假设检验问题:H0:面包分量足 H1:面包分量不足,在H0成立的条件下,构造与H0矛盾的小概率事件; 如果样本使得这个小概率事件发生,就能以一定把握断言H1成立;否则,断言没有发现样本数据与H0相矛盾的证据。,求解思路:,2018/9/28,郑平正 制作,独立性检验,本节研究的是两个分类变量的独立性检验问题。,在日常生
3、活中,我们常常关心分类变量之间是否有关系:,例如,吸烟是否与患肺癌有关系?性别是否对于喜欢数学课程有影响?等等。,2018/9/28,郑平正 制作,为了调查吸烟是否对肺癌有影响,某肿瘤研究所随机地调查了9965人,得到如下结果(单位:人),列联表,说明:吸烟者和不吸烟者患肺癌的可能性存在差异,吸烟者患肺癌的可能性大。,0.54%,2.28%,探究,2018/9/28,郑平正 制作,1、列联表,2、三维柱形图,3、二维条形图,从三维柱形图能清晰看出 各个频数的相对大小。,从二维条形图能看出,吸烟者中 患肺癌的比例高于不患肺癌的比例。,通过图形直观判断两个分类变量是否相关:,2018/9/28,郑
4、平正 制作,4、等高条形图,等高条形图更清晰地表达了两种情况下患肺癌的比例。,2018/9/28,郑平正 制作,上面我们通过分析数据和图形,得到的直观印象是吸烟和患肺癌有关,那么事实是否真的如此呢?这需要用统计观点来考察这个问题。,现在想要知道能够以多大的把握认为“吸烟与患肺癌有关”, 为此先假设,H0:吸烟与患肺癌没有关系.,把表中的数字用字母代替,得到如下用字母表示的列联表,用A表示不吸烟,B表示不患肺癌,则“吸烟与患肺癌没有关系”等价于“吸烟与患肺癌独立”,即假设H0等价于 P(AB)=P(A)P(B).,2018/9/28,郑平正 制作,因此|ad-bc|越小,说明吸烟与患肺癌之间关系
5、越弱;|ad-bc|越大,说明吸烟与患肺癌之间关系越强。,在表中,a恰好为事件AB发生的频数;a+b和a+c恰好分别为事件A和B发生的频数。由于频率接近于概率,所以在H0成立的条件下应该有,2018/9/28,郑平正 制作,为了使不同样本容量的数据有统一的评判标准,基于上述分析,我们构造一个随机变量-卡方统计量,(1),若 H0成立,即“吸烟与患肺癌没有关系”,则K2应很小。,根据表3-7中的数据,利用公式(1)计算得到K2的观测值为:,那么这个值到底能告诉我们什么呢?,(2),独立性检验,2018/9/28,郑平正 制作,在H0成立的情况下,统计学家估算出如下的概率即在H0成立的情况下,K2
6、的值大于6.635的概率非常小,近似于0.01。,也就是说,在H0成立的情况下,对随机变量K2进行多次观测,观测值超过6.635的频率约为0.01。,思考,答:判断出错的概率为0.01。,2018/9/28,郑平正 制作,判断 是否成立的规则,如果 ,就判断 不成立,即认为吸烟与患肺癌有关系;否则,就判断 成立,即认为吸烟与患肺癌有关系。,独立性检验的定义,上面这种利用随机变量K2来确定在多大程度上可以认为“两个分类变量有关系”的方法,称为两个分类变量的独立性检验。,在该规则下,把结论“ 成立”错判成“ 不成立”的概率不会差过,即有99%的把握认为 不成立。,独立性检验的基本思想(类似反证法)
7、,(1)假设结论不成立,即 “两个分类变量没有关系”.,(2)在此假设下我们所构造的随机变量 K2 应该很小,如果由观测数据计算得到K2的观测值k很大,则在一定可信程度上说明 不成立.即在一定可信程度上认为“两个分类变量有关系”;如果k的值很小,则说明由样本观测数据没有发现反对 的充分证据。,(3)根据随机变量K2的含义,可以通过评价该假设不合理的程度,由实际计算出的,说明假设合理的程度为99%,即“两个分类变量有关系”这一结论成立的可信度为约为99%.,2018/9/28,郑平正 制作,怎样判断K2的观测值k是大还是小呢?,这仅需要确定一个正数 ,当 时就认为K2的观测值 k大。此时相应于
8、的判断规则为:,如果 ,就认为“两个分类变量之间有关系”;否则就认为“两个分类变量之间没有关系”。,-临界值,按照上述规则,把“两个分类变量之间有没关系”错误的判断为“两个分类变量之间有关系”的概率为P( ).,在实际应用中,我们把 解释为有 的把握认为“两个分类变量之间有关系”;把 解释为不能以 的把握认为“两个分类变量之间有关系”,或者样本观测数据没有提供“两个分类变量之间有关系”的充分证据。,2018/9/28,郑平正 制作,思考:利用上面的结论,你能从列联表的三维柱形图中看出两个分类变量是否相关呢?,表1-11 2x2联表,一般地,假设有两个分类变量X和Y,它们的值域分别为x1,x2和
9、y1,y2,其样本频数列联表(称为2x2列联表)为:,2018/9/28,郑平正 制作,若要判断的结论为:H1:“X与Y有关系”,可以按如下步骤判断H1成立的可能性:,2、可以利用独立性检验来考察两个分类变量是否有关系,并且能较精确地给出这种判断的可靠程度。,1、通过三维柱形图和二维条形图,可以粗略地判断两个变量是否有关系,但是这种判断无法精确地给出所得结论的可靠程度。(1)在三维柱形图中, 主对角线上两个柱形高度的乘积ad与副对角线上两个柱形高度的乘积bc相差越大,H1成立的可能性就越大。(2)在二维条形图中,可以估计满足条件X=x1的个体中具有Y=y1的个体所占的比例 ,也可以估计满足条件
10、X=x2的个体中具有Y=y1的个体所占的比例 。两个比例相差越大,H1成立的可能性就越大。,2018/9/28,郑平正 制作,在实际应用中,要在获取样本数据之前通过下表确定临界值:,具体作法是:,(1)根据实际问题需要的可信程度确定临界值 ; (2)利用公式(1),由观测数据计算得到随机变量 的观测值; (3)如果 ,就以 的把握认为“X与Y有关系”;否则就说样本观测数据没有提供“X与Y有关系”的充分证据。,2018/9/28,郑平正 制作,例1.在500人身上试验某种血清预防感冒作用,把他们一年中的感冒记录与另外500名未用血清的人的感冒记录作比较,结果如表所示。,试画出列联表的条形图,并通过图形判断这种血清能否起到预防感冒的作用?并进行独立性检验。,