语言统计第十一章非参数检验

《语言统计第十一章非参数检验》由会员分享，可在线阅读，更多相关《语言统计第十一章非参数检验（27页珍藏版）》请在金锄头文库上搜索。

1、第十一章 非参数检验,第一节 曼惠特尼U检验 一、曼惠特尼U检验的用途和使用条件 二、曼惠特尼U检验的基本原理 三、检验步骤 第二节 威尔柯克斯符号秩和检验与符号检验 一、威尔柯克斯符号秩和检验 二、符号检验,我们前面讨论过的假设检验都属于参数检验。我们在第七章里谈到，这类检验的使用条件十分“苛刻”，比如所涉及的变量必须是等距变量、总体分布必须呈正态 总体的方差必须相等。但是在语言研究中，经常会遇到上述条件不能满足的情况，这时非参数检验就可以发挥作用了。但是需要注意，虽然在使用非参数检验时，不要求总体呈正态分布以及总体方差相等，但是仍然要求样本是随机样本，观测值是独立的。本章介绍几个最常用的非

2、参数检验。,第一节 曼惠特尼U检验,一、 曼惠特尼U检验的用途和使用条件 检验用来比较两个独立样本，以决定两者之间是否存在 曼惠特尼检验的使 整体上的显著差异。该检验对应于独立样本 检验， 适用于用条件没有满足的情况。它对样本容量、 体分布等没有什么要求，只要 总求样本为随机样本， 数据为顺序数据， 但即使如此， 对随机性的要求也没有 检验那么严格。 检验的有效性不亚于 检验，再加上检验统计值易于计算，因而是一个很常用的检验。,决定使用哪个检验： 原则当使用t检验的条件满足时，应尽量使用t检验，因为它毕竟能更充分地利用数据中的信息，因而能更容易发现总体之间存在的真正差异。 总之，如果t检验的条

3、件得到了满足或基本满足，就尽量使用t检验，反之，如果数据为顺序数据，或虽是等距数据，但所来自的总体严重偏态，就应使用U检验。 二、曼惠特尼U检验的基本原理 U检验的零假设为：所比较的两个样本来自具有相同分布的总体,（至于分布的形状则无关紧要） 。 该检验的原理是： 如果零假设成立， 那么如果把两样本合并起来，按大小给每一个观测值一个等级，那么来自两样本的观测值就会随机分布在等级序列上，把两样本的观测值所占的等级分别累加起来，两个和应该相同或很接近。但是如果两样本之间存在显著差异， 那么一个样本的观测值就会主要占据等级序列的高 （上） 端， 而另一样本则主要占据低（下）端，因而两个和就会差别很大

4、。该检验就是用来计算一下，在零假设成立的情况下，两和之间存在差异的概率。,三、 检验步骤 第一步： 陈述零假设H0以及备择假设H1 第二步：设定显著水平a 第三步：把两样本的数据合并成一列，并标明每个数值所来自的样本（但如果数值很少，也可以不实际合为一列，这时就没有必要标明每个数值所来自的样本了） 。 然后把数值从小到大 （或从大到小） 排序， 并列数值的等级相同，即它们应占的等级的平均值。,第四步：求小样本的等级之和T（如果两样本容量相等，则计算任一样本的等级之和都可）。把小样本的数值个数计为N1， 大样本的数值个数计为 N2， 然后用下列公式计算U1和U2的值。,第五步：将U1和U2中较小

5、的值用作检验统计值U与附表7中 的临界值加以比较。如果U等于或小于临界值，就可以推翻零假设。 例如，有两篇文章，我们想了解其难度是否有差异。我们随机选取15个被试，再随机将其分为A和B两组（A组7人，B组8人），然后让他们分别阅读这两篇文章，并在一个等级量表上给所读文章的难度打分，1表示“极易”，10表示“极难”。打分结果如表11.1所示。,假如想知道这两组数据之间在5%的显著水平上是否有显著差异（双尾检验） ， 检验步骤如下： 第一步：零假设： H0两组分数没有差异。 H1两组分数有差异（双尾检验） 第二步：设显著水平为0.05。 第三步：把两组数据放在一起排序：,第四步：小样本（A组）的等

6、级之和T=5.5+8+11+11+13+14+15=77.5，已知N1=7，N2=8，代人公式（11.1）和公式（11.2），得,第五步：因U1（6.5）较小，所以把它作为检验统计值U。查附表7得临界10(N1=7,N2=8,a=0.05)。由于U值小于临界值，所以零假设被推翻，证明两组分数之间存在显著差异。附表7中给出的最大的N1和N2值只有20，这是因为对于大于这个值的样本，检验统计值U大体服从正态分布，这时就可以用Z作为检验统计值，其计算公式是,曼惠特尼U检验是对应于独立样本t检验的一个非参数检验，而对 应于成对样本（或相关样本）t检验的非参数检验有两个：一个是威尔柯克斯符号秩和检验；另

7、一个是符号检验。前者适用于等距数据，后者适用于顺序数据。两个检验的数据都是由一对对观测值构成的，所检验的零假设也相同，即两个变量的分布相同。但作为非参数检验，它们对变量的分布的形状都没有什么要求。,第二节 威尔柯克斯符号秩和检验与符号检验,一、威尔柯克斯符号秩和检验 威尔柯克斯符号秩和检验的原理与曼惠特尼U检 验很相似： 先计算每一对观测值的差，如果零假设成立，即两样本所来自的总体的分布之间没有差异，那么正差与负差的个数应该大体相等，而且正差之和与负差之和也应大休相等；但是如果总体分布有差异，则正差与负差的个数以及正差之和与负差之和就会有差异。威尔柯克斯符号秩和检验的目的就是检验一下这一差异是

8、否有显著意义。 检验步骤如下：,第一步： 陈述零假设H0和备择假设H1 第二步： 设定显著水平a 第三步：计算每一对观测值之差，并记下差的符号（即正值还是负值） 。 第四步：不考虑差的正负号，按其绝对值从小到大排序（即赋予每个差一个 “秩” ） 。 如果差为零， 即两观测值相同,则排除在外, 不再参加以后的分析（观测值的对子的个数N就相应减少一个） ； 如差相同， 则像曼惠特尼U检验那样，将其在不并列的情况下所应占得等级的平均值作为它们的等级。每个差的等级仍保留该差的符号。,第五步：分别计算正的等级之和及负的等级之和，其中较小者记为W，用作检验统计值。 附表8给出了 0.05和0.01显著意义

9、水平的双尾检验（0.025和0.005显著水平的单尾检验）的临界值，表中的N为观测值的对子数（相同值的除外）或差的个数（零差除外）。如果W值小于或等于临界值，就推翻零假设，证明两样本所来自的总体在分布上有显著差异。 例如，两位教师分别给10篇翻译作业打分，结果如表11.2 中的前三 列：,到底两位教师所给的分数有没有显著差异呢？这就要进行威尔柯克斯符号秩和检验，步骤如下： 第一步：陈述零假设和备择假设： H0：两样本所来自的总休的分布之间没有差异。 H1： 两样本所来自的总体的分布之间有差异 （双尾检验） 第二步： 设显著水平为0.05 第三步：计算各对分数之差(A-B)。 第四步：把分数之差

10、按绝对值从小到大排序。,由于第3和第9个差为零，所以被排除在外（N随之从10减少到8）。第2、第4和第7三个差并列，它们本应占得等级为1、2、3，所以这三个差的平均等级为（1+2+3)/3=2。同理，第1、第5、第6和第8的平均等级为（4+5+6+7)/4=5.5.第10个差的等级则为8. 第五步：正的等级之和为23 ，负的等级之和为13， 那么检验统计值W,即为13查附表8得临界值为3 。由于W值大于临界值，所以检验无显著意义，即不能推翻零假设，说明两位教师所给的分数之间没有显著差异 。,当数据的对子个数(N)超过20个左右时,W的分布接近正态，就可以用下面的公式计算Z值，然后进行Z检验。,

11、二、 符号检验 符号检验适用于顺序变量，比如在一个量表上对句子的难度、熟悉程度、可接受程度、合乎语法性等所打的分。对于这样的变量，不能用等距的单位进行测量，因此每对观测值之差的大小就不像在威尔柯克斯符号秩和检验中那么重要了，这时只能考虑差的方向或符号。这种只涉及对成对数据之差的正负方向的检验称为符号检验。由于符号检验仅考虑差的符号,而不考虑差的大小 （比如10 与 5之差同 10与1之差在该检验里没有什么分别。,符号检验的原理是：如果样本所来自的总休的分布没有差异，那么正差的个数就应大体等于负差的个数。符号检验的目的就是检验一下正负差的个数之间有无显著差异。 符号检验的步骤是： 记录下每一对观

12、测值 （等级） 之差的方向， 而不是差本身 （如一对观测值相等， 即其差为零， 就将其排除在外， 观测值的对子数N也随之减少），然后计算符号出现次数较少的观测值的对子个数，记为S作为检验统计值。附表9给出了S的临界值，如果S值小于或等于临界值，就可以推翻零假设。,例如，我们请两个人在一个0-7（0表示 “完全可以接受”，7表示完全不可以接受” ） 的量表上对15个句子的可接受程度 （acceptability） 打分，结果如表11.3所示。 我们现在检验一下在0.05的显著水平上两人所打的分是否有显著差异 （双尾） 。 我们先计算每对分数之差， 记下差的符号 （表中第四列）， 其中4个差为正号

13、，8个为负号，即S=4.由于有3个差为零，所以有效数据只有12对，即N=12.查表得临界值为2，由于S值大于临界值， 所以不能推翻零假设，因而两人的分数没有显著差异。,当N大于25左右时，即可用Z检验，Z值的计算方法如下： 如果在一定显著水平上，Z值大于正态分布表中的临界值，就可推翻零假设。,小 结,但是需要注意，虽然在使用非参数检验时，不要求总体呈正态分布以及总体方差相等，但是仍然要求样本是随机样本，观测值是独立的。符号检验适用于顺序变量，比如在一个量表上对句子的难度、熟悉程度、可接受程度、合乎语法性等所打的分。对于这样的变量，不能用等距的单位进行测量，因此每对观测值之差的大小就不像在威尔柯克斯符号秩和检验中那么重要了，这时只能考虑差的方向或符号。,