《测验的信度新教材》由会员分享，可在线阅读，更多相关《测验的信度新教材（95页珍藏版）》请在金锄头文库上搜索。
1、测验的信度测验的信度9/25/20241第一单元第一单元 信度的概念信度的概念一、信度的定义一、信度的定义信度信度reliability是指同一被试在不同时间是指同一被试在不同时间内用同一测验或另一套相等的测验重复测内用同一测验或另一套相等的测验重复测量所得结果的一致程度。本教材量所得结果的一致程度。本教材信度指测验或量表的可靠性可靠程度。信度指测验或量表的可靠性可靠程度。龚耀先龚耀先信度就是对测量一致性程度的估计。金喻信度就是对测量一致性程度的估计。金喻信度是评价一个测验是否合格的重要指标，标信度是评价一个测验是否合格的重要指标，标准化心理测验的根本要求。准化心理测验的根本要求。在编制或修订
2、心理测验时，信度研究是必须的在编制或修订心理测验时，信度研究是必须的环节，信度资料是测验手册里必备的测量学指环节，信度资料是测验手册里必备的测量学指标。标。在使用心理测验时，没有信度资料的测验不能在使用心理测验时，没有信度资料的测验不能使用。使用。9/25/20242测量误差与真分数测量误差与真分数测量误差是由与测验目的无关的偶然因素引起，使得几次测测量误差是由与测验目的无关的偶然因素引起，使得几次测量结果不一致，且这种不一致是非系统的、随机的。量结果不一致，且这种不一致是非系统的、随机的。真分数指测量中不存在测量误差时的真值或客观值。真分数指测量中不存在测量误差时的真值或客观值。真分数的操作
3、定义就是无数次测量的平均值，常用真分数的操作定义就是无数次测量的平均值，常用T来表示。来表示。表示真分数的公式：表示真分数的公式： X =T+EX 指实测分数指实测分数T指真实分数指真实分数E指误差分数指误差分数实测分数是真分数与误差分数的函数。实测分数是真分数与误差分数的函数。在进行心理测量时，在进行心理测量时，XT被视为是稳定不变的，因此被视为是稳定不变的，因此X的变化由的变化由XE所引起。所引起。据此，据此，SX2 =ST2+SE2由于测量误差的随机性，误差分数的平均数为由于测量误差的随机性，误差分数的平均数为 0。系统误差产生恒定效应，不影响信度。系统误差产生恒定效应，不影响信度。9/
4、25/20243实测分数、真分数、误差的分布实测分数、真分数、误差的分布实测分数实测分数X真分数真分数T误差误差E实测分数实测分数X真分数真分数T误差误差E1718118143353721618228280383353731623274444222826236360343401511422253273252827125241X 520520014131 X 2626014217 S2 77.667.310.3212219/25/20244信度的表达式信度的表达式信度的定义可以理解为一组测验分数中信度的定义可以理解为一组测验分数中真分数方差与实测分数方差的比率真分数方差与实测分数方差的比率rxx
5、=rxT2=ST2SX2在实际工作中，在实际工作中，“真分数真分数XT是很是很难获得的，我们通常将实测分数难获得的，我们通常将实测分数XX作为真分数的作为真分数的“估计值。估计值。由于真分数由于真分数XT难以获得，因此难以获得，因此ST2也很难获得，但后者可以通过其与实测也很难获得，但后者可以通过其与实测分数方差和误差的关系推出来。分数方差和误差的关系推出来。根据根据rxx=rxT2=ST2SX2和和SX2 =ST2+SE2两式两式ST2= SX2 -SE2 rxx= ST2SX2= SX2 -SE2 SE2=1- SE2 - SX2 信度信度rxx那么作为反映实测分数作为那么作为反映实测分数
6、作为“真分数估计值的准确程度指标。可真分数估计值的准确程度指标。可以看作在总的方差中非测量误差的方差以看作在总的方差中非测量误差的方差所占的比例。所占的比例。例：如果某测验的信度为例：如果某测验的信度为0.9，其误差那，其误差那么为么为0.1。9/25/20245rxx为信度为信度,它是它是ST2和和SE2的分界线的分界线越往左，越往左， SE2越大，信度越低；越大，信度越低；越往右，越往右， ST2越大，信度越高越大，信度越高Sx2rxxST2SE29/25/20246测验误差的来源测验误差的来源测验本身引起的测量误差测验本身引起的测量误差测验题目抽样误差测验题目的形式测验题目的难度过高或过
7、低测题或指导语用词不当测验时限过短测验实施引起的测量误差测验实施引起的测量误差物理环境主试方面意外干扰评分不客观，计算、登记、转换出错被试引起的测量误差被试引起的测量误差动机的影响测验的焦虑生理因素学习、发育和教育测验经验参考资料参考资料9/25/20247二、信度的指标一信度系数与信度指数一信度系数与信度指数信度以信度系数为指标，是一种相关系信度以信度系数为指标，是一种相关系数。数。rxx= rXT2 = ST2SX2 rxx_信度系数信度系数rXT2 信度指数信度指数rXT = STSX 信度指数的平方就是信度系数。信度指数的平方就是信度系数。9/25/20248二测量标准误二测量标准误信
8、度系数表示一组测量的实得分数与真分数的信度系数表示一组测量的实得分数与真分数的符合程度，但没有直接指出个人测验分数的变符合程度，但没有直接指出个人测验分数的变异量。异量。标准误：标准误：标准误：标准误：SE SE SE SE 测量的标准误测量的标准误测量的标准误测量的标准误S S S SX X X X 是所得分数的标准差是所得分数的标准差是所得分数的标准差是所得分数的标准差r rxx xx 测验的信度系数测验的信度系数信度越高，信度越高，测量的标准误越小；测量的标准误越小；测量的标准误越小；测量的标准误越小；信度越低，信度越低，测量的标准误越大。测量的标准误越大。测量的标准误越大。测量的标准误
9、越大。SE=SSE=SSE=SSE=SX X X X 1- 1- 1- 1- r rxxxx9/25/20249一、重测信度一、重测信度(test-retest reliability)又称稳定性系数又称稳定性系数(stability)(stability)，主要用于评价，主要用于评价时间误差。时间误差。采用重测法：使用同一测验，在相同条件下对采用重测法：使用同一测验，在相同条件下对同一组被试者前后施测两次测验，求两次得分同一组被试者前后施测两次测验，求两次得分间的相关系数。间的相关系数。优点：能提供有关测验是否随时间变异的程度。优点：能提供有关测验是否随时间变异的程度。缺点：易受练习和记忆的
10、影响。缺点：易受练习和记忆的影响。最适宜的时距随测验的目的、性质和被试特点最适宜的时距随测验的目的、性质和被试特点而异：而异：一般两周到四周较宜，间隔时间最好不超过六一般两周到四周较宜，间隔时间最好不超过六个月。个月。第二单元第二单元 信度评估的方法信度评估的方法9/25/202410相关分析相关分析计算两种具有相关关系的不同现象之间关系程度的统计算两种具有相关关系的不同现象之间关系程度的统计学方法计学方法相关系数：表示相关程度的统计学指标相关系数：表示相关程度的统计学指标相关系数取值于相关系数取值于1.00+1.00之间。负值表示负相之间。负值表示负相关，正值表示正相关。关，正值表示正相关。
11、“0表示两个变量之间完全没有关系，表示两个变量之间完全没有关系，“1表示两表示两个变量之间呈现一对一的关系。个变量之间呈现一对一的关系。相关系数不是等距的度量值，因此在比较时只能说绝相关系数不是等距的度量值，因此在比较时只能说绝对值大者比绝对值小者相关更密切一些。对值大者比绝对值小者相关更密切一些。相关系数与其他统计量一样也存在抽样误差，因此其相关系数与其他统计量一样也存在抽样误差，因此其统计学意义也应进行显著性检验。统计学意义也应进行显著性检验。相关知识相关知识9/25/202411二、复本信度二、复本信度alternate-form reliability又称等值性系数，以两个等值但题目不
12、同的又称等值性系数，以两个等值但题目不同的测验复本来测量同一群体，然后求被试测验复本来测量同一群体，然后求被试者在两个测验得分的相关，用于评价两个测者在两个测验得分的相关，用于评价两个测验内容的一致性。验内容的一致性。实施两个测验的间隔时间长短可能影响复本实施两个测验的间隔时间长短可能影响复本信度信度复本信度的计算方法同重测信度复本信度的计算方法同重测信度两个复本同一时间施测两个复本同一时间施测复本信度复本信度两个复本不同时间施测两个复本不同时间施测重测复本信度或重测复本信度或稳定与等值系数更严格考察方法稳定与等值系数更严格考察方法优点：能够防止重测信度的记忆、学习效应；优点：能够防止重测信度
13、的记忆、学习效应；缺点：只能减少，而不能消除练习影响；很缺点：只能减少，而不能消除练习影响；很容易学习迁移。容易学习迁移。9/25/202412重重测信度：考察信度：考察测验跨跨时间的一致性的一致性稳定性定性复本信度：跨形式的一致性等复本信度：跨形式的一致性等值性性内部一致性信度：反映内部一致性信度：反映题目之目之间的关系，的关系，表示表示测验能能够测量相同内容或特量相同内容或特质的程的程度度9/25/202413三、内部一致性信度三、内部一致性信度internal consistency reliability一分半信度一分半信度split-half reliability用于评价同一测验内
14、部条目抽样的误差。用于评价同一测验内部条目抽样的误差。方法：将测验条目按单双号奇、偶数分方法：将测验条目按单双号奇、偶数分为两组，计算出两组的得分，然后进行相关。为两组，计算出两组的得分，然后进行相关。该相关系数代表两半测验内容取样的一致程该相关系数代表两半测验内容取样的一致程度。度。在同样的情况下，信度的上下与条目数量成在同样的情况下，信度的上下与条目数量成正比，分半信度只计算了一半条目的信度，正比，分半信度只计算了一半条目的信度，因此要用斯皮尔曼因此要用斯皮尔曼布朗的公式进行校正。布朗的公式进行校正。校正公式：校正公式：rhh为两半分数的相关系数为两半分数的相关系数rxx为校正后原测验长度
15、时信度的估计为校正后原测验长度时信度的估计值值9/25/202414举例例举例例3： 10名被试者在一个有名被试者在一个有10个条目的测验中得分如下，求该个条目的测验中得分如下，求该测验的分半信度？测验的分半信度？被试测验题目得分单号得分双号得分单双之差1234567891012221221001761221121001004403222212111178-1410010000001105120100000013-2622122111107617221211000045-18222201101065192222211000752102211211001651合计合计18171315119633
16、3504829/25/202415计算计算计算平均值计算平均值:标准差标准差: 计算分半信度积差相关法计算分半信度积差相关法:判断相关查表判断相关查表计算校正分半信度计算校正分半信度 9/25/202416二同质性信度二同质性信度homogeneity reliability评价测验内题目间一致性内容抽样误差评价测验内题目间一致性内容抽样误差较高的正相关较高的正相关测验是同质的测验是同质的相关很低或负相关相关很低或负相关测验是异质的测验是异质的1、库德、库德理查逊公式理查逊公式K-R20公式：适用于公式：适用于0、1记分的测验记分的测验N 为测验题目数为测验题目数Pi 通过某题目的人数比例通过
17、某题目的人数比例qi 未通过该题目的人数比例未通过该题目的人数比例Sx2 测验总分数的变异方差测验总分数的变异方差 举例例举例例49/25/202417举例例举例例4： 10名被试在一个有名被试在一个有8个条目的测验中得分如下，求其信度？个条目的测验中得分如下，求其信度？被试测验题目得分测验题目得分12345678总分总分10000000002100000001310100000241100100035010100103611101010571111110068111111006911110101610111111118合计合计8765543240Pi0.80.70.60.50.50.40.3
18、0.2piqi0.160.210.240.250.250.240.210.161.729/25/202418公式：N=8p1=810=0.8qi=10.8=0.2p1q1=0.80.2=0.16piqi=p1q1+p2q2+pnqn=1.72Sx2=(04)2+(14)2+(24)2+(34)2+(34)2+(34)2+(54)2+(64)2+(64)2+(64)2+(84)210=6.09/25/202419库德库德理查逊公式理查逊公式K-R21公式公式X 为测验总分平均值为测验总分平均值Sx2 测验总分数的变异方差测验总分数的变异方差举例上例：平均值举例上例：平均值=49/25/20242
19、02、克伦巴赫、克伦巴赫系数：适用于各种分数形式系数：适用于各种分数形式N 为测验题目数为测验题目数Si2为某一题目分数的变异方差，为某一题目分数的变异方差，Si2为所有题目方差之和为所有题目方差之和当题目以当题目以1、0记分时，记分时，Si2 =piqi，所以，所以rKR20公式可以当作公式可以当作系数的特例系数的特例Sx2 测验总分数的变异方差测验总分数的变异方差举例例举例例5：9/25/202421举例例举例例5：10名被试者在一个有名被试者在一个有10个条目的测验中得分如下，求该测个条目的测验中得分如下，求该测验的验的系数？系数？被试测验题目得分得分123456789101222122
20、100113221121001008322221211111541001000000251201000000462212211110137221211000098222201101011922222110001210221121100111平均值1.81.71.31.51.10.90.60.30.30.39.8Si20.160.410.410.450.690.490.240.210.210.213.489/25/202422公式：公式：N=10S12=(2-1.8)2+ (2-1.8)2+ (2-1.8)2+ (1-1.8)2+ (1-1.8)2+ (2-1.8)2+ (2-1.8)2+ (2
21、-1.8)2+ (2-1.8)2+ (2-1.8)2 10=0.16Si2=3.48M=XN=9810=9.8Sx2=(139.8)2+ (89.8)2+ (159.8)2+ (29.8)2+ (49.8)2+ (139.8)2+ (99.8)2+ (119.8)2+ (129.8)2+ (119.8)210 =15.369/25/202423四、评分者信度四、评分者信度四、评分者信度四、评分者信度scorer reliabilityscorer reliability评价不同评分者之间的一致性指标不同评评价不同评分者之间的一致性指标不同评评价不同评分者之间的一致性指标不同评评价不同评分者之间
22、的一致性指标不同评分者之间的误差分者之间的误差分者之间的误差分者之间的误差方法：随机抽取假设干份测验卷，有两位或方法：随机抽取假设干份测验卷，有两位或方法：随机抽取假设干份测验卷，有两位或方法：随机抽取假设干份测验卷，有两位或多位评分者按标准评分，计算每两个评分者多位评分者按标准评分，计算每两个评分者多位评分者按标准评分，计算每两个评分者多位评分者按标准评分，计算每两个评分者对同一被试答卷所评分数之间的相关对同一被试答卷所评分数之间的相关对同一被试答卷所评分数之间的相关对同一被试答卷所评分数之间的相关一般要求评分者之间一致性达一般要求评分者之间一致性达一般要求评分者之间一致性达一般要求评分者之
23、间一致性达0.90.9以上以上以上以上计算方法计算方法计算方法计算方法两个评分者之间的一致性用皮尔逊积差相关两个评分者之间的一致性用皮尔逊积差相关两个评分者之间的一致性用皮尔逊积差相关两个评分者之间的一致性用皮尔逊积差相关方法或等级相关方法计算方法或等级相关方法计算方法或等级相关方法计算方法或等级相关方法计算多个评分者之间的一致性：等级资料时用肯多个评分者之间的一致性：等级资料时用肯多个评分者之间的一致性：等级资料时用肯多个评分者之间的一致性：等级资料时用肯德尔和谐系数来评价德尔和谐系数来评价德尔和谐系数来评价德尔和谐系数来评价公式公式公式公式 RiRi为每一对象被评等级的总和为每一对象被评等
24、级的总和为每一对象被评等级的总和为每一对象被评等级的总和N N 被评对象的人数或答卷数被评对象的人数或答卷数被评对象的人数或答卷数被评对象的人数或答卷数K K 评分者人数评分者人数评分者人数评分者人数举例例举例例举例例举例例6 6 三位专家给三位专家给三位专家给三位专家给6 6篇论文评等级，结果见表，求篇论文评等级，结果见表，求篇论文评等级，结果见表，求篇论文评等级，结果见表，求评分者信度？评分者信度？评分者信度？评分者信度？9/25/202424三位专家给三位专家给6篇论文的评定例篇论文的评定例6专家专家123456124156223415523341462Ri8123141769/25/2
25、02425计算计算公式：N=6K=3Ri=8+12+3+14+17+6=60Ri2=82+122+32+142+172+62=7389/25/202426第三单元第三单元 信度与测验分数的解释信度与测验分数的解释一、解释真实分数与实得测验分数的关系一、解释真实分数与实得测验分数的关系信度系数可以用于解释总方差中有多少比例是信度系数可以用于解释总方差中有多少比例是由真实分数决定的。由真实分数决定的。因为：因为：Si2 =S2+Se2，并且如果我们将总，并且如果我们将总方差看成是方差看成是1100的话的话所以：所以： Se2 = 1rxx rxx= 1.00 完全没有误差，所有变异来自真完全没有误
26、差，所有变异来自真实分数；实分数；rxx= 0.00 所有变异和差异反映测量误差所有变异和差异反映测量误差 例如当例如当rxx=0.9时，我们可以说实得分数时，我们可以说实得分数中有中有90的变异是真分数造成，近的变异是真分数造成，近10的来自的来自误差。误差。9/25/202427二、各种信度的可接受水平二、各种信度的可接受水平一般原那么一般原那么当信度当信度0.85时，可用于对个人作评价时，可用于对个人作评价当当0.70信度信度0.85时，可用于对团体作评时，可用于对团体作评价，但不能对个人作评价价，但不能对个人作评价当信度当信度0.7时，不能用作评价时，不能用作评价另一原那么：新编的测验
27、信度应高于原有的另一原那么：新编的测验信度应高于原有的同类测验或相似测验同类测验或相似测验因测验类型而异因测验类型而异一般能力测验、成就测验要求一般能力测验、成就测验要求0.9以上以上人格、兴趣、态度等测验要求人格、兴趣、态度等测验要求0.80以上见以上见表表9/25/202428几种心理测验的信度系数几种心理测验的信度系数测验类型测验类型信信 度度低低中中高高成套成就测验0.660.920.98学术能力测验0.560.900.97成套倾向性测验0.460.880.96客观人格测验0.460.850.97兴趣测验0.420.840.93态度量表0.470.790.989/25/202429二、
28、解释个人分数的意义二、解释个人分数的意义测量标准误测量标准误SEm, SE作用：估计真实分数范围；了解实得分数再测时作用：估计真实分数范围；了解实得分数再测时可能的变化情形。可能的变化情形。测量误差分布的标准差，用来表示误差的大小。测量误差分布的标准差，用来表示误差的大小。公式：公式：SE=Sx1rxxSx 分数的标准差分数的标准差rxx 测验的信度测验的信度 举例：举例：WAIS-RC城市城市20岁组岁组FIQ的信度为的信度为0.95，求其测量标准误。，求其测量标准误。SE=1510.95 =150.224 =3.359/25/202430测量标准误的用途测量标准误的用途测量标准误的用途测量
29、标准误的用途确定真分数的置信区间可信区间确定真分数的置信区间可信区间确定真分数的置信区间可信区间确定真分数的置信区间可信区间一般采用一般采用一般采用一般采用95%95%的或然水平：的或然水平：的或然水平：的或然水平：大约大约大约大约95%95%的可能性，真分数落在所得分的可能性，真分数落在所得分的可能性，真分数落在所得分的可能性，真分数落在所得分数数数数1.96SE1.96SE的范围内；或有的范围内；或有的范围内；或有的范围内；或有5%5%可能性，可能性，可能性，可能性，落在所得分数的范围外。落在所得分数的范围外。落在所得分数的范围外。落在所得分数的范围外。公式：公式：公式：公式：XT=XZSEXT=XZSE X 1.96SE XT X 1.96SE评价：2个字作孽.9/25/20249410：最风光却内心最煎熬的人当然是老板有一帮子难对付的员工，有变化莫测的外部市场，还有剪不断理还乱的内部协调和管理，或许还有个别养在外面的金丝雀。9/25/202495
