石大教育科学研究方法课件06教育的量化研究-2教育测量

教育测量教育测量衡量教育测量的质量，可采用四个指标：（一）信度测验的可靠性（二）效度测验的正确性（三）难度测题的难易程度（四）区分度测题对于学习成绩好和差的学生的鉴别程度教育测量的质量指标教育测量的质量指标n信度 主要对整个测量而言。n效度 n难度 主要对测量的项目而言。n区分度 1 教育测量的信度1.信度的含义信度的含义n信度是指测量结果的稳定性程度，记为 。即：如果用同一测量工具反复测量同一种特质对象，则多次测量结果间的一致性程度就叫信度。n一个测验的信度一般是以两次测验结果的相关系数来表示。1 教育测量的信度 2.信度的估计方法信度的估计方法重测信度重测信度 指用同一量表(测验或评价表)对同一组被试施测两次所得结果的一致性程度。其大小等于同一组被试在两次测验上所得分数的相关系数，一般采用皮尔逊积差相关的公式来计算。积差相关系数公式积差相关系数公式 X为第一次测验的实得分数；Y为第二次测验的实得分数；N为被试人数，rtt表示测验的信度系数。积差相关的运用条件：n两个变量连续，且成线形关系n数据成对n两个变量的总体呈正态分布n数据的对数最好在30对以上例例重测信度系数（稳定性系数）的计算重测信度系数（稳定性系数）的计算n用一个算术四则的速度测验12个小学生，得分记为X，为了考察测量结果的可靠性，于3个月后再测一次，得分记为Y，问测验结果是否可靠？n学生序号 1 2 3 4 5 6 7 8 9 10 11 12 X 20 20 21 22 23 23 23 24 25 26 26 27 Y 20 21 21 20 23 23 25 25 26 26 27 29 分别计算出X2、Y2、XY三行值，求和代入公式可得rtt=0.94。在使用重测法计算稳定性系数时，应在使用重测法计算稳定性系数时，应注意以下问题：注意以下问题：1、信度的取值范围为0，1，当信度值较大时，说明前后两次测量结果比较一致；2、两次测验之间的时间间隔要适宜。应由测验的性质、测题类型、测题数量和被试特点所决定（一般首测与再测的时间间隔在六个月之内为宜）；3、再测信度使用于速度测验而不适用于难度测验。4、应注意提高被试者的积极性。2 2、信度的估计方法、信度的估计方法复本信度复本信度 复本测验指在试题格式、题数、难度、指导语说明、施测要求等方面都相当，并用来测量相同潜在特质或属性，但试题又是不相同的测验，也称作平行测验。复本信度指两个平行测验测量同一批被试所得结果的一致性程度，其大小等于同一批被试在两个复本测验上所得分数的相关系数。两种方式：同一时间连续施测；间隔一段时间后施测。构造两份真正的平行测验很难！构造两份真正的平行测验很难！适用于难度测验，也适用于速度测验的信度估计。适用于难度测验，也适用于速度测验的信度估计。例例复本信度系数（等值系数复本信度系数（等值系数/等值稳定性系数）的估计方法等值稳定性系数）的估计方法n以A、B两型英语复本测验对初中三年级10个学生施测，为避免由测验施测顺序所造成的误差，其中5个学生先做A型测验，休息15分钟后，再做B型测验；而另5个学生先做B型测验，休息15分钟后，再做A型测验。10个学生A型测验结果记为X，B型测验结果记为Y，其测验的复本信度如何？（计算A、B两型测验分数的积差相关系数）学生序号学生序号 1 2 3 4 5 6 7 8 9 10 X 19 19 18 17 16 15 15 14 13 12 Y 20 17 18 18 17 15 13 15 12 12 答案：答案：rtt=0.90复本信度的优缺点表现：复本信度的优缺点表现：优点：n1、测验的两个复本，如果在不同的时间使用，其信度既可以反映在不同时间的稳定性，又可以反映对于不同测题的一致性，它反映了两个层面的信度；n2、两个复本在同时使用时，可以避免再测信息的一些缺点，如首测时再测在记忆、练习、效果的影响，间隔期间获得新知识的影响，两次施测的环境不同和被试主观状态不同的影响，以及为了应付测验所作训练的影响等。缺点：缺点：n1、编制两个完全相等的测验是很困难的，如果两个复本过分相似，则变成再测形式，而过分不相似，又使等值的条件不存在；n2、两个复本测验有可能在某种程度上测量了不同的性质，这就会低估测验的信度；n3、被试同时接受性质相似的两个测验，可能减少完成测验的积极性；n4、虽然两个复本测验的题目材料不同，但被试一旦掌握了解题的某一模式，就能触类旁通，有可能失去复本的意义。1 教育测量的信度同质性信度同质性信度 也叫内部一致性信度，是指测验内部所有题目间的一致性程度。题目间的一致性含有两层意思：其一是指所有题目测的是同一种心理特质；其二是指所有题目得分之间都具有较高的正相关。因此，当一个测验具有较高的同质性信度时，说明测验要测的是某一单个心理特质；如果一个测验同质性信度不高，则说明测验结果可能是几种心理特质的综合反映，这时，测验结果不好解释。估计同质性信度的方法主要有：分半信度、库德理查逊信度、克龙巴赫系数。估计同质性信度的方法：估计同质性信度的方法：(1)分半信度分半信度u指的是将每一个被试的测验分数按测题分成两部分，然后用每个被试在两半测验上的得分求出整个测验的信度。u计算不难，把对等的两半测验看成是在最短时间距离内施测的两个平行测验。难的是，如何将测验分成相等的两半。按题号的奇偶分半、按题目的难易程度分半、按题目的内容分半等等。u实际应用中，由于题目一般依据难度大小排列，采用奇偶分半可使两半测验的题目在难度上基本相等，因此常被采纳。如果一个测验无法分成对等的两半，则不宜使用分半信度。由于分半信计算的是两个“半测验”上得分的相关系数，只是半个测验的信度，(测验越长信度越高)，因此必须用斯皮尔曼布朗公式加以校正：式中，rxx为整个测验的信度系数，rhh为两个“半测验”上得分的相关系数。例：15名被试在奇偶分半测验上的得分被试010203040506070809101112131415奇数题2018232117182017161314131288偶数题2022192218151417151614121076计算两个计算两个“半测验半测验”得分的积差相关系数为：得分的积差相关系数为：0.86。代入公式。代入公式得：得：每个被试的奇数每个被试的奇数题题/偶数题总分偶数题总分 由于斯皮尔曼布朗公式有个基本假设，即：两个“半测验”满足方差齐性，故，当数据资料不能满足这一假设时，应选择下述两个等价的公式之一：弗朗那根(Flanagan)公式 式中，Sa2 和Sb2分别表示所有被试在两半测验上得分的方差；SX2表示所有被试在整个测验上的总得分的方差。卢仑(Rulon)公式式中，Sd2表示同一组被试在两半测验上得分之差的方差。补：n方差与标准差1.基本概念一组数据中，各数离均差的平方和的算术平均数称为这组数据的方差，又叫均方差或变异数定义式：方差的算术平方根称为标准差定义式：补：n2.计算方差和标准差的简单方法估计同质性信度的方法：估计同质性信度的方法：(2)克龙巴赫克龙巴赫系数系数 该方法适合对题目的题型较多的测验进行内部一致性信度分析。估计测验信度采用克龙巴赫系数，其计算公式为：式中，K为题目数，Si2表示所有被试在第i 道题上得分的方差，SX2表示所有被试在整个测验上的总得分的方差。例：例：5名被试在某测验上的得分情况名被试在某测验上的得分情况ABCDESi21361653.762433230.43341211.364252121.845144541.846465322.00总分172816191719.44题号学生评分者信度评分者信度n含义：指多个评分者给同一批人的答卷进行评分的一致性程度。教育与心理测量工作中，客观题无所谓，主观题常常存在误差，有时误差甚至较大。n评分者信度的计算 当评分者人数为两人时，评分者信度等于两个评分者给同一批被试的答卷所评分数的相关系数，依据数据形式，采用不同的相关系数计算方法。2 2、信度的估计方法、信度的估计方法评分者信度的计算评分者信度的计算 当评分者人数多于两人时，评分者信度可用肯德尔和谐系数进行估计。肯德尔和谐系数是表示多列等级变量相关程度的一种方法，资料的获取采用等级评定的方法，即让K个评价者对N个被试的试卷(或作品)进行等级评定，每个评价者都能对N份试卷(或作品)排出一个等级顺序，于是得到K列等级顺序变量。其计算公式为：式中，式中，W为肯德尔和谐系数，为肯德尔和谐系数，K为评价者的人数，为评价者的人数，N为被评价的试卷为被评价的试卷(或作品或作品)个个数数，SSR为每一个被评价对象的为每一个被评价对象的K个等级之和的离均差平方和，即：个等级之和的离均差平方和，即：Ri为第为第i 个被评价对象的个被评价对象的K个等级之和。个等级之和。例：肯德尔和谐系数计算说明例：肯德尔和谐系数计算说明选手N=7评价者 K=10RiRi212345678910A3523443243331089B6676757766633969C5457664454502500D111222211215225E4344335635401600F223111132117289G7765576577623844合计28013516评分者信度的计算评分者信度的计算 等级评定时，若遇到两个或两个以上事物的等级相同，计算肯德尔和谐系数采用下面的修正公式：式中，式中，n为为相同等级相同等级的数目。的数目。例：有相同等级时肯德尔和谐系数的计算例：有相同等级时肯德尔和谐系数的计算被评作文N=7评价者 K=5RiRi212345A453.55421.5462.25B111.5216.542.25C2.521.52210.0100D6554525.0625E2.533.52314196F5576629841G77677341156合计1403422.5信度系数以多大为宜？信度系数以多大为宜？n信度系数究竟以多大为好，没有明确的标信度系数究竟以多大为好，没有明确的标准，要看测验的目的和类型。对于学科测准，要看测验的目的和类型。对于学科测验，信度系数要求达到验，信度系数要求达到0.90.9以上，智力测以上，智力测验要求达到验要求达到0.80.8以上，品德测验能达到以上，品德测验能达到0.60.6就很不错了。就很不错了。一、效度的意义一、效度的意义n效度是指测量结果的准确性和有效性的程度。也可以说是测量是否达到了预期的目的。1、效度是一个相对的概念。（1）测量的效度是相对一定的测量目的而言的（2）测量的效度是相对测量的结果而言的2、一种测量的效度只是高或低的问题n测量结果总是有一定效度的，只是效度高低不同罢了。2 教育测量的效度二、内容效度及其分析方法二、内容效度及其分析方法1、内容效度的含义及其应用范围n就是指测验内容对所要测量的内容的代表性程度。也就是说，测验的内容范围、材料与所要测量的内容范围、教育目标是否相符合；测验中测题所引起的行为是否是所要测量的属性的明确反应；测验的结果是否是一个有代表性的行为样本。n内容效度多用于学科成绩测验之中，因为学科成绩测验的主要目的在于测量学生对于某门学科的知识、技能的掌握程度。2、内容效度的估计（1）逻辑分析法n其工作思路是请有关专家对测验题目与原定内容范围的吻合程度作出判断。（2）统计分析法n采用求统计量的公式进行计算，其公式有以下三种形式：例一例一n在社会发展史某一单元教学之前，对学生进行有关这一单元内容的测验。教学之后，再以复本测验施测，两次测验分数如下，试检定测验的内容效度？学生序号 1 2 3 4 5 6 7 8 9 10教学前X 34 40 32 30 31 35 44 33 42 36教学后Y 52 64 50 54 58 63 72 62 62 50结论：n然后根据自由度df=N-1=9,查t值表，寻得0.01显著性水平t的双侧临界值为t（9）0.01=4.781，而实际计算出的t=13.94.781=t(9)0.01，于是可以说，教学前后学生在两个复本测验上得分的平均数有极显著性差异，从而可以作出判断，社会发