《《计算机辅助教育测量与评价》-电子教案-蔡旻君 第3章》由会员分享，可在线阅读，更多相关《《计算机辅助教育测量与评价》-电子教案-蔡旻君 第3章（41页珍藏版）》请在金锄头文库上搜索。
1、中国水利水电出版社,第3章 教育测量与评价的质量分析,3.1 信度,3.1.1 同质性信度 3.1.2 分半信度 3.1.3 再测信度 3.1.4 评分者的信度,3.1 信度,测验的信度是指测验结果的可靠性或可靠程度。所谓 可靠性是指对同一组对象进行两次相同测量所得结果的一致 性和稳定性程度。常用的信度估计方法有： 计算测验内部各项目的得分的一致性，得到同质性信度； 用同一测验对同一组被试，前后测验两次，据两次测验分数计算其相关系数，得到再测信度； 当一种测验只能施行一次且没有复本时，可按测验题目的奇偶数分两半计分，求相关系数，经校正得到分半信度。,同质性信度,同质性信度也称为内部一致性信度，
2、 是指测验内部所有项目的一致性。常用的 估计方法有克伦巴赫系数等。,同质性信度,对于信度系数，应该注意以下要点： （1）Cronbach的信度系数衡量的是测量某一心理结构的一组试题测量结果的可靠程度。 （2）理论上说，Cronbach的信度系数取值范围在0到1之间，但实际上95%的测量的系数在0.50到0.90之间。根据Nunnally（1967），信度系数的不同范围，反映出测量量表的不同问题。,同质性信度,信度系数的解释（Nunnally，1967）,同质性信度,（3）Cronbach的信度系数可以表示成试卷的试题数与试题间平均相关系数的函数，即信度系数的标准化形式： 由公式可见，试题数增加
3、，信度系数增加。若试题间相关系数的平均值低，信度系数就比较低；反之，信度系数就比较高。,同质性信度,（4）如果信度系数高，说明试题间的相关系数 平均值比较高，考生在某道试题上得高分，在另 一道试题上得高分的概率就比较高，这可能说明 这些试题测量的是单一的心理结构。 （5）如果信度系数较低，说明试题间相关系数 平均值较低，这暗示数据可能存在多维结构。在 这种情况下，需要进行因子分析，确定数据维 度。然后，对同一维度的试题计算信度系数。,同质性信度,（6）Cronbach在2004年已经提出，不应再将信度系数看作是考试结果信度的主要衡量指标，应该用标准测量误差来衡量考试结果的信度。标准测量误差与信
4、度系数以及考试的标准偏差 相关：,分半信度,分半信度是在测试以后对测试项目按 奇项、偶项或其他标准分成两半，分别记 分，由两半分数之间的相关系数得到信度 系数。,分半信度,由于分半，所求得的相关系数只是半 个测验的信度，可能会高估原测验的信度， 因此需要根据斯皮尔曼布朗公式校正： 其中：为两半测验分数的相关系数。,再测信度,同一个测验项目，对同一组人员进行 前后两次测试，两次测试所得分数的相关 系数即为再测信度。它反映两次测验结果 有无变动，也就是测验分数的稳定程度， 故又称为稳定性系数。,再测信度,再测信度的计算必须满足以下几个假设： （1）所测量的特质必须是稳定的； （2）遗忘和练习的效果
5、相同； （3）两次测试期间被试对问题的熟悉情况没有差别。,评分者的信度,当测验是论文式试题时，不同评分者 对同一试卷的评分结果不相同，有时差异 很大。这时不宜用系数计算其信度，必须 对评分者评分的一致性进行估计，因为此 时误差主要来自评分者的差异。,评分者的信度,若只有两人参加评N份试卷，可用斯 尔曼等级相关方法计算；若三个以上评分 者评N分试卷，则需采用肯德尔（Kendall） 和谐系数来表示信度：,式中K为评分者人数，N为评分的试卷数，为第i个被评价对象的K个等级之和 。,3.2 效度,3.2.1 内容效度 3.2.2 结构效度 3.2.3 因素分析的SPSS操作 3.2.4 验证性因素分
6、析的应用例举 3.2.5 效标关联效度 3.2.6 效度与信度的关系,3.2 效度,效度是指一个测验或量表实际能测出其所要测量的特性的程度。测验或量表就是测量使用的工具。如果一次测量能测出其所要测的特性，那么我们就认为这个测验或量表是有效的。显然，效度是测量质量的一个极其重要的方面，测量工具如果无效或效度太低，就失去了存在的价值。,内容效度,内容效度：测验题目样本对于应测内容与行 为领域的代表性程度。 一个测验具备良好的内容效度应满足两个条件： 测验内容范围要明确。对学业成绩测验来说，就是试题要符合教材内容和教学大纲，试题不应该超出确定的范围。 试题应是已界定的内容范围的代表性样本，它应该覆盖
7、所测内容的主要方面，并使各部分题目所占比例适当。,结构效度,所谓结构，是指心理学或社会学上的 一种理论构想或特质。它本身观察不到， 并且也无法直接测量到，但学术理论假设 它是存在的，以便能够来解释和预测个人 或团体的行为表现。结构效度就是指测验 成绩所能够解释心理学或社会学理论上的 某种结构或特质的程度。,因素分析的SPSS操作,SPSS for Windows使用Factor过程进行因子分析， 其基本步骤为： （1）计算相关矩阵，判断是否需要进行因子分析，并采 用KMO检验及球形检验来判断原始变量是否适合于因子 分析。 （2）进行因子分析，按一定标准确定提取的因子数目。 （3）考察因子的可解
8、释性，并在必要时进行因子旋转， 以寻求最佳解释方式。 （4）计算并保存因子得分，以便进一步分析使用。,验证性因素分析的应用例举,验证性因素分析属于结构方程模型 （structural equation modeling；简称SEM）的 一种次模型，为SEM分析的一种特殊应用。由于 SEM的模型界定能够处理潜在变量的估计与分 析，具有高度的理论先验性，因而若是研究者对 于潜在变量的内容与属性，能提出适当的测量变 量以组成测量模型，借由SEM的分析程序，便可 以对潜在变量的结构或影响关系进行有效的分析。,效标关联效度,效标关联效度是指测验分数与作为效 标的另一独立测验结果之间的一致性程度。 一般是
9、用本测验分数与效标测验结果之间 的相关系数表示。 效标是用来检测效度的参照标准，可 用来作效标的变量很多。,效标关联效度,效标关联效度可以分为两种: 同时效度:一种测验的结果与另一大约同 时获得的测验结果（效标）之间的一致程 度，并用两测验结果的相关系数来估算。 预测效度:某一测验结果与另一将来获得 的测验结果之间的相关程度。,效标关联效度,从效度估计的方法上来看，效标关联效度 可以用三种方法进行估计: 命中率 显著差异法 相关法,效度与信度的关系,效度是测量准确性的量度，信度是测量结 果一致性或稳定性的量度，准确性与一致性的关 系，亦即效度与信度的关系。若一测验的信度 低，则其效度也不会高；
10、而测验的信度高时，却 不一定保证效度高。但是，具有高效度的测验都 必定有足够高信度。所以，高信度是高效度测验 的一个必要条件而非充分条件。,3.3 难度,3.3.1 难度系数的计算办法 3.3.2 难度的转换 3.3.3 难度对测验的影响,3.3 难度,难度是衡量试题与试卷难易程度的 指标，而且是相对于被试的该批考生而 言的。定量刻画被试作答一个题目所遇 到的困难程度的量数，就叫题目的难度 系，或称难度值，用符号P表示。,难度系数的计算办法,客观试题的难度计算: （1）对于采用二分法记分的题目，难度以 通过率来表示：,（3-7）,难度系数的计算办法,（2）当被试人数很多时，可以将被试依照 总分
11、从高到低排列，然后将总分最高的 27%和最低的27%的被试分别定为高分组 和低分组，运用公式（3-7）分别计算两组 的通过率，然后用下式计算该题难度：,（3-10）,难度系数的计算办法,2主观性试题的难度计算 （1）设为被试在某一试题上的平均分，W为该题的满分，则 上式适用于论题题、问答题和计算题等非二分法记分的题目。,（3-11）,难度系数的计算办法,（2）当被试人数很多时，主观性试题可采用下式计算难度：,（3-12）,难度系数的计算办法,3难度的测前估算 在未测试前就估算难度，需要了解影响试题 难度的一般因素： 熟悉程度 信息数量 题目结构 变化动态,难度的转换,人们常假设每个试题所要测量
12、的潜在特质或 能力是呈正态分布的，然后就可以根据正态分布 曲线，将试题的难度指数P作为正态曲线下的 （概率）面积，转换成具有相等单位的等距量 表，即Z分数（标准分数）。由于标准分数具有 相等单位，属于等距量表。所以，用标准分数作 为题目难度的指标，为进一步作难度分析带来了 一些方便。,难度对测验的影响,难度对测验分数分布的影响 难度对测验信度的影响 难度与测验目的的关系,3.4 区分度,3.4.1 区分度的意义 3.4.2 区分度的计算 3.4.3 区分度对测验的影响,区分度的意义,题目区分度就是题目区别被试水平能 力的量度，常记为D。测验多少都带有将 被试的水平加以区分的意图，那么构成测 验
13、的每一个题目就应该为这一目标作贡 献，区分度就是刻画试题的这种功能的质 量指标。,区分度的意义,区分度的分析方法，大约可以归纳成 两类：一为外在效标法，即分析被试在测 验题目上的得分与外在客观标准上的表现 之间的关系。另一为内部一致性法，即分 析被试在测验题上的得分与在整个测验总 分之间的一致性程度。,区分度的意义,区分度的取值范围在-1.00至1.00之 间。通常D为正值，称作积极区分；D为负 值，称作消极区分；D为0，称作无区分作 用。具有积极区分作用的项目，其D值越 大，区分的效果越好。,区分度的计算,高低分组法 相关法,区分度对测验的影响,区分度与难度的关系,区分度对测验的影响,区分度与信度的关系 一个良好的测验，信度必须要高。艾贝尔 （R.L.Ebel）的研究表明，整个测验中各试题的 区分度D值的平均数越高，测验的信度就越高。 信度是随区分度的提高而增长的，且信度增长的 速度比区分度增长还快。所以，要想使得测验信 度达到理想的值，提高各试题区分度是一个好的 途径。,
