《()大学考试质量评价指标讲解》由会员分享，可在线阅读，更多相关《()大学考试质量评价指标讲解（21页珍藏版）》请在金锄头文库上搜索。
1、考试 质量评价 指标解释广西医科大学考试中心 2012.03一、考试质量评价的涵义与内容考试质量评价主要指考试质量分析和信息反馈，是考试管理的重要内容和科学化标志。广义的考试质量分析覆 盖考试活动的各个方面，狭义的考试质量分析仅指对考试 结果的分析。由于考试各方面的质量最终都将体现在考试 结果上，因此，一般的考试质量分析即指考试结果的质量 分析，具体内容包括：成绩分析 试题参数（难度和区分度）分析 考试信度（可靠性） 考试效度（有效性）分析 二、考试质量分析的指标意义 （一）成绩分析课程考试属于标准参照考试，考试的目的主要在于对教学的检测、诊断、调节与导向，分数的用 途主要在于揭示学生学习结果
2、达到教学目标要求的 程度而不是区别学生的相对水平。因此，考试成绩 的分析主要着重于学生整体水平的评价。 刻画学生整体水平的常用指标有：平均数、标准差、不及格率、分数段分布、最高分、最低分等。在这些指标中，最重要的是平均分和不及格率。 平均分代表的是学生整体水平，而“及格”则为测量 目标的最低“标准”。课程考试通常以百分制中的60分作为最低标准达标线，即及格线。而在正常教学状态下，大多数学生都应当达到标准，平均水平在 及格之上，体现在分数上应为不及格率适宜（一般 在10%左右），平均分70分左右。但目前出于其他因素的考虑（如就业），一般我们可把平均分稍稍 放高。 分数段分布状况：一般百分制中可划
3、90-、80-、70-、60-、 60几个分数段。 有附加题的考试，因学生总分仍控制在100分以内，故不必划 分100分以上的分数段。理论上，正态分布是最理想的结果分布，但实际上大多数考试并不呈现正态分布。在不及格率及平均分适宜的前提下，只 要标准差合适（一般5-10之间），低分段人数不是太高（60- 段不超过20%），高分段（80- 以上）有一定比例，分数多集中在平均分周围，就可视为较好的考试结果。这种结果意味着 大多数学生已达到教学目标，完成教学大纲中“掌握”的教学内 容（一般占70%），这时可能会出现中高分数段（70- 及80- ）比例偏高的情形，使得整体水平呈负偏态表现。 （二）试题参
4、数分析 1、难度题目难度意指被试完成题目任务时所遇到的困难程度，其统计量称为难度系数，以P表示。P值与难度大小成反比，即P值越大，难度越小 ，P值越小，难度越大。一般认为P 0.5为偏难题，P 0.7为偏易题， P值0.50.7为中等难度题。计算方法有多种，最常采用的是通过率算法，即以全体被试在题目上的通过率表示难度系数。（1）选择题用公式P= R/N，R为答对某题人数，N为考试总人数。（2）问答题用公式 ， 为考生在某题上的 平均分，Xmax为某题满分。难度标准：依照教学目标要求设定。理论上，当教学有效或在正常状态下，大多数学生都是能够达到教学目标要求的，也就是说大多数学生都应能 答对大部分
5、题目，试题通过率较高。目前我们引用 的是医科院校教育工作者长期研究总结的标准，即 平均难度0.7左右，各题P值范围在0.40.9之间，从实践应用来看，这一标准是比较合适的。另外要 注意的是难度分布，必须有大部分题目P值达0.7以 上（其中P 0.85的题目不能超过1/3），而P 0.5 的题目不能超过总题数的1/4 。2、区分度涵义：指题目对于不同被试水平的区分程度或 鉴别能力，一般以鉴别指数D表示。如果一道题，能力或水平较高的学生都答对或大多数答对，能力 或水平较低的学生都答错或大多数答错，则可认为 该题具有较高的区分度。区分度的计算：一般采用公式D=PHPL，PH 和PL分别为高分组和低分
6、组在某题上的通过率；高分组和低分组：考生成绩由高到低排序，取高低两 端各27%。评价标准：题目个体可根据美国测量学家Ebel提出的标准，鉴别指数： 0.40 优秀 0.30-0.39 良好 0.20-0.29 尚可 0.2 劣等由于课程考试侧重的是学生达到教学目标的程度而不是鉴别他们的水平差异，因此，题目分析首先考虑的 应是难度是否合理，即学生能否完成大多数题目任务。 只有在题目难度合适即能够正常检测学生达标状况的条 件下，选择高区分度的试题区别学生水平才有意义。 根据区分度与难度的关系，难度值过大或过小均会导致 较低的区分度，只有当难度系数值在0.5时，可以得到最高的 区分度。但是，如果一套
7、试题整体（或平均）难度值处于0.5左右，考试结果中不及格率将会很高。因此，对课程考试来 说，关键是要难度合理，对区分度不必过于苛求，一般认为 只要大多数试题区分度在0.2以上就可以了。在难度合适的条件下，区分度越高，区分被试个别差异的能力越强，说明试 题质量越好。必须注意的是，某些试题因其代表的内容为必 测目标（如某些基本常识），即使区分度很差甚至为0（全体学生都答对），也是允许存在的；而某些题目虽然难度系 数合适，但区分度却极不相符，这意味着可能试题本身存在 问题，这样的题目应当舍弃。 区分度（D）最大值与难度系数（P）的关系P值 D最大值 1.0 0 0.99 0.200.70 0.600
8、.50 1.000.30 0.600.10 0.200 0 （三）考试质量的评估 1、信度信度即考试结果的可信程度，其内涵为反映考试结果一致性（或可靠性）程度的指标，也就是一 个考试能否真实反映学生的实际水平。虽然信度指 标有多种，但目前课程考试普遍评估的是同质性信 度，且一般采用克伦巴赫系数法，用以评估考试题目间的一致性（同质性）程度。 同质性信度的理论依据：当一个测验（考试）的众多题目具有较高的同质性时，测量结果可以客观地反映所测特质的真实 水平。而课程考试针对的是具体的一门学科，所要 检测的特质（知识、能力等）均属于这门学科的范 畴，显然是同质的，因此，评估同质性信度具有科学性和合理性。
9、 信度的衡量标准，需根据考试的性质和目标而定。 课程考试课程考试：一般要求0.60-0.80，最低0.55以上。根据我们长 期的分析显示，约25%的信度系数在0.55-0.60，45%在0.61-0.70 ，15%在0.71-0.90，15%在0.55以下，说明课程考试的信度的确比较低。 综合性考试综合性考试，由于涵盖多门课程，试题内容反映的可能已是不同特质，即题目间的同质性较低，而且由多名教师共同命题，题 目参数也难以达成较好的一致性，自然不可能有较高的同质性信 度，因此对综合考试的信度要求可适当降低，一般要求在0.4以上。信度系数过低则说明考试可信度差。影响信度的因素主要有：（1）考试本身
10、的因素：包括考试形式、题型变化、题目取样、试卷长度（试题数量）、试题质量（难度和区分度）、评分误差等 均可影响考试信度。某些考试形式如开卷考试可能使学生水平相近，题型变化太大学生难以适应，试题取样代表性低，试卷题目数过 少使各大题分数太高，试题过难或过易或区分度低，评分误差等等，均可能降低考试信度，使考试无法真正反映学生的实际水平。（2）被试方面的因素：被试被测能力之外的一些因素如年龄、性别、情绪、态度、健康状况等均有可能造成测量结果的偏差，影 响信度。（3）其他随机因素：除上述因素外，考试还会受到其他一些无法预知的、随机出现的因素影响（如测量环境、突发事件等），造 成测量的不稳定，从而影响信
11、度。 2、效度效度是指一个考试（测验）实际能测出其所要测量的特质的程度。课程考试的效度即一项考试实现既定目标的成功程度。效度的评估主要分为三大类：（1）内容效度（2）效标关联效度（3）结构效度对于课程考试来说，较为合适的效度评估指标为内容效度。因为课程考试具有明确的内容 指向和目标要求，考试分数依据检测内容和外在 客观标准（教学目标）来解释，而内容效度的内 涵即为测验题目样本对于应测内容与行为领域的 代表程度，在课程考试即为题目样本所体现教学 目标要求的程度。从这一意义上说，内容效度之 于课程考试也是必须的、重要的质量评价指标。 内容效度的分析主要采用逻辑法（定性分析），依据是考试命题细目表，
12、了解命题 在多大程度上体现了教学目标要求。目前我们对考试效度的评估除了考虑内容效度外，还考察信度、试题难易度等指标， 使考试效度向更为全面的结构效度扩展，更 能体现考试所要达到的“测量到所要测量的特 质的程度”的目标。必须注意的问题是，信度是效度的必要条件，信度不高，效度必然不高；但信度高，效度不一定高。即凡是正确而真实地测量了所要测量的东西 （效度高），再次测量结果也一定具有较高的一致 性和稳定性（信度高）。但是，不能正确而真实地测量出所要测量的东西（效度低），也会因为误差 ，使得再次测量仍可得到一致性和稳定性结果。参考文献1张敏强.教育测量学.人民教育出版社，20012黄光扬主编.教育测量与评价.华东师范大学出版社，20023佟庆伟,胡迎宾,孙倩,编著.教育科研中的量化方法.中国科学技术出版社,20004孙宝志,金魁和,主编.高等医学教育现代考试方法.辽宁科 学技术出版社,1996 5 雷新勇.大规模教育考试:命题与评价.华东师范大学出版 社,2006
