《测评与选拔质量检验与分析课件》由会员分享，可在线阅读，更多相关《测评与选拔质量检验与分析课件（20页珍藏版）》请在金锄头文库上搜索。
1、第十一章 测评与选拔质量的分析,案例：麦肯锡的择才标准：聪明、苦干、有野心,主要内容,测评信度及分析 测评效度及分析 测评项目的适合度、区分度、独立性及其分析 测评的客观性、变异性与总体水平及其分析,第一节 测评选拔结果的可靠性分析,一、测评信度的含义及其分类 1.信度的概念 是指人员测评与选拔结果的准确性和一致性程度。 2.信度的分类 再测信度；复本信度；内在一致性信度；评分者信度,第一节 测评选拔结果的可靠性分析,二、信度系数的估计 1.稳定系数 2.等值系数 3.内在一致性系数 4.评分者信度系数,第一节 测评选拔结果的可靠性分析,二、信度系数的估计 3.内在一致性系数 4.评分者信度系
2、数,第一节 测评选拔结果的可靠性分析,三、影响信度的因素 1.测评者因素 测评者不良的言行举止对被测的心理状态有意无意的干扰、暗示、误导，会造成测评误差，大大降低测评信度。 2.被测评者因素 被测的生理因素、心理因素、受教育程度、相关经验、测评态度 等等都将影响被测个体心理特质水平的稳定性，引起测评误差，影响测评信度。,第一节 测评选拔结果的可靠性分析,三、影响信度的因素 3. 测评工具因素 测评工具是否性能稳定对保证测评结果的质量至关重要。影响测评稳定性的主要因素有：测题的取样、测题之间的同质性程度、测题的难度与区分度等。 4.测评环境因素 实测时的环境也会引发一些不可预期的偶然因素影响。如
3、亮度、温度、噪音、通风、测评纪律的控制以及测评者对指导语的误读、误解、误答等等，都会产生测评误差，影响测评信度。,第二节 测评选拔结果的有效性分析,一、测评效度的含义及其分类 1.效度的概念 是指测评与选拔结果所测素质反应的真实程度，即实际测评结果能够达到测评对象的实际程度。 2.效度的分类 内容效度；结构效度；关联效度；,第二节 测评选拔结果的有效性分析,1.内容效度分析 所谓内容效度，是指实际测评到的内容与期望测评的内容的一致性程度。当实际测评到的内容与事先所想测评的内容越保持一致时，说明测评结果的内容效度越高，测评结果越有效。,二、测评效度的分析,第二节 测评选拔结果的有效性分析,2.结
4、构效度分析 所谓结构效度，就是实际所测评的结果与所想测评素质的同构程度。它表明了在多大的程度上，实际的测评结果能够被看作是所要测评的素质在结构上的替代物。,二、测评效度的分析,第二节 测评选拔结果的有效性分析,3.关联效度分析 所谓关联效度，是指测评结果与效标的一致性程度。效标是一种用来衡量测评有效性的外在参照标准，它可以是一种测评的结果，也可以是标准测评的分数。,二、测评效度的分析,第三节 测评选拔项目的质量分析,一、项目的适合度,二、项目的区分度,三、项目的独立性,第三节 测评选拔项目的质量分析,一、项目的适合度,所谓适合度，是特指被测评者行为符合项目测评标准的程度。这里的被测评者行为包括
5、回答问题与实际表现。,适合度可通过下列公式计算：,第三节 测评选拔项目的质量分析,二、项目的区分度,所谓区分度，是指测评项目对被测评者素质水平差异的区分能力。具有较高区分度的项目，能将素质水平不同的被测区分开来，即在项目测试中，水平高的被测得分高，水平低的被测得分低。,计算方法： （1）两端分组法 （2）相关法,第三节 测评选拔项目的质量分析,所谓项目的独立性，是指项目之间的不相关或低度相关。,三、项目的独立性,需采取下面两种方法分析项目独立性。 系数法 2. 检验法,第四节 其他质量指标分析,一、客观性,二、总体分布与总体水平,三、变异性,第四节 其他质量指标分析,一、客观性,测评结果的客观
6、性由测评方法的客观性与测评者的客性共同形成，只有同时保证测评方法与测评者的客观性，才能确保测评结果的客观性。 测评方法的客观性指测评工具对测评者主观影响的控制程度。可使用相关系数或 系数来分析测评结果的一致性程度,第四节 其他质量指标分析,二、总体分布与总体水平,总体分布是指测评结果在各水平层次上的分布情况，包括各个分数段的人数分布，最高分、最低分、偏态与峰态等情况分析。总体分布通常用次数分布表与次数分布图来描述。 总体水平分析，一般是指对总体平均水平即测评结果的集中趋势的分析，包括对测评结果的算术平均数、众数、中位数等平均指标的分析。,第四节 其他质量指标分析,变异性反映的是数据分布的离中趋势。变异程度越大，其平均水平的代表性则越小。 测评结果的变异性分析包括对两极差、四分差、平均差、方差、标准差、变异系数等指标的分析，其中最常用的是标准差、方差及标准差系数。,三、变异性,案例及思考,英语测试内容效度分析,
