第二章 信度与效度,郑久华,心理特质的差异性 心理特质的稳定性 心理特征的可测性 人职匹配理论,一、人才测评的理论基础,信度Reliability: 工具的稳定性和可重复性，分为重测信度、评定者间信度、同质性信度测验质量的必要不充分条件 效度Validity: 工具的准确性，分为内容效度、结构效度和诊断(效标)效度测验质量的必要充分条件一个测验的效度不会超过它的信度的平方根，这说明效度总受到它的信度所制约二、测验的信度与效度,,,,,,,,,,,,,,,,信度和效度都比较差,,,,,,,,,,,,,,,,,,,,,效度与信度的关系图示,信度好，效度差,信度效度都好,信度的定义信度是指同一被试在不同时间内用同一测验（或用另一套相等的测验）重复测量，所得结果的一致程度信度只受随机误差的影响随机误差越大，信度越低 解释真实分数与实得分数的相关0.9意味着什么？ 说明可以接受的信度水准多少合适？图2-1,二、测验的信度,重测信度 又称稳定性系数，它的计算方法是采用重测法，即使用同一测验，在同等条件下对同一组被试者前后施测两次测验，求两次得分间的相关系数 最适宜的时距随测验的目的、性质和被试特点而异，一般是两周到四周较宜，间隔时间最好不超过六个月。
需要注意的问题P32,信度评估的方法,复本信度 又称等值性系数它是以两个等值但题目不同的测验（复本）来测量同一群体，然后求得被试者在两个测验上得分的相关系数，这个相关系数就代表了复本信度的高低.复本信度反映的是测验在内容上的等值性,故又称等值性系数 优点：P32,信度评估的方法,内部一致性信度 内部一致性信度系数主要反映的是题目之间的关系，表示测验能够测量相同内容或物质的程度 1.分半信度 这种方法估计信度系数只需一种测验形式，实施一次测验通常是在测验实施后将测验按奇、偶数分为等值的两半，并分别计算每位被试在两半测验上的得分，求出这两半分数的相关系数在其他条件相同的情况下，测验越长，信度越高因而分半法经常会低估信度，必须修正其中常用的修正公式是斯皮尔曼布朗公式： （公式5-14） 上述公式的假设条件是两半测验分数的变异数相同，当假设不成立时可采用佛朗那根公式或卢伦公式信度评估的方法,2.同质性信度 同质性主要代表测验内部所有题目间的一致性当各个测题的得分有较高的正相关时则测验为同质的 几个计算同质性信度的公式如下： 1库德理查逊公式； 2克伦马赫系数 评分者信度,信度评估的方法,一、解释真实分数与实得分数的相关 信度系数的分布是从0.00到1.00的正数范围,代表了从缺乏信度到完全可信的所有状态. 二、确定信度可以接受的水平 一般的能力测验、成就测验的信度系数在0.90以上，人格测验、兴趣、态度测验的信度一般在0.80-0.85；一般原则是：当rxx 0.7时,测验不能用于对个人做出评价或预测,而且不能作团体比较。
当0.7 rxx0.85可用于团体比较；当rxx 0.85时，才能用来鉴别或预测个人成绩或作为信度与测验分数的解释,样本特征 1.样本团体的分数分布：越广信度系数越高 2.样本团体异质性的影响:可能会高估测验的信度，相反会低估测验的信度 2.样本团体平均能力水平的影响:对年幼和能力水平较低者,其信度值相对低. 测验长度 1.测验越长，测验的测题取样或内容取样就越有代表性结果较为可靠 2.测验越长，被试的猜测因素影响就越小结果较为可靠 K= （公式5-18）,影响信度的因素,测验难度 就难度与信度间的关系而言，并没有简单的对应关系然而，若测验对某团体太难或太易，分数范围将缩小，从而使信度降低 时间间隔 两次测验相间隔的时间越短,其信度系数越大,间隔的时间越长,信度系数会降低.,影响信度的因素,效度的定义：在心理测验中,效度是指测量的与所要测量的心理特点之间符合的程度,或者简单地说是指一个心理测验的准确性. 在测验理论中，效度被定义为在一组测量中，与测量目标有关的真实方差与总方差的比率 (公式5-21） 效度的性质 1.效度具有相对性：测验只有用于与测验目标一致的目的和场合才会有效。
不能笼统地说测验有没有效,而应该说它测量什么有没有效. 2.效度具有连续性：测验效度只有程度上的不同，而没有“全有”或“全无”的区别应该用效度较高或较低来表示.,测验的效度,什么是内容效度: 内容效度指的是测验题目对有关内容或行为取样的适用性，从而确定测验是否是所欲测量的行为领域的代表性取样首先要对所测量的心理特征有个明确的界定;其次，测验题目应是所界定的内容范围的代表性取样 内容效度的特性：内容效度不是普遍适用的，而是根据具体情况分析得来此外，内容效度也有时间上的特定性 注意：取样的行为领域过于泛化 无关因素的影响,内容效度,1专家判断法 最常用的方法是请有关专家对测验题目与原定内容的符合性做出判断，看测验的题目是否代表规定的内容如果专家认为测验题目恰当地代表了所测内容，测测验具有内容效度由于这种估计效度的方法，是一个逻辑分析的过程，所以内容效度有时又称“逻辑效度” 2统计分析法 内容效度的确定也可采用一些统计分析方法，例如计算两个评分者之间评定的一致性；内容效度可由一组被试在独立取自同样内容范围的两个测验复本上得分之相关来作估计；另外，再测法也可用于内容效度的评估 3经验推测法 通过实践来检验效度。
内容效度的评估方法,评估教育和职业成就测验 选拔和分类的人事测验 不适用于能力倾向和人格测验,内容效度的应用,反映的是测验预测个体在某种情境下行为表现的有效性程度被预测的行为是检验效度的标准，简称效标由于这种效度是看看对效标预测得如何，所以叫效标效度这种效度需在实践中检验，所以又称实证效度 考察测验分数与校标间的关系 效标效度的评估方法 1相关法：相关法是评估效标效度最常用的方法，它是求测验分数与效标资料间的相关，这一相关系数称为效度系数计算效度系数最常用的是积差相关法效标关联效度,2区分法：区分法是检验测验分数能否有效地区分由效标所定义的团体的一种方法计算公式如下： （公式5-22） 3命中率法用正确的比例作为效度指标效标效度,预测效度和同时效度 预测效度：预测未来结果 同时效度：诊断现在的状态 效标的测量：有效、真实、客观 常用的效标 学术成就 特殊训练成绩 实际工作表现 团体对比 等级评定 先前有效的测验,效标效度,构想效度：是指测验能够测量到理论上的构想或特质的程度，即测验的结果是否能证实或解释某一理论的假设、术语或构想，解释的程度如何 确定构想效度的步骤 建立理论框架 推演出各种假设 用逻辑和实证的方法来验证假设 常见的指标 发展变化、与其他测验的相关、因素分析、内部一致性、会聚效度和区分效度,构想效度,求测验的结果与另一种已经标准化的测验结果的相关。
求测验结果与学生学业成绩、教师评定之间的相关 观察每项测题通过人数的百分比，是否随年龄或年级而增加 观察每项测题与全量表是否有连贯性考查一个智力测验效度常用的方法,测验本身的因素 测验实施中的干扰因素 1.主试的影响因素 2.被试的影响因素 测验长度 样本团体的性质 1.样本团体的异质性 样本团体越异质，分数分布，范围越大测验效度就越高 2.干涉变量：不同性质的团体，同一测验的效度会有很大不同这些性质包括：年龄、性别、教育水平、智力、动机、兴趣、职业和任何相关的特征 效标的性质,影响效度的因素,。