《心理测量学：第三章 测量效度与系统误差控制》由会员分享，可在线阅读，更多相关《心理测量学：第三章 测量效度与系统误差控制（40页珍藏版）》请在金锄头文库上搜索。
1、第三章第三章 测量效度与系统误差控制测量效度与系统误差控制江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心第三章第三章 测量效度与系统误差控制测量效度与系统误差控制测量效度概述测量效度概述1测量工具效度验证的方法测量工具效度验证的方法2测量的系统误差控制测量的系统误差控制3心理测量学心理测量学第三章第三章 测量效度与系统误差控制测量效度与系统误差控制测量效度概述测量效度概述1心理测量学心理测量学测量效度概述测量效度概述 v什么是效度什么是效度测量工具测量了他所希望测量的心理特质或行为特征的测量工具测量了他所希望测量的心理特质或行为特征的效果和程度。效果和程度。效度总是与一定的测量目
2、标相联系的。效度总是与一定的测量目标相联系的。我们称为某测量工具进行效度验证的过程为效度证据的我们称为某测量工具进行效度验证的过程为效度证据的获取过程，简称为获取过程，简称为效度验证效度验证。心理测量学心理测量学测量效度概述测量效度概述v效度与信度的关系效度与信度的关系信度研究的是测量结果的稳定性问题，效度研究的是测信度研究的是测量结果的稳定性问题，效度研究的是测量结果的准确性问题。量结果的准确性问题。测量的信度只受到随机误差或测量的信度只受到随机误差或非系统测量误差非系统测量误差的影响，的影响，而测量效度会同时受到随机误差和而测量效度会同时受到随机误差和系统测量误差系统测量误差的影响。的影响
3、。一个测量工具可能是非常稳定（信度高），但却是无效一个测量工具可能是非常稳定（信度高），但却是无效的，因为他与测量的目标之间产生了系统性的偏差；当的，因为他与测量的目标之间产生了系统性的偏差；当然，一个完全不稳定的测量工具也不可能是有效的。然，一个完全不稳定的测量工具也不可能是有效的。信度是效度的必要条件，但不是充分条件。信度是效度的必要条件，但不是充分条件。心理测量学心理测量学第三章第三章 测量效度与系统误差控制测量效度与系统误差控制测量工具效度验证的方法测量工具效度验证的方法2心理测量学心理测量学测量工具效度验证的方法 v根据测量目标的不同，对测量工具进行效度验证的根据测量目标的不同，对测
4、量工具进行效度验证的方法主要有三种：方法主要有三种：基于所测内容的效度验证方法基于所测内容的效度验证方法内容效度内容效度基于所测心理结构的效度验证方法基于所测心理结构的效度验证方法结构效度结构效度基于效标关联性的效度验证方法基于效标关联性的效度验证方法效标关联效度效标关联效度 心理测量学心理测量学测量工具效度验证的方法v基于所测内容的效度验证方法基于所测内容的效度验证方法含义含义就是要对测量工具本身的具体内容进行系统性的查验，以就是要对测量工具本身的具体内容进行系统性的查验，以确定这些内容是不是测量目标特质或行为领域的一个有代确定这些内容是不是测量目标特质或行为领域的一个有代表性的样本。表性的
5、样本。内容效度需要注意的两个问题内容效度需要注意的两个问题：测量工具测量的是否正是：测量工具测量的是否正是调查人员想要测量的那种行为；测量工具是否提供了相关调查人员想要测量的那种行为；测量工具是否提供了相关行为的适当样品。行为的适当样品。主要应用主要应用 学业成就测验、职业资格测验，还如人员选拔与安置中的学业成就测验、职业资格测验，还如人员选拔与安置中的工作样本测验工作样本测验。心理测量学心理测量学心理测量学心理测量学测量工具效度验证的方法v基于所测内容的效度验证方法基于所测内容的效度验证方法专家判断：专家判断：确定测量目标的全域范围及各部分内容权重。确定测量目标的全域范围及各部分内容权重。确
6、定一批有经验的领域专家，在深入培训的基础上，要求确定一批有经验的领域专家，在深入培训的基础上，要求他们按照已确定的测量全域范围及各部分内容权重，初步他们按照已确定的测量全域范围及各部分内容权重，初步分析测试题目的代表性，并对题目测量的被试作答的内部分析测试题目的代表性，并对题目测量的被试作答的内部心理过程进行初步分析。心理过程进行初步分析。进行实测，根据测试数据分析和被试作答过程分析，全面进行实测，根据测试数据分析和被试作答过程分析，全面验证测量工具的效度。验证测量工具的效度。心理测量学心理测量学v其他方法还有：其他方法还有：心理测量学心理测量学测量工具效度验证的方法v基于所测内容的效度验证方
7、法基于所测内容的效度验证方法关于测量工具的表面效度关于测量工具的表面效度严格来说，表面效度并不符合效度的定义，因为他反映的严格来说，表面效度并不符合效度的定义，因为他反映的不是实际要测量的目标是什么，或对目标测量的程度如何，不是实际要测量的目标是什么，或对目标测量的程度如何，而反映的是，测量工具从表面上看测量了什么。而反映的是，测量工具从表面上看测量了什么。表面效度关心的是测量的友好性和与公众的和谐关系。表面效度关心的是测量的友好性和与公众的和谐关系。表面效度的高低，取决于测验的目的和性质。表面效度的高低，取决于测验的目的和性质。智力测验人格测验智力测验人格测验心理测量学心理测量学测量工具效度
8、验证的方法v基于效标关联性的效度验证方法基于效标关联性的效度验证方法效标效标：它是独立于测量工具并可以从实践中获得的被试的行为特征：它是独立于测量工具并可以从实践中获得的被试的行为特征表现，用于验证测量工具的有效性。表现，用于验证测量工具的有效性。 例如，用百米成绩预测跳远成绩，用焦虑量表预测某运动员赛前焦例如，用百米成绩预测跳远成绩，用焦虑量表预测某运动员赛前焦虑水平等。虑水平等。根据测量工具与效标两者结果获得的时间间隔的不同，基于效标关根据测量工具与效标两者结果获得的时间间隔的不同，基于效标关联性的效度证据采集可以有联性的效度证据采集可以有同时性设计（同时效度）同时性设计（同时效度）与与预
9、测性设计预测性设计（预测效度）（预测效度）两种方法。两种方法。心理测量学心理测量学测量工具效度验证的方法v基于效标关联性的效度验证方法基于效标关联性的效度验证方法效度证据采集的预测性设计方法效度证据采集的预测性设计方法含义：验证现有测量评价结果与将来才可能获取的效标评含义：验证现有测量评价结果与将来才可能获取的效标评价结果之间的关联程度。价结果之间的关联程度。主要应用：人员选拔、安置类型的测量工具主要应用：人员选拔、安置类型的测量工具 心理测量学心理测量学测量工具效度验证的方法v基于效标关联性的效度验证方法基于效标关联性的效度验证方法效度证据采集的预测性设计方法效度证据采集的预测性设计方法首先
10、，获取被试在当前测量工具上的评价结果，如测验分首先，获取被试在当前测量工具上的评价结果，如测验分数、等级评定；数、等级评定；然后，间隔一定的时间，采集被试在预测目标（效标）上然后，间隔一定的时间，采集被试在预测目标（效标）上的评价结果；的评价结果；最后，分析以上这两个评价结果之间的关联性程度，这种最后，分析以上这两个评价结果之间的关联性程度，这种关联性程度的分析方法常用的有以下几种：关联性程度的分析方法常用的有以下几种：相关分析相关分析区分能力分析区分能力分析命中率分析命中率分析心理测量学心理测量学高校自主招生能否选拔真正优秀的学子v自主招生指部分高校在自主招生指部分高校在统统一高考的基一高考
11、的基础础上，拿上，拿出一定比例的招生名出一定比例的招生名额额，通通过过高校自主高校自主选选拔考拔考试试，选选拔出具有一定学科特拔出具有一定学科特长长和和创创新潜新潜质质的的优优秀秀毕毕业业生。生。人大完善招生制度 自主招生各环节均建立评委库 近日，中国人民大学在本科招生网增设了公开公示的专栏，第一时间在网上公示了高水平运动员、艺术特长生资格生名单与其专业成绩、所享优惠政策等信息，并公布了学校最新修订的中国人民大学本科生招生信息公开公示办法等制度和管理办法。心理测量学心理测量学测量工具效度验证的方法v基于效标关联性的效度验证方法基于效标关联性的效度验证方法效度证据采集的同时性设计方法效度证据采集
12、的同时性设计方法含义：对同时获得的测量工具评价结果与效标评价结果之含义：对同时获得的测量工具评价结果与效标评价结果之间的关联性程度进行分析。间的关联性程度进行分析。主要应用主要应用经常用于评价测量工具诊断被试当前心理特质状态的效果。经常用于评价测量工具诊断被试当前心理特质状态的效果。 在许多情形下，效度证据采集的同时性设计方法会替代预测在许多情形下，效度证据采集的同时性设计方法会替代预测性设计方法。性设计方法。评估方法评估方法心理测量学心理测量学测量工具效度验证的方法v基于效标关联性的效度验证方法基于效标关联性的效度验证方法基于效标关联性的效度验证方法的影响因素基于效标关联性的效度验证方法的影
13、响因素群体的一致性或群体的一致性或同质性同质性程度：应该尽量扩大被试群体的异程度：应该尽量扩大被试群体的异质性，避免低估测验的真实效度。质性，避免低估测验的真实效度。 测验长度：一般来说，测验长度越长，测试结果越稳定，测验长度：一般来说，测验长度越长，测试结果越稳定，效度系数会倾向于越高。效度系数会倾向于越高。 效标污染效标污染 心理测量学心理测量学测量工具效度验证的方法v基于效标关联性的效度验证方法基于效标关联性的效度验证方法估计标准误估计标准误指的是测量工具实际测量的结果与预先设定的测量目标之指的是测量工具实际测量的结果与预先设定的测量目标之间相互偏离的程度，而效度验证的过程就是要考察这种
14、偏间相互偏离的程度，而效度验证的过程就是要考察这种偏离程度的大小。离程度的大小。从实际应用范围及计算过程的便利性角度看，估计标准误从实际应用范围及计算过程的便利性角度看，估计标准误的实际应用更多的是基于效标关联性的效度验证方法中。的实际应用更多的是基于效标关联性的效度验证方法中。心理测量学心理测量学测量工具效度验证的方法v基于效标关联性的效度验证方法基于效标关联性的效度验证方法估计标准误估计标准误 是表现为相关系数的效度系数；是表现为相关系数的效度系数； 是效标评定分数的标准差。是效标评定分数的标准差。 心理测量学心理测量学测量工具效度验证的方法v基于所测心理结构的效度基于所测心理结构的效度验
15、证方法验证方法含义：对测量工具测含义：对测量工具测量了心理学中某种特量了心理学中某种特质或特质结构的程度质或特质结构的程度进行验证的方法。进行验证的方法。主要应用：各种心理主要应用：各种心理测验，如智力测验、测验，如智力测验、人格测验、焦虑测验、人格测验、焦虑测验、成就动机测验等。成就动机测验等。心理测量学心理测量学测量工具效度验证的方法v基于所测心理结构的效度验证方法基于所测心理结构的效度验证方法评估方法评估方法专家判断分析法专家判断分析法主要依靠专家的主观专业经验。主要依靠专家的主观专业经验。尽量减少专家主观随意性的影响。尽量减少专家主观随意性的影响。 德尔菲法。德尔菲法。心理测量学心理测
16、量学测量工具效度验证的方法v基于所测心理结构的效度验证方法基于所测心理结构的效度验证方法评估方法评估方法测验内部一致性分析法测验内部一致性分析法基于所测心理结构的效度验证的一个重要证据来源。基于所测心理结构的效度验证的一个重要证据来源。 这个方法的实质是，测验总分本身是用于评价所测心理结构这个方法的实质是，测验总分本身是用于评价所测心理结构的效度最好的效标。的效度最好的效标。相关分析法：求取每个项目与测验总分之间的相关系数，如相关分析法：求取每个项目与测验总分之间的相关系数，如果项目果项目测验相关显著，表明该项目与总测验的结构一致。测验相关显著，表明该项目与总测验的结构一致。心理测量学心理测量
17、学测量工具效度验证的方法v基于所测心理结构的效度验证方法基于所测心理结构的效度验证方法评估方法评估方法测验内部一致性分析法测验内部一致性分析法对照组比较法：按照被试的测验总分，选出一个高分组被试对照组比较法：按照被试的测验总分，选出一个高分组被试和一个低分组被试，然后，比较高分组被试与低分组被试在和一个低分组被试，然后，比较高分组被试与低分组被试在各个项目上的作答表现，如果高分组被试的通过比例显著大各个项目上的作答表现，如果高分组被试的通过比例显著大于低分组被试的通过比例，表明该项目与总测验的结构是一于低分组被试的通过比例，表明该项目与总测验的结构是一致的。致的。 心理测量学心理测量学v基于所
18、测心理结构的效度验证方法基于所测心理结构的效度验证方法评估方法评估方法测验内部一致性分析法测验内部一致性分析法很明显，测验内部一致性证据保证的是测验结构的同质性或很明显，测验内部一致性证据保证的是测验结构的同质性或单一性。单一性。测验内部一致性证据的作用是有限的，因为他毕竟无法证明测验内部一致性证据的作用是有限的，因为他毕竟无法证明该测验究竟测量了什么结构。该测验究竟测量了什么结构。 测量工具效度验证的方法心理测量学心理测量学测量工具效度验证的方法v基于所测心理结构的效度验证方法基于所测心理结构的效度验证方法评估方法评估方法与现有研究结论一致性的分析法与现有研究结论一致性的分析法通过分析新开发
19、测量工具测试结果是否与已有研究结论一致。通过分析新开发测量工具测试结果是否与已有研究结论一致。 在许多传统智力测验中，成长发展性变化证据是测验效度的在许多传统智力测验中，成长发展性变化证据是测验效度的一个重要证据。一个重要证据。心理测量学心理测量学测量工具效度验证的方法v基于所测心理结构的效度验证方法基于所测心理结构的效度验证方法评估方法评估方法与其他测量工具的相关分析法与其他测量工具的相关分析法求取新开发测量工具与另一个已经被公认为有效的测量工具求取新开发测量工具与另一个已经被公认为有效的测量工具之间的相关关系，是证明新开发测量工具测量了相同内容结之间的相关关系，是证明新开发测量工具测量了相
20、同内容结构的一个有效证据。构的一个有效证据。求取新开发测量工具与另一个测量工具之间的相关关系，有求取新开发测量工具与另一个测量工具之间的相关关系，有时候也被用于证明该测量工具没有受到其他无关心理因素的时候也被用于证明该测量工具没有受到其他无关心理因素的影响。影响。 心理测量学心理测量学测量工具效度验证的方法v基于所测心理结构的效度验证方法基于所测心理结构的效度验证方法其他评估方法其他评估方法因素分析法因素分析法因素分析方法是基于所测心理结构的效度验证方法中几乎最因素分析方法是基于所测心理结构的效度验证方法中几乎最为常用的一种方法，他很适合用于鉴别测量工具所测的心理为常用的一种方法，他很适合用于
21、鉴别测量工具所测的心理特质结构。实际上，因素分析方法是一种分析观察数据之间特质结构。实际上，因素分析方法是一种分析观察数据之间相关矩阵的统计分析技术。相关矩阵的统计分析技术。 心理测量学心理测量学心理测量学心理测量学测量工具效度验证的方法v基于所测心理结构的效度验证方法基于所测心理结构的效度验证方法其他评估方法其他评估方法聚合与区分效度验证分析法聚合与区分效度验证分析法为了验证测量工具所测的心理结构，我们不仅必须提供关于为了验证测量工具所测的心理结构，我们不仅必须提供关于它与另外一个理论上应该存在高相关的测量工具之间存在高它与另外一个理论上应该存在高相关的测量工具之间存在高相关的实际证据，同时
22、，也需要提供关于它与另外的无关变相关的实际证据，同时，也需要提供关于它与另外的无关变量之间不存在显著相关的证据。量之间不存在显著相关的证据。多特质多特质多方法矩阵分析多方法矩阵分析法法 心理测量学心理测量学测量工具效度验证的方法v基于所测心理结构的效度验证方法基于所测心理结构的效度验证方法其他评估方法其他评估方法实验介入分析法实验介入分析法通过实验的方法考察某些重要变量的介入是否对被试测量分通过实验的方法考察某些重要变量的介入是否对被试测量分数产生显著影响。数产生显著影响。 心理测量学心理测量学测量工具效度验证的方法v基于所测心理结构的效度验证方法基于所测心理结构的效度验证方法其他评估方法其他
23、评估方法结构方程建模分析法结构方程建模分析法除了鉴别测量的潜在结构之外，对这些潜在特质结构本身之除了鉴别测量的潜在结构之外，对这些潜在特质结构本身之间的关系以及它们之间的影响路径进行考察，同样是非常重间的关系以及它们之间的影响路径进行考察，同样是非常重要的。要的。分析潜在特质结构之间的关系及其与效标变量之间的路径，分析潜在特质结构之间的关系及其与效标变量之间的路径，有利于我们更深入理解所测特质的作用机制。这种分析过程有利于我们更深入理解所测特质的作用机制。这种分析过程可以用结构方程建模的方式进行。可以用结构方程建模的方式进行。 心理测量学心理测量学广告品牌态度的影响因素模型心理测量学心理测量学
24、测量工具效度验证的方法v基于所测心理结构的效度验证方法基于所测心理结构的效度验证方法其他评估方法其他评估方法寻求当代认知心理学证据的分析方法寻求当代认知心理学证据的分析方法基于信息加工理论的研究方法为我们深入理解人类问题解决基于信息加工理论的研究方法为我们深入理解人类问题解决的加工过程提供了更丰富的证据。的加工过程提供了更丰富的证据。认知加工模型让我们了解完成某种认知任务的智能过程、这认知加工模型让我们了解完成某种认知任务的智能过程、这个过程的组织方式、涉及的知识内容、这些知识在记忆中的个过程的组织方式、涉及的知识内容、这些知识在记忆中的表征形式及其提取模式，这些研究无疑会让我们对人类心理表征
25、形式及其提取模式，这些研究无疑会让我们对人类心理特质结构的认知更加深入。特质结构的认知更加深入。心理测量学心理测量学第三章第三章 测量效度与系统误差控制测量效度与系统误差控制测量的系统误差控制测量的系统误差控制3心理测量学心理测量学测量的系统误差控制 v影响测量工具有效性的因素影响测量工具有效性的因素测量的心理特质本身的特点测量的心理特质本身的特点有些心理特质至今研究不够深入，概念界定还不清晰。有些心理特质至今研究不够深入，概念界定还不清晰。有些心理特质本身不太稳定。有些心理特质本身不太稳定。测量工具的建构过程测量工具的建构过程建构过程应遵循严谨的态度才能建构出优良的测量工具，建构过程应遵循严
26、谨的态度才能建构出优良的测量工具，避免出现系统偏差。避免出现系统偏差。心理测量学心理测量学测量的系统误差控制v影响测量工具有效性的因素影响测量工具有效性的因素测量工具本身的信度测量工具本身的信度信度是效度的必要条件。信度是效度的必要条件。效度验证时的被试群体效度验证时的被试群体相同的一个测量工具，可能会因为测量对象特性的不同而相同的一个测量工具，可能会因为测量对象特性的不同而测量到不同的心理特质结构。测量到不同的心理特质结构。作为用相关系数表示的效度系数，希望参与效度验证的被作为用相关系数表示的效度系数，希望参与效度验证的被试群体越异质越好。试群体越异质越好。心理测量学心理测量学测量的系统误差控制v影响测量工具有效性的因素影响测量工具有效性的因素效标的选取效标的选取效标本身的信度及其有效性是非常关键的。效标本身的信度及其有效性是非常关键的。其他因素其他因素测验形式、测验长度、测试过程的组织、评价者的经验、测验形式、测验长度、测试过程的组织、评价者的经验、记分方式、访谈中主试的经验等。记分方式、访谈中主试的经验等。心理测量学心理测量学心理测量学心理测量学
