《第五章 测量效度》由会员分享，可在线阅读，更多相关《第五章 测量效度（60页珍藏版）》请在金锄头文库上搜索。
1、第五章 测量效度本章学习目标：1、理解效度的概念和统计学含义。2、掌握信度和效度之间的关系。3、掌握三种效度的概念及其估算方法。4、了解提高测量效度的途径。第一节 效度的定义一、效度的含义u所谓的测量效度是指测量结果的有效性、 准确性程度，也就是一个测验实际能测出其 所要测量的心理特质的程度。u效度关注两个基本问题：其一，心理测验 所测查的“心理特质”是什么（测验目的） ；其二，该测验对欲测量的心理特质测查到 了什么程度？测量的准确性和有效性如何?效度检验的实质实际的测量结果测量目标两 者 关 系二、效度的概念理解1、效度是一个相对的概念。l效度是相对于一定的测量目的而言的。 l效度不是一个全
2、或无的概念。 2、效度是随机误差和系统误差的综合反映 。3、效度不是直接可以测量到的，判断一个 测验是否有效要从多方面搜集证据，从证据 去推论测验的效度 (犹如法庭上收集证据一 样) 。 三、用统计学术语谈效度根据CTT假设，有以下公式存在：效度系数等于有效分数的方差与观测分数的方差之 比，即：四、效度和信度的关系1、信度高是效度高的必要而非充分的条件 。下面那种情况不可能存在？l高信度，高效度l高信度，低效度l低信度，高效度l低信度，低效度2、测验的效度受它的信度的制约。研究发 现，效度和信度具有如下关系：即用语言表达就是：效度系数的最大值受信度系 数的制约， 效度系数永远不可能大于信度系
3、数的平方根。第二节 效度的种类与确定方 法弗兰西与米西贝（French & Michbel） 1966 提出，并被APA教育与心理测验及诊断技 术 标准所采用的效度分类法：l内容效度l实证效度（又称效标关联效度）l结构效度(又称构想效度)效度是一个整合的概念，不同类型的效 度 只是寻求证据的方式不同，三者有交叉重叠 。一、内容效度（一）内容效度的含义u定义：指一个测验实际测到的内容与所要测 量的内容之间的吻合程度。或者说，指测验题 目对所要测量的内容范围的代表性程度。u内容效度的关键问题是测验题目取样的代表 性程度。（覆盖面不够、偏题、超纲）测验题目 所要测查的内容范围两者关系具备高内容效度的
4、两个基本条 件1、所要测量的内容范围必须定义清楚 ，界限分明，重点突出。2、测验题目应是所界定的内容范围的 代表性取样。 以“教学大纲”为例，它明确规定了教学范围、教学目标、每一章的知识要点、重点和难点，这些既是教学的纲要，也是考试命题的参照标准；参照教学大纲，教师命题时一是不要超纲，二是题目的覆盖面要尽可能宽，三是题目要具有典型性、代表性，四是题目的难度和区分度应合乎要求。这些都是保证题目取样能够具有较高代表性的条件。内容效度的适用范围u内容效度主要用于学绩测验和职业测 验（基于工作任务分析）。 u人格测验、能力倾向测验、智力测验不适合采用内容效度。 （二）确定内容效度的方法l逻辑分析法：即
5、专家判断法，请有关专家对测验题目与原定内容范围的吻合程度作出判断。二、实证效度或效标关联效度（一）有关概念1、实证效度或效标关联效度实证效度或效标关联效度，是以测验分数与效标测量分数之间的关系表示的效度。测验分数（ 高考分数）效标测量分数（ 大学GPA）两者关系2、观念效标与效标测量l阿斯丁把效标分为两个层次：一是理论描述 水平的“观念效标”，二是操作定义水平的“效 标测量”。理论定义与操作定义。l所谓观念效标指衡量一个测验是否有效的外 在标准，它独立于测验并可以从实践中直接获 得我们所感兴趣的行为变量。l常用的观念效标有：实际工作表现、学业成 就、临床诊断、行为的等级评定、专门的训练 成绩、
6、对团体的区分能力以及其他现成的有效 测验，等等。 l效标测量，指将观念效标进行量化操作。一 种观念效标可以有多种不同的效标测量。l如实际工作表现的效标测量可以采用的数量 指标有：产品数量和质量、销售额、收入、 职位、薪水提高的幅度、领导评定、同事评 定等等。l又如，学业成就的效标测量可以采用的数量 指标：单元考试成绩、期中期末的考试成绩 、老师评价、同伴评定、获奖情况、发表作 品情况等等。效标测量必须满足以下要求：1、关联性:效标测量必须真正反映观念效标的重要方面，与观念效标具有密切的关联性；2、可靠性：效标测量必须是稳定的；3、抗偏性：效标测量必须对每个受测者是客观的、公平的；4、可行性：即
7、省时、省力、省钱，易于获得。 3、预测效度与同时效度l预测效度(predictive validity)：效标资料后于测验资料获得。预测效度用于预测个体将来的行为 。如SAT考试与大学GPA，招聘考试与实际工作表现，等等。l同时效度(concurrent validity) ：效标资料与测验资料同时获得。同时效度用于诊断现状。如学习障碍测验与学校表现。（二）效标关联效度的确定方 法 1、相关法：计算测验分数与效标测量之间的相关 系数，称为效度系数。根据数据特点选择积差相关、等级相关、二列 相关 、四分相关等计算方法。选择团体 心理测验 处理 效标测量 求相关系数 对效度系数的说明l效度系数告诉
8、我们的是，根据测验结果对 效标进行推断时的有效程度。l没有一个迅速而简洁的规则，可以判断多 大的效度系数是有意义的。在实际工作中， 很少会看到效度系数大于0.6的情况，效度系 数在0.3-0.4之间已经被认为是比较高。l例如，假定江苏07年高考预测大学GPA的效 度系数为0.4，并且该系数在统计上是显著的 ，我们就可以认为高考分数预测大学GPA的信 息超过了机遇因素。2、区分法（被试组的差异检验法 ）l由效标测量区分小组，考察不同小组被试在 测验分数上是否有显著差异。l以一次招聘中的营销能力测验为例，区分法 的具体程序是：（1）一批候选人接受营销能 力测验，然后考察他们的实际营销业绩，根 据他
9、们的营销业绩分为优等组和劣等组；（2 ）分析优等组和劣等组在营销能力测验的分 数上是否具有显著差异。采用t检验 。预测预测 源效标标作为为成功失败败合计计成功A（正确接收 ） B（错误错误 接收 ） A+B失败败C（错误错误 拒绝绝 ） D（正确拒绝绝 ） C+D合计计A+CB+DA+B+C+D3、命中率（决策正确性）n总命中率=命中人数总人数=（A+D）（A+B+C+D） n正命中率=命中人数 选择人数=A （A+B） n总命中率关心录取者中合格的人数与淘汰者 中不合格的人数的比率。n正命中率只关心录取者中有多少合格的人， 不关心淘汰者是否有合格的人。（三）影响效标关联效度的因素1、效标的选
10、择：效标的适当性； 2、效标测量与预测源测量的时间间隔 ； 3、预测源与效标测量的信度； 4、被试样本的特征:样本的大小、样本 的代表性。效标关联效度的系数在大小上变化 很 大，但一般认为.60以上是高相关。三、结构效度（一）结构效度的含义结构效度（construct validity):又称构想效 度, 指一个测验实际能测到所要测量的理论结构的程度 ， 或者说测验分数能够说明心理学理论的某种结构或 特 质的程度。实际测量的结果 心理学的理论结构或构想两 者 关 系结构效度的特点l结构效度取决于事先假定的心理学理论。l结构效度没有单一指标，确定方法更复杂、更综合，需要由各方面证据累积起来作出评
11、价。l内容效度和效标关联效度都可以作为结构效度的证据之一。 （二）检验结构效度的步骤（1）提出理论构想；（2）根据理论构想提出有关测验成绩的假设；（3）采用逻辑或实证的方法验证以上假设。（三）确定结构效度的方法1、测验内部寻找证据法u考察内容效度。内容效度高一定程度上 表明结构效度好，因为题目的内容应该紧 紧围绕测验的理论维度来编制。u分析受测者的答题过程。如果发现被试 在答题时除了反映所要测量的心理特质外 ，还受其他因素的影响，则表明该测验的 结构效度不佳。u计算同质性信度。如果一个测验测量的不是同一 种心理特质，那么肯定不符合最初的理论构想。同 质性信度高是结构效度好的必要而非充分条件。u
12、计算测验内部的相关系数。计算各项目与量表总 分的相关；计算各项目与所属分量表的相关，以及 各项目与不同质分量表的相关；计算各分量表之间 的相关以及各分量表与总量表之间的相关。u因素分析。采用探索性因素分析或验证性因素分 析，考察测验的因素负荷情况，找出影响测验的共 同因子，比较测验的因素结构与假设的理论结构是 否吻合。 2、测验之间寻找证据法肯贝尔和费斯克（Campbell & Fiske）提出 在不同测验之间寻求结构效度证据的两种方法 ：u相容效度法（又称会聚效度）。求新编测验 与某个已知的能有效测量相同特质的旧测验之 间的相关，相关高说明新测验有较高的结构效 度（但相关不高未必说明新测验的
13、结构效度不 好，可能两个测验的理论构想差异较大）；u区分效度法。考察新编测验与某个已知的能 有效测量不同特质的旧测验之间的相关，相关 高则说明新测验的结构效度不好。3、多种特质多种方法矩阵法l在相容效度和区分效度的基础上，肯贝尔和费 斯克提出了确立结构效度的“多种特质-多种方 法矩阵法”。其原理是：用不同方法去测量同 一种特质，若相关高，说明测量效度较高（相 容效度）；用相同方法去测量不同特质，若相 关低，说明测量效度较高（区分效度）。l教材P66的矩阵图，假设三种特质分别是人格 的支配性（A）、社会敏感性（B）和成就动机 （C），四种测量方法分别是自陈量表（1）、 投射测验（2）、同伴评定（
14、3）和情境问卷（4 ）。多种特质-多种方法的矩阵说明：u实线三角形对角线上的相关系数是采用相同方法测 量相同特质，是两次测量的信度系数；u在虚线三角形对角线上的相关系数，是采用不同方 法测量相同特质（相容效度），它们的数值越大说明 测量的效度越好；u实线三角形中的相关系数是采用相同方法测量不同 特质的结果（区分效度），它们的数值越小说明测量 的效度越好；u虚线三角形中的相关系数，是采用不同方法测量不 同特质的结果。l一个结构效度良好的测验，矩阵的相关系数情况应该是：信度系数相容效度系数区分效度系数虚线三角形中的相关系数。l如果有相反的情况，表明结构效度不佳。4、采用效标关联效度检验结构效度 法
15、u根据效标分数把被试分为高分组和低分 组，考察两组被试在测验得分上是否具有 显著差异；u根据测验分数把被试分为高分组和低分 组，考察两组被试在效标分数上是否具有 显著差异。u这种方法与效标关联效度中的区分法或 组的差异检验法相同。四、三种效度的比较效度 类类型含义义考察的关系确定的方法内容 效度指测验题测验题 目对对所要测测 量的内容范围围的代表 性程度考察测验题测验题 目与测测 量内容范围围之间间的 关系逻辑逻辑 分析法、教学前测测 与后测测法效标标 关联联 效度以测验测验 分数与效标测标测 量分数之间间的关系表 示的效度 考察测验测验 分数与效 标测标测 量分数之间间关 系相关法、区分法、
16、命中 率法结结构 效度测验测验 分数能够说够说 明心 理学理论论的某种结结构 或特质质的程度 考察测验结测验结 果与心 理学理论结论结 构之间间 的关系测验测验 内部寻寻找证证据法、 测验测验 外部寻寻求证证据法、 多种特质质-多种方法矩 阵阵法、效标标关联联效度法效度检验的总结u一个测验选择何种效度检验，要根据具体情 况来确定。u效标关联效度通常用来评价测验作为决策辅 助工具的有效性程度，结构效度可以帮助说明 测验所测变量的性质。u下面测验中，哪种效度检验比较重要？数学测验、公务员考试、创造性思维测验 、大学入学考试、人格测验 第三节 提高测量效度的方法1、精心编制测验，避免出现较大的系统误 差。2、妥善组织测验，控制随机误差。3、创设标准化的应试情境，让每个被试发 挥正常水平。4、选择恰当的效标和效标测量，正确使用 有关公式。5、适当增加测验的长度。6、选择有代表性的样本，扩充样本容量。研究报告之实例王登峰、崔红：中国人人格量表的信度与效 度，心理学报，2004，36（3）:347358。一、“中国人人格量表” 的编制情况采用人格特
