《心测课件第六章效度》由会员分享，可在线阅读，更多相关《心测课件第六章效度（72页珍藏版）》请在金锄头文库上搜索。
1、第六章 测量的效度,信度衡量的是测验的结果是否稳定、一致。它以真分数方差与实测分数的方差之比来表示, 真分数方差在实测分数方差中所占的比率越高表示测验的结果越稳定. 本章中要学习另一个问题, 即测验结果是否准确, 即测验是否测到了要测的东西、测到多少的问题。测验的效度越高, 说明测验测到要测的东西的程度越高, 也就是测验的结果越准确。 测验的效度主要是为了回答两个问题： 一是测验要测量什么特性? 第二个是它对所要测量的特征测量到什么程度?,第一节 效度概述,一. 什么是效度 1、效度的含义 效度就是一个测验对其所要测量的特性测量到什么程度的估计。,系统误差的影响,系统误差，它与测量的一致性无关
2、，即不影 响信度，在计算信度时被处理成真分数的组成部分；但影响测量的准确性，所以与效度有关。 真分数方差，可以分解成测量特性引起的方差和系统误差方差两个部分，即 因此,总体方差（实测分数方差）可以表达如下：,效度的理论定义 效度是指在实测分数方差中由测量特性引起的方差所占的比率部分,2、效度的相对性,效度针对具体的测验结果而言 效度只在程度上具有差别 效度受限于特定的测验目的,3 效度与信度的关系,信度是效度的必要条件，但非充分条件 效度是测量的最终目的,4、效度的种类,效度验证（validation）：收集证据来检验效度的工作过程。 根据测验的目的，收集证据的方法和证据的来源不尽相同，即效度
3、验证的途径不同，最终获得的效度也有差异。效度的种类大致有三：内容效度、结构效度、准则关联效度,内容效度： 测题代表测验内容范围的程度。 成就测验特别关注内容效度。,结构效度： 测验能测量到理论结构的程度 编制的测验是否能体现所欲测量的假设结构，体现的程度如何？ 方法有多种：内容效度、被试答题时的反应、测验的同质性、与已有相似测验的相关、与该心理特征的身心发展变化的关系、不同群体间的差异、多种方法-多特质分析、因素分析等,准则关联效度 也称效标效度、经验效度，是测验对某一行为表现（准则）的预测能力的高低，用测验分数和准则分数之间的相关系数来表示。 准则：某种能够显示测验欲测特征的变量， 被用作检
4、测、评定效度的参照尺度。,同时效度 准则资料和测验分数几乎同时获得，由此计算出的准则关联效度。 预测效度 测验分数预测未来准则行为之间的程度,二、影响效度的因素,测验本身的因素 测验实施和记分 被试本身 计算准则关联效度所依赖的准则,测验本身的因素,测题用词要简单明了 测题要能反映预测的特征 测题的安排合理 选择题的正确答案的序号要随机 测题数目不可太少 难度适当,测验实施和记分,样组的代表性、规模、异质性 测验情景、意外干扰 主试是否严格按指导手册的要求进行测试、否按测验规定的测试时间进行测试。 指导语是否清楚明白 记分是否客观、标准,被试的主观因素,兴趣和动机 情绪和态度 身体健康状况 测
5、试经验,计算准则关联效度所依赖的准则,可以推算出： 准则测量的信度对测验的效度有影响,第二节 内容效度和结构效度,一、内容效度 1 含义 内容效度评估的是测题是否充分代表了所要测量的内容范围，即测验题目在有关内容或行为范围取样的适当性，关注的是测验内容。,2、估计内容效度的方法 专家评判（常用方法） 基本研究程序： 1界定所要研究行为的领域/范围（比如在成就测验里就用教学目标表来界定行为领域） 2选择一组在该领域具有资格的专家（非测验编制者） 3提供测题与行为领域匹配的结构化框架（请专家根据匹配的框架匹配的规则，来评定测题与行为领域是否匹配以及匹配的程度） 4收集并总结通过匹配过程得到的数据（
6、判定题目与行为领域匹配的情况、测验与行为领域匹配的情况）,双向细目表-典型的教学目标表,双向细目表既是编制测题所依循的框架， 又是专家评判测题是否具有内容效度的参照对象,内容效度与表面效度的区别 表面效度是测验使用者或被试主观认为测验有效的程度。并不是测验理论意义上的效度。,克朗巴赫的量化方法,让两组专家根据相同的内容范围和规则编制两个各自独立的测验，并施测于相同的一组被试。然后计算两次测验结果的相关。 如相关高说明测验有内容效度，如不高，说明 两组专家按照自己的偏好设立了测验的目标（目标不一致），说明测验缺乏内容效度,再测法,先将编好的测验施测于某个团体，这个团体对测验包含的内容知之甚少，因
7、而得分很低。然后让这个团体参加有关材料的教学和训练计划，结束后再施测一次，如果成绩有较大的提高，说明该测验测量的是课堂上所教的知识， 而不是因其它方法得来的知识，因而也说明该测验具有较高的内容效度。,二、结构效度,1、定义 结构是假设的概念，根本无法验证它的存在，故心理结构刻画个体的程度只能通过对个体行为的观察进行推论（间接估计）而得到。 结构效度就是测验测量到其所欲测量的结构或特质的程度。,What is Construct? Each construct is developed to explain and organize observed response consistencies
8、. It derives from established interrelationships among behavioral measures. Examples: scholastic aptitude, intelligence, verbal fluency, anxiety, depression, self-esteem, etc,Construct validation has focused attention on the role of psychological theory in test construction and on the need for formu
9、late hypotheses that can be proved or disproved in validation process. Anne Anastasi,2、估计结构效度的过程：,1 在理论支持的基础（介绍理论本身以及结构的语义定义）上明确叙述假设（预期在结构上有差异的人在人口统计特征、行为准则或与准则有关的其他结构的测量上有什么样的差异）。 2 选择或编制测量工具，由能够表征具体行为的测题构成，而这些行为是结构的特殊具体的显现。 3 收集能够检验假设的实践资料 4 判断资料与假设是否一致，并考虑是否能用其它理论或相反理论来解释观察结果,Example How to Searc
10、h the Evidences for a Supposed Intelligence Test? State the theory hypotheses of test: 1. Intelligence grows with the age growing 2. IQ is relatively stable 3. Intelligence is substantially related to school achievement 4.Intelligence is affected by inheritance Administer the test to population and
11、analyze the data, and judge: 1.whether the test scores increase with the ages increasing; 2.whether IQ and school achievements is correlated; IQs keep stably cross a time interval; 3. whether the correlation between MZ is higher than the c orrelation between DZ. ,3、收集结构效度证据的具体方法,内容效度 被试答题时的反应 测验的同质性
12、 与已有相似测验的相关、 与该心理特征的身心发展变化的关系、 不同群体间的差异 多特质-多方法矩阵（信度系数、会聚效度、区分效度） 因素分析,One Example of Multitrait Multimethod Matrix,第三节 准则关联效度,一、准则概述 1 准则 某种能够显示测验欲测特征的变量，是检验测验效度的参照标准。 比如把能顺利完成大学学习作为大学入学考试的准则，把实际的智力表现作为智力测验的准则，把工作能力作为人事招聘测验的准则等等。,2 准则测量 这些准则都是观念上的，难以直接测量。因此需要对准则下操作定义，即把观念上的准则转变为可以直接观察和测量的行为表现，这种行为通
13、常用数字或等级来表达，从而实现对准则的测量。,选择准则、进行准则测量时应该注意的问题,选择的准则要与测验研究的问题真正具有密切关系。 准则测量与准则要有较高的相关 对准则的测量应具有高的信度，测量误差应该尽量小。 避免准则受到污染 对被试准则行为表现的评判要有严密的评价规则 准则测量要遵循方便实用、节约成本的原则。,常用的准则,学业成绩 等级评定 临床诊断 专门的训练成绩 实际的工作表现 对团体的区分能力/对照组 其他现成的有效测验,二、准则关联效度的估计方法,运用相关方法进行效度系数的估计 样组的分类/组间差异的检验 取舍正确性（命中率）和正命中率等,1 计算效度系数,即测验分数与准则分数之
14、间的相关系数。 具体过程： 选择适当的被试样组，实施要研究的测验，获得测验分数； 确定准则和准则测量，收集该样组的准则分数； 计算测验分数（预测分数）和准则分数之间的相关系数,（1）积矩相关系数 适用于测验分数和准则分数都是连续变量的情况。 公式（6.3b） 。,例1，假设有10名男性经职业兴趣测验而被聘为推销员，如果把他们经过若干年后在某段时间内的销售量（以万元为单位）作为准则分数，具体数据见下表。请估计该测验的预测效度。,（2）二列相关系数 适用于两个连续变量，其中一个变量被人为分成两个类别，如测验通过与不通过、学校是重点与非重点，然后计算这两个变量之间的相关的情况。,计算公式,是二列相关
15、系数 是人为划分的两个类别的变量中，属于其中一个类别（通过、重点）的被试占全体被试人数的比例； 为属于另外一个类别的被试比例。 是属于通过或重点类别的被试测验分数的平均值， 是属于另一类别的被试测验分数的平均值。 是全体被试测验分数的标准差， 是在常态分布曲线上、比率 所对应的纵轴高度。,例2，WISC-R在上海试用时，研究者曾用二列相关来计算效度系数。,研究依据 学业成绩可以作为估计智力测验效度的准则。可以假设分别来自重点中学和非重点中学的被试在学业成绩上应该具有差异，并可能与他们在智力测验分数上差异相对应。因此可以把全体被试分成重点中学学生和非重点中学学生两类表示以表示他们具有不同等级的学
16、业成绩，然后计算的学业成绩等级与智力测验分数之间的相关，以此作为测验的效度系数。,有关统计量,重点中学被试百分比（ ） 非重点中学被试的百分比（ ） 重点中学被试的IQ均数为114 非重点中学被试的IQ均数为96 总体标准差为14.53 Y为0.2685,2 样组的分类,（1）比较样组均数 基本思想：如果可以确定被试在准则行为表现的差异，可以用一个截点分数（分类的标准）把被试分成不同的组别。可以认为，在准则上具有差别的被试样组，如果预测测验真的有效的话，不同被试样组的预测分数也应该具有差别。故可以对不同样组的预测分数的均数进行差异比较（显著性检验），借此来推断预测测验究竟有无高的效度（能否把准则行为的差异预测出来）。,检验公式 其中,自由度,研究过程,研究者需要设定虚无假设（假设两个样组的均数没有显著性差别）和一个意义层级（如0.05,或0.01等）， 查t分布表来确定在该意义层级下、对应于具体自由度的
