测验效度概念的新发展201305

《测验效度概念的新发展201305》由会员分享，可在线阅读，更多相关《测验效度概念的新发展201305（9页珍藏版）》请在金锄头文库上搜索。

1、1测验效度概念的新发展测验效度概念的新发展谢谢小小庆庆（北京语言大学）摘要：摘要：在 1985 年教育与心理测验标准（第 5 版）出版之前，效度研究的核心概念是 “效标（criterion）”。效度研究被视为一种用“效标”对测验的效度进行证明（verify）的过程，效 度研究被视为一种对测验分数做出有效（valid）解释的过程。 在 1985 年以后，效度研究的核心概念是“证据（evidence）”。效度研究被视为一种通过积 累证据对测验的效度进行支持（support）的过程，效度研究被视为一种对测验分数做出合理 （reasonable）解释的过程。关于效度的这种理解，突出地体现在 1999

2、年出版的教育与心理 测验标准（第 6 版）中。 美国教育协会和美国国家教育测量学会共同组织编写的教育测量在业内被称为是 “测量领域的圣经”。在 2006 年教育测量（第 4 版）出版以后，效度研究的核心概念变为 “理由（warrant）”。效度研究被视为一种通过构造“理由系统”和“理由网络”对效度所进行的 “论证（argument）”，效度研究被视为一种对测验分数做出可接受的（plausible）解释的过程。 本文结合作者在考试实践中的一些体会，介绍了效度概念的新发展。关键词：测验 考试 效度考试是一把尺子，被用来测量应考者的能力。这把尺子本身可能存在质量 问题。只有达到质量标准的考试才能被应

3、用。效度是刻画考试质量的最重要指 标，它反映了考试在多大程度上实现了考试目的。在美国教育研究协会 （American Educational Research Association，AERA） 、美国心理学会 （American Psychological Association，APA）和美国国家教育测量学会 （National Council on Measurement in Education，NCME）共同制定的教 育与心理测验标准（Standards for Educational and Psychological Testing） 12和美国教育协会（American Cou

4、ncil on Education）和美国 国家教育测量学会共同组织编写的、被人们称为“教育测量领域的圣经 ”的 教育测量（Educational Measurement） 34中，首先讨论的都是考试的效 度问题。一、一、效度概念的历史演变效度概念的历史演变考试是一把尺子。这把尺子的准确性，需要靠另一把尺子来检验。这“另 一把尺子” ，就是“效标（criterion） ” ，或“标准” 。在招生名额有限的情况下， 当我们准备将一项测验（如手指速度测验或注意力测验）作为“打字员培训班” 的招生考试时，我们可以对这项测验的有效性进行检验。我们可以计算经过一 个月培训后的学员的打字速度与测验分数之间

5、的相关。如果存在显著的相关， 我们可以说这项测验是有效的。这时，经过一个月培训后的打字速度就是“效 标” 。2早期的效度研究是围绕“效标”展开的。例如，作为美国高考的学术评 估测验（SAT） 的主要效标是大学第一年各科考试成绩的平均，英语 TOEFL 考试的效标是英语教师对学生英语水平的评价，汉语水平考试（HSK）的效标 是汉语教师对学生汉语水平的评价。在教育部考试中心的资助下，笔者曾经进 行过一次关于语文高考的效度研究，采用了 4 种效标：高中成绩，高中任课教 师对学生语文水平的评价，高中同学之间的互相评价，大学第一学年的各科成 绩平均。 8受国家公务员局委托，笔者曾经对若干年的中央机关公务

6、员录用考试进行效度研究。研究所采用的最主要效标是考生的学历，划分为大专、本科、 硕士、博士等几个等级。 大学中由任课教师命题的、监管并不严格的课程考试成绩真的比顶尖专家 命题的、严格监管的高考成绩更可信吗？真的可以被作为效标去检验高考成绩 吗？如果以“学历”作为效标来检验公务员录用考试的成绩，高学历就一定是 高能力吗？为什么不直接根据学历来录用公务员呢？ “效标”被用来对考试的质量进行检验。在许多情况下，这些效标很容易 受到质疑。心理测量学家们发现， “效标”只能在很有限的领域内为测验提供有 说服力的效度检验，更多的情况下则是捉襟见肘，难以自圆其说。于是，他们 尝试着为“效标”配备了两个助手，

7、一个的名字叫“内容（content） ” ，另一个 的名字叫“构念（construct） ” 。 在可疑的“效标”显然靠不住的时候，心理测量学家说，测验可以是特定知 识内容总体的一个代表性样本。只要我能够证明我编制的测验是特定知识内容 总体的具有代表性的样本，我就可以说我的测验是有效的，说它具有“内容效 度（content validity） ” 。例如，高考语文考试可以是中学语文教学内容总体的一 个代表性样本。 “内容效度”面临双重挑战。首先，我需要证明我编的高考语文试卷是中学 语文教学内容总体的一个代表性样本。这并不容易。 “中学语文教学内容总体” 本身就是一个充满争议的话题。关于什么是“

8、语文” ，1949 年以来已经争论了 60 多年。基本观点有 4 种。一是语言和文字。二是语言和文学。 “唐初四杰” 是哪几人？过秦论的作者是谁？红楼梦的主题思想是什么？阿 Q 正 传的主题思想是什么？小桔灯采用的是什么描写手法？这些，属于文学 问题，不属于语言和文字的范围。三是语言和文化。中国人结婚穿红而不穿白， 中国人责“无后”为“不孝之最” ，这些属于中华文化。四是语言和人文。礼义 廉耻，仁义礼智信，这些属于“人文” 。根据“语言和人文”的观点，语文还应 该包含教化，包含品德教育，包含价值观。语文界的前辈叶圣陶、吕叔湘、张 志公等，基本持“语言和文字”的看法。今天，在我国语文教学界最有影

9、响的 一批权威人物则持“语言和人文”的看法。 “总体”的边界都不清楚，怎么证明 你编的测验是具有代表性的样本？ 其次，即使我能够证明我的测验是具有代表性的样本，我还需要继续证明那 些掌握了“中学语文教学内容总体”的考生更有可能在包括数学系、物理系、 生物系在内的大学学习中具有优势。近年来，人们常常提到“钱学森之问” ，追 问“为什么中国的大学培养不出杰出人才” 。我还需要继续证明，我编制的作为 “中学语文教学内容总体”代表性样本的语文高考试卷，确实可以向那些潜在 的“杰出人才”倾斜。显然，这是比证明我的试卷具有取样代表性更困难的任 务。 当主将“效标”和助手“内容”都招架不住的时候，心理测量学

10、家就只好以3另一个助手“构念”来搪塞。他说，虽然我无法证明我的考试具有“效标关联 效度”和“内容效度” ，但我的考试具有“构念效度” 。 “构念效度”成了一个 “筐” ，所有无法得到效度证明的考试都可以往里面装。据说， “语文能力”是 一个“构念” ，这个“构念”可以用考试来界定，这些界定“构念”的考试具有 “构念效度” 。关于“构念效度”虚弱的逻辑基础和循环论证，讨论的文章已经 很多，不再赘述。 正是由于认识到原有效度概念框架的脆弱，心理测量学家们开始尝试构造 新的效度研究范式（Paradigm） 。这种努力，体现在 1985 出版的教育与心理 测验标准（第 5 版） 1中，在 1989 年

11、出版（1993 年修订）的教育测量（第 3 版） 4和 1999 年出版的教育与心理测验标准（第 6 版） 2中，得到比较 完整地阐述。 在新的研究范式中，不再将效度划分为效标关联效度、内容效度和构念效 度。 “构念”被用来定义效度概念。 “构念”被定义为：“测验所要测量的概念 或特性（the concept or the characteristic that a test is designed to measure） ” 。 （AERA，1999，第 173 页） 。所谓效度，就是测验对构念进行测量的有效程度。 从此， “构念效度（construct validity） ”这一短语对于效

12、度来讲已经成为多余 （redundant） ” 。 （AERA，1999，第 174 页） 。随着“构念效度”退出历史舞台， “构念”走到了舞台的中心。 在新的研究范式中， “证据（evidence） ”取代效标成为效度研究的核心概 念。效度研究被视为一种通过积累“证据”对测验的效度提供支持（support） 的过程，效度研究被视为一种对测验分数做出合理（reasonable）解释的过程。 在教育与心理测验标准（第 6 版） 中，提出了支持考试效度的 5 个方面的证 据：基于内容的证据(evidence based on content)；基于反应过程的证据 (evidence based o

13、n response processes)；基于内部结构的证据(evidence based on internal structure)；基于与其他变量之间关系的证据(evidence based on relations to other variables)；基于测验结果的证据(evidence based on consequences of testing)。29 这时，效度研究的逻辑是，虽然我不能“证明”我的考试是有效的，但我 可以用尽可能多的“证据”去支持我的考试。尽管我不能确认某项考试一定有 效，但我可以从互相竞争的考试中选择得到更多证据支持的考试，我可以根据 效度研究结果做出

14、合理的选择。 在 2006 年出版的教育测量（第 4 版） 中，将这种效度研究范式称为基 于构念效度研究之上的“一元化效度模型（construct validation as the basis for a unified model of validity） ” 。 （Brennan，2006，第 21 页） 在考试实践中，这种效度研究范式继续受到挑战，继续遭到质疑。人们发 现，仅仅靠作为证据的“事实（fact） ”或“可观察行为（observable behavior） ” 并不足以对测验效度提供足够的支持。只有当“证据”与一些预设的“假设” 结合在一起时，才能对测验提供支持。 在考试领域

15、中的一个重要的效度研究案例是美国教育测验服务中心（ETS） 关于客观性选择题和主观性作文题的比较研究。选择题能否被用于考查写作能 力？上世纪 50 年代初，在美国语文教学界曾经存在激烈的争论。为此，ETS 从 1954 到 1957 年进行了一项长达 3 年的实证研究。ETS 对英文写作水平考 试 （English Composition Achievement Test ，简称 ECT，全部是选择题） 、 普 通写作测验 （General Composition Test， 简称 GCT ，两小时的作文考试）和4学习能力倾向测验 （Scholastic Aptitude Test，简称 SA

16、T， ）的言语部分（全 部是选择题）等三个考试进行了比较研究。采用的效标是语文教师对学生作文 水平一年或一年以上的观察结论。1957 年，ETS 公布了他们的研究成果：SAT 的效度最高，与语文教师基于长期观察对学生写作能力做出的主观评价最一致。 其次是由客观性试题组成的 ECT，最差的是由作文题目组成的 GCT。5 正是 由于这一项研究，才使其后的 40 年中客观性选择题成为美国语言能力测试的主 要题型。 这是一项关于选择题效度的研究。支持选择题效度的“证据”或“事实” 是：选择题与效标之间的相关最高。要想从这一证据得到“选择题优于作文题” 的结论，需要一系列的假设。最主要的假设是：任教一年的语文教师对学生的 写作能力的评价是有效的。同时，还包含假设：选择题的命题人与作文题的命 题人具有相同的水平；作文题的评分人是合格的，可以给出正确的评分；任教 一年的语文教师具有正确评价学生写作水平的能力；他们给出的评价具有可比 性；他们的评价是认真负责的