《测验效度概念的新发展doc - 北京语言大学教育测量研究所》由会员分享，可在线阅读，更多相关《测验效度概念的新发展doc - 北京语言大学教育测量研究所（10页珍藏版）》请在金锄头文库上搜索。
1、测验效度概念的新发展谢小庆（北京语言大学）摘要：在1985年教育与心理测验标准（第5版）出版之前，效度研究的核心概念是“效标（criterion）”。效度研究被视为一种用“效标”对测验的效度进行证明（verify）的过程，效度研究被视为一种对测验分数做出有效（valid）解释的过程。在1985年以后，效度研究的核心概念是“证据（evidence）”。效度研究被视为一种通过积累证据对测验的效度进行支持（support）的过程，效度研究被视为一种对测验分数做出合理（reasonable）解释的过程。关于效度的这种理解，突出地体现在1999年出版的教育与心理测验标准（第6版）中。美国教育协会和美国国
2、家教育测量学会共同组织编写的教育测量在业内被称为是“测量领域的圣经”。在2006年教育测量（第4版）出版以后，效度研究的核心概念变为“理由（warrant）”。效度研究被视为一种通过构造“理由系统”和“理由网络”对效度所进行的“论证（argument）”，效度研究被视为一种对测验分数做出可接受的（plausible）解释的过程。本文结合作者在考试实践中的一些体会，介绍了效度概念的新发展。关键词：测验 考试 效度考试是一把尺子，被用来测量应考者的能力。这把尺子本身可能存在质量问题。只有达到质量标准的考试才能被应用。效度是刻画考试质量的最重要指标，它反映了考试在多大程度上实现了考试目的。在美国教育
3、研究协会（American Educational Research Association，AERA）、美国心理学会（American Psychological Association，APA）和美国国家教育测量学会（National Council on Measurement in Education，NCME）共同制定的教育与心理测验标准（Standards for Educational and Psychological Testing） 12和美国教育协会（American Council on Education）和美国国家教育测量学会共同组织编写的、被人们称为“教育测量领域
4、的圣经”的教育测量（Educational Measurement）34中，首先讨论的都是考试的效度问题。一、 效度概念的历史演变考试是一把尺子。这把尺子的准确性，需要靠另一把尺子来检验。这“另一把尺子”，就是“效标（criterion）”，或“标准”。在招生名额有限的情况下，当我们准备将一项测验（如手指速度测验或注意力测验）作为“打字员培训班”的招生考试时，我们可以对这项测验的有效性进行检验。我们可以计算经过一个月培训后的学员的打字速度与测验分数之间的相关。如果存在显著的相关，我们可以说这项测验是有效的。这时，经过一个月培训后的打字速度就是“效标”。早期的效度研究是围绕“效标”展开的。例如，
5、作为美国高考的学术评估测验（SAT）的主要效标是大学第一年各科考试成绩的平均，英语TOEFL考试的效标是英语教师对学生英语水平的评价，汉语水平考试（HSK）的效标是汉语教师对学生汉语水平的评价。在教育部考试中心的资助下，笔者曾经进行过一次关于语文高考的效度研究，采用了4种效标：高中成绩，高中任课教师对学生语文水平的评价，高中同学之间的互相评价，大学第一学年的各科成绩平均。 8受国家公务员局委托，笔者曾经对若干年的中央机关公务员录用考试进行效度研究。研究所采用的最主要效标是考生的学历，划分为大专、本科、硕士、博士等几个等级。大学中由任课教师命题的、监管并不严格的课程考试成绩真的比顶尖专家命题的、
6、严格监管的高考成绩更可信吗？真的可以被作为效标去检验高考成绩吗？如果以“学历”作为效标来检验公务员录用考试的成绩，高学历就一定是高能力吗？为什么不直接根据学历来录用公务员呢？ “效标”被用来对考试的质量进行检验。在许多情况下，这些效标很容易受到质疑。心理测量学家们发现，“效标”只能在很有限的领域内为测验提供有说服力的效度检验，更多的情况下则是捉襟见肘，难以自圆其说。于是，他们尝试着为“效标”配备了两个助手，一个的名字叫“内容（content）”，另一个的名字叫“构念（construct）”。在可疑的“效标”显然靠不住的时候，心理测量学家说，测验可以是特定知识内容总体的一个代表性样本。只要我能够
7、证明我编制的测验是特定知识内容总体的具有代表性的样本，我就可以说我的测验是有效的，说它具有“内容效度（content validity）”。例如，高考语文考试可以是中学语文教学内容总体的一个代表性样本。“内容效度”面临双重挑战。首先，我需要证明我编的高考语文试卷是中学语文教学内容总体的一个代表性样本。这并不容易。“中学语文教学内容总体”本身就是一个充满争议的话题。关于什么是“语文”，1949年以来已经争论了60多年。基本观点有4种。一是语言和文字。二是语言和文学。“唐初四杰”是哪几人？过秦论的作者是谁？红楼梦的主题思想是什么？阿Q正传的主题思想是什么？小桔灯采用的是什么描写手法？这些，属于文学
8、问题，不属于语言和文字的范围。三是语言和文化。中国人结婚穿红而不穿白，中国人责“无后”为“不孝之最”，这些属于中华文化。四是语言和人文。礼义廉耻，仁义礼智信，这些属于“人文”。根据“语言和人文”的观点，语文还应该包含教化，包含品德教育，包含价值观。语文界的前辈叶圣陶、吕叔湘、张志公等，基本持“语言和文字”的看法。今天，在我国语文教学界最有影响的一批权威人物则持“语言和人文”的看法。“总体”的边界都不清楚，怎么证明你编的测验是具有代表性的样本？其次，即使我能够证明我的测验是具有代表性的样本，我还需要继续证明那些掌握了“中学语文教学内容总体”的考生更有可能在包括数学系、物理系、生物系在内的大学学习
9、中具有优势。近年来，人们常常提到“钱学森之问”，追问“为什么中国的大学培养不出杰出人才”。我还需要继续证明，我编制的作为“中学语文教学内容总体”代表性样本的语文高考试卷，确实可以向那些潜在的“杰出人才”倾斜。显然，这是比证明我的试卷具有取样代表性更困难的任务。当主将“效标”和助手“内容”都招架不住的时候，心理测量学家就只好以另一个助手“构念”来搪塞。他说，虽然我无法证明我的考试具有“效标关联效度”和“内容效度”，但我的考试具有“构念效度”。“构念效度”成了一个“筐”，所有无法得到效度证明的考试都可以往里面装。据说，“语文能力”是一个“构念”，这个“构念”可以用考试来界定，这些界定“构念”的考试
10、具有“构念效度”。关于“构念效度”虚弱的逻辑基础和循环论证，讨论的文章已经很多，不再赘述。正是由于认识到原有效度概念框架的脆弱，心理测量学家们开始尝试构造新的效度研究范式（Paradigm）。这种努力，体现在1985出版的教育与心理测验标准（第5版）1中，在1989年出版（1993年修订）的教育测量（第3版）4和1999年出版的教育与心理测验标准（第6版）2中，得到比较完整地阐述。在新的研究范式中，不再将效度划分为效标关联效度、内容效度和构念效度。“构念”被用来定义效度概念。“构念”被定义为：“测验所要测量的概念或特性（the concept or the characteristic tha
11、t a test is designed to measure）”。（AERA，1999，第173页）。所谓效度，就是测验对构念进行测量的有效程度。从此，“构念效度（construct validity）”这一短语对于效度来讲已经成为多余（redundant）”。（AERA，1999，第174页）。随着“构念效度”退出历史舞台，“构念”走到了舞台的中心。在新的研究范式中，“证据（evidence）”取代效标成为效度研究的核心概念。效度研究被视为一种通过积累“证据”对测验的效度提供支持（support）的过程，效度研究被视为一种对测验分数做出合理（reasonable）解释的过程。在教育与心理测
12、验标准（第6版）中，提出了支持考试效度的5个方面的证据：基于内容的证据(evidence based on content)；基于反应过程的证据(evidence based on response processes)；基于内部结构的证据(evidence based on internal structure)；基于与其他变量之间关系的证据(evidence based on relations to other variables)；基于测验结果的证据(evidence based on consequences of testing)。29这时，效度研究的逻辑是，虽然我不能“证明”我的
13、考试是有效的，但我可以用尽可能多的“证据”去支持我的考试。尽管我不能确认某项考试一定有效，但我可以从互相竞争的考试中选择得到更多证据支持的考试，我可以根据效度研究结果做出合理的选择。在2006年出版的教育测量（第4版）中，将这种效度研究范式称为基于构念效度研究之上的“一元化效度模型（construct validation as the basis for a unified model of validity）”。（Brennan，2006，第21页）在考试实践中，这种效度研究范式继续受到挑战，继续遭到质疑。人们发现，仅仅靠作为证据的“事实（fact）”或“可观察行为（observable
14、behavior）”并不足以对测验效度提供足够的支持。只有当“证据”与一些预设的“假设”结合在一起时，才能对测验提供支持。在考试领域中的一个重要的效度研究案例是美国教育测验服务中心（ETS）关于客观性选择题和主观性作文题的比较研究。选择题能否被用于考查写作能力？上世纪50年代初，在美国语文教学界曾经存在激烈的争论。为此，ETS从1954到1957年进行了一项长达3年的实证研究。ETS对英文写作水平考试（English Composition Achievement Test ，简称ECT，全部是选择题）、普通写作测验（General Composition Test， 简称GCT ，两小时的作
15、文考试）和学习能力倾向测验（Scholastic Aptitude Test，简称SAT，）的言语部分（全部是选择题）等三个考试进行了比较研究。采用的效标是语文教师对学生作文水平一年或一年以上的观察结论。1957年，ETS公布了他们的研究成果：SAT的效度最高，与语文教师基于长期观察对学生写作能力做出的主观评价最一致。其次是由客观性试题组成的ECT，最差的是由作文题目组成的GCT。5 正是由于这一项研究，才使其后的40年中客观性选择题成为美国语言能力测试的主要题型。这是一项关于选择题效度的研究。支持选择题效度的“证据”或“事实”是：选择题与效标之间的相关最高。要想从这一证据得到“选择题优于作文
16、题”的结论，需要一系列的假设。最主要的假设是：任教一年的语文教师对学生的写作能力的评价是有效的。同时，还包含假设：选择题的命题人与作文题的命题人具有相同的水平；作文题的评分人是合格的，可以给出正确的评分；任教一年的语文教师具有正确评价学生写作水平的能力；他们给出的评价具有可比性；他们的评价是认真负责的。显然，只有基于这一系列假设之上，“相关最高”的“证据”才能对选择题的有效性提供支持。这些假设都是可能受到质疑的。为了使结论具有说服力，需要回应这些质疑，需要对这些假设进行论证，有时候需要展开进一步的研究。对这些假设论证得越充分，结论越具有说服力。正是由于认识到仅仅凭借“证据”或“事实”不足以对考试效度提供支持，测量学家在效度研究中引入了基于非形式逻辑的图尔敏（Toulmin）论证模型中的概念“理由（Warrant）”。（Bren
