十一语言测试的效度

《十一语言测试的效度》由会员分享，可在线阅读，更多相关《十一语言测试的效度（7页珍藏版）》请在金锄头文库上搜索。

1、十一语言测试的效度1 效度(validity) A measure is valid if it does what it is intended to do, which is typically to act as an indicator of an abstract concept (for example height, weight, time, etc.) which it claims to measure. The validity of a language test therefore is established by the extent to which it su

2、cceeds in providing an accurate concrete representation of an abstract concept (for example proficiency, achievement, aptitude). 效度就是测验测到它打算测的东西的程度，或者说，是根据测验分数所作出的推论的恰 当性程度。一项语言测试，它测的到底是什么；对设计者打算测量的某种心理属性，它测得的程度 如何；根据测试的结果，可以作出怎样的推论与解释。诸如此类的问题都与测试的效度有关。2效度的种类效度通常有如下几种： 结构效度/构念效度/构想效度(construct valid

3、ity) 内容效度(content validity)效标关联效度(criterion-related validity)，包括同期效度/同时效度(concurrent validity)预期效度(predictive validity) 表面效度/表层效度(face validity)(1)结构效度/构念效度/构想效度(construct validity) 概念构想效度是指测验成绩能够解释心理学理论上的某种结构或特质的程度。所谓构 想，是指心理学理论所涉及的抽象而属假设性的概念、特质或变量，如智力、能力倾向、行 为习惯、成就动机、人格结构等。语言测验的作用是测出人的语言能力，这就要求我们首

4、先要提出关于语言能力的构 想，亦即我们要说明所谓的语言能力是什么东西、有什么性质。由于语言能力在人的大脑里， 到目前为止我们还不能直接看到它，也不能测量它，所以，我们关于语言能力的构想是带有 假说的性质的。 验证、确定构想效度的方法结构效度验证，就是要考察一个测验，测到这种结构与特质的程度。因为结构效度 验证的着重点，是在考察测验测到某种心理结构或推论出某种心理结构这一点上，所以，结 构效度验证的过程，通常是从定义结构的应有含义开始，说明某一特质的心理学意义是什么， 跟其他特质有何关系，跟具体的可观察的行为有何关系。然后，根据这种理论定义，推出一 些可能存在的假设，再利用测验去检验这些假设，看

5、看这些假设能否成立。若能成立，测验 的结构效度就得到了证实。就心理测量而言，确定构想效度的步骤和方法是：首先根据一定的心理学理论建立某种 心理品质的理论结构；然后根据这一理论结构提出有关测验成绩的假设；最后用逻辑和实证 的研究由果求因来验证提出的假设。就语言测试而言，建立结构效度通常包括以下步骤：(1)提出或选择关于语言能力的理 论假设；（2）对预计要测量的语言能力进行操作性定义；（3）设计和开发测验；（4）考察测 验分数与其他语言能力效标的关系；（5）检验测验对理论的拟合程度；（6）技术性修改，而 后重复（4）、（5）；（7）修正理论假设，重复（2）后所有步骤。验证构想效度的定量研究方法1）

6、相关分析我们检验测验的不同部分之间或不同的测验之间的相关程度，以此来确定测验能否得到 这方面证据的支持。例如，一个语法测验和一个阅读测验，如果有正相关，说明他们测 的可能是同一个构想，如果没有相关或是有负相关，可能说明它们测的是不同的构想。2）因素分析/因子分析我们通常的考试或测验，一般都包含多个试题（有的是成百个）或多个分测验，考试与 测验的总分，是由所有这些试题或分测验的成绩所决定的。但是，这些试题与分测验并不都 是完全独立、互不相关的。相反，其中许多或好几个试题与分测验，可能是相同地测查或基 本上共同地测查某一特质的；或者说所有这些试题或分测验，可能划分为若干个组，每个组 共同测查或大致

7、共同测查同一个方面的东西。这些组的个数，当然比原来考试或测验所包含 的试题与分测验个数要少。这样，整个测验的分数，就可用这少数几个变量或因素来加以解 释，从而使问题显得更为简化与明确。所以，对测验资料作因素分析，搞清测验实际上所测 查的因素主要有几个，正是测验结构效度验证的一个重要方面或一个重要办法。例如 APIEL（Advanced Placement International English Language）考试是美国“大 学委员会”（The College Board）为要进入英语国家的大学或科研机构学习深造的非英语国 家的学生而设计的高级英语分级水平测验。经中国“全国大学英语四、六

8、级考试委员会”与 美国“大学委员会”共同协商，1999年6月3日在中国四所重点大校（复旦大学、上海交 通大学、南京大学、浙江大学）对200名中国大学生进行一次CET6和APIEL考试之 间的对比研究，考试结束后全部APIEL试卷材料寄美国APIEL考试委员会评阅，并承认考试 成绩。Pattern Matrix(a)Factor123CET6_LC1.594-.026-.025CET6_LC2.855-.011-.037CET6_RC,005-.039.569CET6_VS,125.088.380CET6_CL-.021.162.500CET6_WR.370.282.082AP_LC.633-.

9、015.262AP_W1-.077.865.021AP_W2,240.555.028AP_SPK.419.111.116AP_RC,004-.073.795Extraction Method: Principal Axis Factoring. Rotation Method: Oblimin with Kaiser Normalization.3）多特质-多方法分析（MTMM）这种方法基于求同效度验证（convergent validation）和求异效度验证（discriminant validation ）的思想：所谓求同效度验证就是说，两个测验如果是测量同一特质的即使不同的方法进行测量

10、， 它们间的相关应该也是高的。所谓求异效度验证就是说，两个测验如果是测量不同特质的，及时采用的是相同的方法 进行测量，它们间的相关也应该是低的。例如：有三种不同的特质T1、T2、T3，分别用三种不同的方法M1、M2、M3测量，得到如下MTMM矩阵：M1M2M3.64 、.17 .37 :X 、 、.、 ；.22、67.1必:、 、；: 、 :.31.17 、.56T1 ,、.73.10 .43；、 1 I 、Ii 、.、M3 T2 ； .10、.63、.17 .%、 I1 II、,:顼T3L_.35.16- .52（以上数据引自张凯语言测验理论与实践，P155）图中，在主对角线上圆括号中的，是

11、各测验的信度系数；三个较短对角线上的红字是用不同方法测同一特质所得分数的相关（效度系数） （比如，.86是分别用M1和M2对T1测量所得分数的相关）；实线三角形中的数字是以相同的方法测量不同的特质所得到的分数之间的相关 （比如，上边第一个三角形中的.28是用M1分别测量T1和T2所得分数之间的相关）;虚线三角形中的数字是以不同的方法测量不同的特质所得到的分数之间的相关 （比如，第一个虚线三角形中的.32是用M1测量T2所得的分数与用M2测量T1所得 分数之间的相关）。如果所编测验有恰当的结构效度，那么，用不同方法测同一特质而得分数的相关（即效 度系数），就应高于用同一方法测不同特质而得分数的相

12、关。如果情况不是这样， 测验就没有恰当的结构效度。（2）内容效度（content validity）内容效度是指测试的内容与预定要测试的内容之间的一致性程度，也就是测试内容对所 要测试的全部内容的取样代表性程度的高低。从“取样的代表性”可以看出一项测试的试题 在多大程度上代表了预定要测的内容范围。考察一项测试是否具有较高的内容效度，可以看：（1）该测试的内容范围是否明确；（2） 该测试的取样是否具有代表性。在大多数情况下，一个测验不可能包含所有的测验内容。例如，一个词汇测验中有50 个词汇项目，编制这样一个测验的目的，不仅仅是想知道被试是否掌握了这50个词，而是 想知道他是否掌握一大批同类的词

13、（比如说5000个）。在上面的例子中，5000个词是我们所要测量的内容，我们把它叫做“内容范围”，意思 是，我们所测的内容都在这个范围之内；测验中出现的50个词，是内容范围的一个有代表 性的样本。所谓内容效度检验，就是确定测验的题目对一个内容范围是否有很好的代表性。检验内容效度有定性的逻辑分析法和定量的统计分析法两种方法。检验内容效度的定性方法建立内容效度至少要包括以下几个步骤。 定义内容范围。 聘请一组语言测验和语言教学的资深专家。 制定测验题目和内容范围的匹配原则， 根据匹配原则进行检验。 聘请一组语言测验和语言教学的资深专家一一建立专家效度 制定试题与内容范围的匹配原则一一双向细目表检验

14、内容效度的定量方法检验内容效度的定量指标： 题目与项目匹配的百分比； 重要项目匹配的百分比； 项目权重与代表这些项目的题目数的相关（按:权重越大，相应项目的题目数越多）； 题目-项目的一致性指数； 没有反映到测验中的项目的百分比。通过对照考试大纲，可以了解测验内容结构和范围是否能全面而深入地反映考生的汉语 能力，借以评定HSK的内容效度。建立内容效度的困难： 确定内容范围。很难定义一个清楚的、不含糊的语言或语言应用的内容范围，即使 是在教学和成绩测验中，我们也很难穷尽性地列出学生所可能完成的语言作业。因 此，测验对内容范围的代表性很难精确地说出来。 推断的准确性问题。即便我们能把内容范围中的所

15、有项目都穷尽性地列举出来，也 能根据被试答对的题目来推断他能做什么，却无法推断他不能做什么。内容效度有一定的局限：第一，它是用测验内容证明测验有效，这属于自己证明自己； 第二，证明内容效度的方法是主观性的而非实证性的。因此，仅仅证明测验内容有效，并不 是对测验有效性的充分证明；测验有效性还需要一些外部证据。（3）效标关联效度（criterion-related validity）1）概念效标关联效度要验证的问题或检验的假设是，测验分数，跟测验外的、作为测验是否有 效的标准的测量之间的相关一致性；因为测验分数是据以作出推断的实际根据，所以可被称为预测者或预测原（predictor）；而测验外变量的直接和独立的测量，是被预测的东西， 也是当作预测是否正确亦即测验是否有效的标准的东西，所以可被称为效标（Criterion）。预 测原分数和效标测量值之间的相关一致性如何，就是效标关联效度要验证的。一般说来，可作为效标的东西无非是两种：另外一个（或一些）