心理测量学课件-第六章 标准参照测验的设计与编制

《心理测量学课件-第六章 标准参照测验的设计与编制》由会员分享，可在线阅读，更多相关《心理测量学课件-第六章 标准参照测验的设计与编制（37页珍藏版）》请在金锄头文库上搜索。

1、第六章第六章 标准参照测验的设计与编制标准参照测验的设计与编制 江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心引子引子够水平的通过，不够水平的通不过够水平的通过，不够水平的通不过不够水平的通过了，够水平的没过不够水平的通过了，够水平的没过心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心目录目录标准参照测验概述标准参照测验概述 1标准参照测验的信、效度与误差控制标准参照测验的信、效度与误差控制 2划界分数设置方法与被试评价划界分数设置方法与被试评价 3心理测量学心理测量学江西师大心理与教育统

2、计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心第六章第六章 标准参照测验的设计与编制标准参照测验的设计与编制标准参照测验概述标准参照测验概述1心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心第一节第一节 标准参照测验概述标准参照测验概述定定义义编编制制用用途途心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心一、标准参照测验的定义一、标准参照测验的定义 v戈莱塞

3、（戈莱塞（1971）：）：“所谓标准参照测验，是根据某所谓标准参照测验，是根据某一明确界定的内容范围而缜密编制的测验，并且，一明确界定的内容范围而缜密编制的测验，并且，被试在测验中所得结果，也是根据某一明确界定的被试在测验中所得结果，也是根据某一明确界定的行为标准直接进行解释的行为标准直接进行解释的”。v当使用的标准是用内容材料定义的，即为掌握某领当使用的标准是用内容材料定义的，即为掌握某领域知识和技能的比例，这时测验就被称为内容参照域知识和技能的比例，这时测验就被称为内容参照测验（测验（domain-referenced test）。）。心理测量学心理测量学江西师大心理与教育统计测量中心江西

4、师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心一、标准参照测验的定义一、标准参照测验的定义v若已知测验分数和某个外部效标有关，则可用被试若已知测验分数和某个外部效标有关，则可用被试在效标上的表现直接解释测验分数，这种测验被称在效标上的表现直接解释测验分数，这种测验被称为结果参照测验为结果参照测验（result-referenced test）。心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心二、标准参照测验的编制二、标准参照测验的编制心理测量学心理测量学江西师大心

5、理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心三、标准参照测验的用途三、标准参照测验的用途 广泛应用于教广泛应用于教育教学实践，育教学实践，如教师自编测如教师自编测验、自定进度验、自定进度的教学系统等的教学系统等 各类教育水平、各类教育水平、职业水平测试，职业水平测试，采取了标准参采取了标准参照测验的编制、照测验的编制、施测、记分和施测、记分和解释模式解释模式用用 途途心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心第六章第六章 标准参照测

6、验的设计与编制标准参照测验的设计与编制标准参照测验的信、效度与误差控制标准参照测验的信、效度与误差控制2心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心第二节第二节 标准参照测验的信、效度与误差控制标准参照测验的信、效度与误差控制 项项目目分分析析 信信度度分分析析 效效度度分分析析心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心一、标准参照测验的项目分析一、标准参照测验的项目分析（一）测验项目的难度分析（一）测

7、验项目的难度分析v标准参照测验对题目难度的要求则侧重题目的代表标准参照测验对题目难度的要求则侧重题目的代表性。性。v如果题目对要考察的内容范围有良好的代表性，即如果题目对要考察的内容范围有良好的代表性，即使通过率很高或很低也应该保留下来；使通过率很高或很低也应该保留下来；v如果题目相对要考察的内容范围而言，不具备很好如果题目相对要考察的内容范围而言，不具备很好的代表性，即使中等左右通过率的题目也应修改或的代表性，即使中等左右通过率的题目也应修改或删除。删除。心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中

8、心一、标准参照测验的项目分析一、标准参照测验的项目分析（二）测验项目的区分度分析（二）测验项目的区分度分析心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心一、标准参照测验的项目分析一、标准参照测验的项目分析（二）测验项目的区分度分析（二）测验项目的区分度分析心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心一、标准参照测验的项目分析一、标准参照测验的项目分析（二）测验项目的区分度分析（二）测验项目的区分度分析心理测

9、量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心二、标准参照测验的信度二、标准参照测验的信度 分类一致分类一致性信度性信度 荷伊特荷伊特信度信度 心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心二、标准参照测验的信度二、标准参照测验的信度（一）分类一致性信度（一）分类一致性信度 心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心二

10、、标准参照测验的信度二、标准参照测验的信度（一）分类一致性信度（一）分类一致性信度心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心二、标准参照测验的信度二、标准参照测验的信度（二）荷伊特信度（二）荷伊特信度 心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心三、标准参照测验的效度三、标准参照测验的效度 内容内容 结构结构 绩效绩效 从内容入手寻找从内容入手寻找效度证据，可以效度证据，可以借助专家判断的借助专家判断的

11、方法，也可以通方法，也可以通过经验规律、统过经验规律、统计等方法进行分计等方法进行分析。析。 从理论结构入手从理论结构入手寻找效度证据有寻找效度证据有几种方法，常见几种方法，常见的有聚合效度法、的有聚合效度法、区分效度法和因区分效度法和因素分析法，其中素分析法，其中又以因素分析法又以因素分析法最为常用。最为常用。相关系数大小受相关系数大小受分数分布的影响，分数分布的影响，不适用于标准参不适用于标准参照测验。下张介照测验。下张介绍一下标准参照绍一下标准参照测验通过绩效或测验通过绩效或结果来验证效度结果来验证效度的评估方法。的评估方法。 心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心

12、理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心三、标准参照测验的效度三、标准参照测验的效度心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心第六章第六章 标准参照测验的设计与编制标准参照测验的设计与编制划界分数设置方法与被试评价划界分数设置方法与被试评价 3心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心第三节第三节 划界分数设置方法与被试评价划界分数设置方法与被试评价 判判断断法

13、法 实实证证法法 综综合合法法 心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心一、判断法一、判断法整体整体判断法判断法 Nedelsky方法方法 Angoff方法方法 Ebel方法方法 Angoff修正法修正法 判断法判断法心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心一、判断法一、判断法 v（一）整体判断法（一）整体判断法 v每位专家从整体上对测验和内容范围进行判断，提每位专家从整体上对测验和内容范围进行判

14、断，提出符合标准的最低能力水平被试正确回答的项目的出符合标准的最低能力水平被试正确回答的项目的比例。然后将所有专家的分数平均，作为划界分数。比例。然后将所有专家的分数平均，作为划界分数。 心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心一、判断法一、判断法v（二）（二）NedelskyNedelsky方法方法v第一步由每位专家对每个题目判断临界水平考生都第一步由每位专家对每个题目判断临界水平考生都能够排除的反应数；能够排除的反应数；v第二步，记录下剩余的反应数的倒数；第二步，记录下剩余的反应数的倒数；v

15、第三步，将该份测验中所有项目的倒数的和记为第三步，将该份测验中所有项目的倒数的和记为A A，作为该专家确定的临界水平考生的可能分数；作为该专家确定的临界水平考生的可能分数；v最后一步，对所有专家的最后一步，对所有专家的A A值进行平均，即为最低通值进行平均，即为最低通过分数。过分数。 心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心一、判断法一、判断法v（三）（三）Angoff方法方法心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心

16、理与教育统计测量中心一、判断法一、判断法v（四）（四）EbelEbel方法方法 心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心一、判断法一、判断法v（五）（五）AngoffAngoff修正法修正法v这种方法划分了与这种方法划分了与EbelEbel方法不同的两个维度，一个方法不同的两个维度，一个维度为被试完成测题所需要的能力（如记忆和理解维度为被试完成测题所需要的能力（如记忆和理解等），另一个维度是每题的测量目标（如词汇、语等），另一个维度是每题的测量目标（如词汇、语法和阅读理解等）。然后计算划界分数与

17、法和阅读理解等）。然后计算划界分数与EbelEbel方法方法的过程就一样了。的过程就一样了。 心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心二、实证法二、实证法 vGlass（1978）将）将9年级学生测验成绩的中位数作为年级学生测验成绩的中位数作为一所中学毕业证书考试的最低标准；一所中学毕业证书考试的最低标准；v有人采取低于团体平均水平一个标准差的方法确定有人采取低于团体平均水平一个标准差的方法确定截点；截点；vBlock（1972）提出一种）提出一种“教育效果法教育效果法”，试图建立，试图建立测验

18、分数与学习效果的函数关系，他提出存在一条测验分数与学习效果的函数关系，他提出存在一条S型的学习曲线，分界分数在曲线的拐点周围；型的学习曲线，分界分数在曲线的拐点周围；v还有人提出，当通过率与达标比率一致时，可以采还有人提出，当通过率与达标比率一致时，可以采用通过率确定及格线的参考标准。用通过率确定及格线的参考标准。心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心三、综合法三、综合法 临临界界组组法法 对对照照组组法法 JaegerJaeger方方法法 心理测量学心理测量学江西师大心理与教育统计测量中心江

19、西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心三、综合法三、综合法v（一）临界组法（一）临界组法v1982年，年，Livingston和和Zeiley提出由专家判断和选择提出由专家判断和选择一组正处于临界水平的被试，将测验施测于该组被一组正处于临界水平的被试，将测验施测于该组被试，计算他们在测验上的平均成绩，以确定测验的试，计算他们在测验上的平均成绩，以确定测验的内容范围所要求的临界水平。内容范围所要求的临界水平。 心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中

20、心三、综合法三、综合法v（二）对照组法（二）对照组法v1.选择熟悉被试的专家；选择熟悉被试的专家；v2.让专家判断一组被试为掌握组，另一组被试为非让专家判断一组被试为掌握组，另一组被试为非掌握组，不太容易判断的被试一概剔除；掌握组，不太容易判断的被试一概剔除；v3.对两组被试进行施测；对两组被试进行施测；v4.在同一坐标系上画出两个被试组的分数分布图在同一坐标系上画出两个被试组的分数分布图（见图（见图6-6）；）；v5.将两个组的交叉点设置为划界分数。将两个组的交叉点设置为划界分数。 心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心

21、江西师大心理与教育统计测量中心三、综合法三、综合法v（二）对照组法（二）对照组法心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心三、综合法三、综合法v（三）（三）Jaeger方法方法v1. 1. 每位专家先完成这份测验。每位专家先完成这份测验。v2. 2. 每位专家对问题每位专家对问题“当地每个要毕业的中学生都应能正确当地每个要毕业的中学生都应能正确回答这道题吗？回答这道题吗？”作作“是是”或或“否否”回答。回答。v3. 3. 确定每组专家所建议的通过分数分布，计算每组专家中确定每组专家所建议的通过分数

22、分布，计算每组专家中各项目的是各项目的是- -否反应数目。否反应数目。v4. 4. 告诉每位专家一组告诉每位专家一组1111年级的学生（比毕业生低一个年级）年级的学生（比毕业生低一个年级）在某测验项目上的通过率和组内其他专家对某测验项目的评在某测验项目上的通过率和组内其他专家对某测验项目的评定。定。v5. 5. 允许专家根据上面信息修改他们最初的评定。允许专家根据上面信息修改他们最初的评定。v6. 6. 每组专家建议的通过分数的中数作为该组设置的标准。每组专家建议的通过分数的中数作为该组设置的标准。 心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与

23、教育统计测量中心江西师大心理与教育统计测量中心复习与思考复习与思考v1简述标准参照测验的编制过程。简述标准参照测验的编制过程。v2标准参照测验的区分度分析有几种情况，它们之标准参照测验的区分度分析有几种情况，它们之间有什么关系？间有什么关系？v3什么是分类一致性信度，如何计算？什么是分类一致性信度，如何计算？v4举例说明标准参照测验几种划界分数的设置方法。举例说明标准参照测验几种划界分数的设置方法。v5试比较标准参照测验与常模参照测验效度分析的试比较标准参照测验与常模参照测验效度分析的异同。异同。心理测量学心理测量学江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心江西师大心理与教育统计测量中心