《Rasch 模型在研究生入学考试质量分析中的应用.doc》由会员分享，可在线阅读，更多相关《Rasch 模型在研究生入学考试质量分析中的应用.doc（9页珍藏版）》请在金锄头文库上搜索。
1、Rasch模型在研究生入学考试质量分析中的应用赵守盈 何妃霞 陈维 罗杰 关丹丹摘 要 本研究运用Rasch模型对2010年全国硕士研究生入学考试心理学专业基础综合考试进行分析。研究结果表明，该试题总体上是一套高质量的测验，试题的内容覆盖了所有能力水平的考生，且能够较好地区分考生的能力水平，达到了预期的选拔目的。但通过Rasch分析也发现在试题中有个别题目没有达到预期的测量目标，可以考虑在今后的工作中对其做出相应的修改。基于Rasch模型的试题分析能为考生能力和试题质量分析提供更多的测量信息。关键词 研究生入学考试；Rasch模型；质量分析作者简介 赵守盈，贵州师范大学教育科学学院院长、教授、
2、博士、硕士生导师；何妃霞，贵州师范大学教育科学学院研究生；陈维，贵州师范大学教育科学学院讲师；罗杰，贵州师范大学教育科学学院讲师（贵阳 550001）；通讯作者：关丹丹，教育部考试中心（北京 100084）一、引言我国的硕士研究生入学心理学专业基础综合考试是为高等院校和科研院所招收心理学学科的硕士研究生而设置的具有选拔性质的统一入学考试科目（教育部考试中心，2006）。自2007年起，全国心理学专业硕士研究生考试实行全国统一考试（简称“统考”），目前绝大多数拥有心理学硕士点的高等院校和科研院所都参加了统考。实行统一入学考试的目的是为了能够更科学、公平、有效地测量、评价、鉴别考生掌握心理学学科大
3、学本科阶段专业基础知识、基本理论、基本方法的水平和分析问题、解决问题的能力，它对“优化初试，强化复试”，确保心理学学科硕士研究生的入学质量等具有重要的意义和作用。1心理学统一考试的试题由教育部考试中心统一命制，在每次考试前，教育部考试中心都会发布每年的考试大纲（全国硕士研究生入学统一考试心理学专业基础综合考试大纲）。大纲既是命题的依据和方向，也是考生进行专业复习的指导性资料。作为心理学硕士研究生入学考试改革的一项新措施，截至到2010年，我国心理学硕士研究生入学统考已经实行了4年，统考试题的质量如何，测量的目标和试题的结构是否符合大纲要求、各个心理学学科比例分配是否恰当，试题的难易程度，试题内
4、容是否具有较宽的知识覆盖面，试题是否科学、客观、公平地测量了考生的能力等一直是广大考生及招生单位关注的敏感性问题。现代测量理论中的Rasch模型为针对这些问题的研究与论证提供了一种新的框架与启示。Rasch模型是由丹麦数学与教育学家GRasch（19011980）于1960年所提出来的一个用来测量潜在特质的概率模型。2运用传统的测量理论指导测验编制和测验质量检验分析难以克服测验依赖和样本依赖的问题，且被测者的能力估计和试题的难度估计彼此干扰，不能实现测量的客观等距目标。作为潜在特质模型，Rasch模型实现了测量的客观等距尺度。Rasch模型通过被测者在试题上的作答反应（原始分数）来测量潜在变量
5、或潜在特质，其可以是能力、人格特质、态度、兴趣或价值观等。Rasch模型的基本原理：特定的被测者对特定的试题做出特定反应的概率可以用个体能力与该试题难度的一个简单函数来表示。个体回答某一试题正确与否完全取决于被测者的能力与试题难度之间的比较。Rasch模型通过对数转换，可以将被测者和试题在同一把单维尺度上进行标定，基于各自在此单维度连续体上的位置，被测者与被测者之间、试题与试题之间、被测者与试题之间可以方便地进行直接比较。3总之，Rasch模型是以自然科学领域的客观测量为标杆，为社会科学领域内的测量建立了一套客观标准，以确保测量所提供的信息更为客观和可靠，为解决教育和心理科学领域内测量的客观性
6、问题提供了一个可行性很高的解决方案和启示。4本研究拟运用Rasch模型对2010年全国硕士研究生入学考试心理学专业基础综合考试进行处理与分析，以评价心理学入学统考，并为今后进一步修订和完善考试大纲、改进命题方案、提高考试命题质量提供相关的测量学参考依据。二、对象与方法（一）研究对象2010年全国心理学硕士研究生入学考试心理学专业拟招生人数为2275人，本研究主要对2010年全国心理学硕士研究生入学考试心理学专业基础综合统考的2678名考生的测验分数进行数据抽样，抽取了2000名考生在75道客观测验题目上的作答结果。（二）程序与数据处理 采用SPSS15.0对收集到的原始数据进行清理和转化，得到
7、有效数据2000个，使用WINSTEPS软件对数据分数进行Rasch分析，其中主要包括变量图、拟合情况以及气泡图的分析。三、结果与讨论（一）变量图Rasch模型通过对数转换，转换成等距的logit，将考生和试题放到同一坐标系中进行标定，可以方便而直接的比较考生与考生、考生与试题、试题与试题的差异，同时可以依据学生的能力预测其在未实施的题目上的表现。5图1呈现了考生的能力和试题难度水平之间关系的变量图。图1 考生-题目关系的变量图图1左边呈现的是考生能力水平分布，右边是试题的难度水平分布，最左边的数字是logit单位。由图1从下往上，随着考生的能力水平增高，试题的难度水平增大。靠近图顶端的考生能
8、力水平最高，试题难度也最难，位于底部的考生能力水平最低，试题最简单。考生之间的距离代表了考生之间的能力水平差异，试题间的距离则表示试题难度水平的差异。试题的难度水平与考生的能力水平越接近，对考生能力水平的估计越精确。从图1可看出，试题的难度分布约为6.2个logit，考生的能力分布约为4.5个logit，这说明试题的内容覆盖了所有能力水平的考生，大多数试题难度水平的分布与考生能力水平的分布接近，可以对考生的能力水平作出较精确的估计。同时，图1也清晰地呈现了试题难度的顺序，从负向到正向刻度，其中题目30最简单，题目73最难。而试题间的距离也很重要，试题间的距离代表了试题间难度的差异。根据图1，大
9、多数试题集中分布在2个logit范围内，试题间难度的分布是合理的。（二）数据与Rasch模型的拟合Rasch模型是一个理想化的数学模型，要求所收集到的实证数据必须满足事先规定的标准和结构，才能实现客观测量。4、6表1呈现了考生的Rasch模型试题信息，即测量数据与Rasch模型的拟合情况。表1 样本学生的Rasch模型题目信息表从表1可知，Outfit MNSQ的取值范围在0.781.28之间，Infit MNSQ的取值介于0.521.78之间，Outfit MNSQ 和Infit MNSQ的取值大多数都是在可接受范围（0.51.5）以内7，这说明本次测量数据与Rasch模型的拟合较好。而Ra
10、sch标准误主要表示试题在测量考生能力水平时的稳定性，误差越小，说明试题对考生能力水平的估计越稳定，即题目的信度越高。从上表可知大多数题目的Rasch标准误较小，说明该试题的信度较高，但其中有少数几个题目的Rasch标准误较大，如题目2、7、30分别为0.10、0.12、0.13，从图1可以看出，他们的难度水平较低，因此，在估计学生能力水平时误差较大。此外，相关系数则代表试题与试题测量目标的拟合程度，通过积差相关系数显著性检验的公式得出，相关系数的最低可接受水平约为0.03，相关系数越高，说明题目与试题的测量目标越接近，从表1中发现大多数试题（除试题73、61）的相关系数处于可以接受的水平。（
11、三）气泡图本研究除了报告变量图、考生的试题信息表，也报告了气泡图的结果，见图2。图2 样本学生气泡图图2中，每个气泡代表一个试题，气泡大小代表了Rasch标准误，气泡位置代表试题Outfit MNSQ参数大小，试题越靠近顶端，难度水平越大。从图2可知，大多数试题的Outfit MNSQ参数值在0.51.5范围内，即数据与模型拟合较好。有少部分气泡重合在一起，说明试题难度水平接近。当然也发现试题2、7、30和73 的位置与其它试题明显分离，说明这四个题目与其它题目的难度水平差异较大。题目太难或太易对考生能力水平估计的Rasch标准误也较大，从表1也可以看出其相应的Rasch标准误较其他题目大。四
12、、讨论本研究通过变量图、试题信息表以及气泡图等方面对2010年全国心理学硕士研究生入学考试心理学专业基础综合统考分数进行Rasch分析。Rasch模型能够估计测验试题之间、考生之间以及测验试题与考生之间的关系，可以在同一个图形中使用等距的单位来描述考生和试题的潜在特质。89就变量图而言，大多数试题的难度水平与考生的能力水平比较接近，而且试题难度水平的logit值大于考生能力分布的logit值，也就是在本次测试中试题的内容很好的覆盖了所有能力水平的考生。当然个别试题也存在难度不够或难度太大的问题，如试题30在所有考题中最简单，试题73在所有试题中最难的，所以可以考虑适当增加试题30的难度，减小试
13、题73的难度。同时通过试题间的距离可以了解试题间难度水平的差异，大多数试题集中分布在2个logit范围内，试题间难度的分布是合理的。就测量数据与模型拟合的情况来看，Rasch模型使用Outfit MNSQ 和Infit MNSQ两个参数来衡量收集到的数据与模型的拟合程度，Outfit MNSQ和Infit MNSQ值为1表示数据与模型完全拟合，Outfit MNSQ 和Infit MNSQ参数在0.51.5之间都是可接受的。7从表1可知大多数试题的Outfit MNSQ 和Infit MNSQ参数都是在0.51.5之间，这表明本次收集的测量数据与Rasch模型的拟合是比较好的，但个别试题的拟合
14、值也不是特别好，如试题61、73和42的Outfit MNSQ 和Infit MNSQ参数不是很理想，分别是1.47和1.39，1.14和1.78，1.28和1.41。这意味着考生在作答这些题目时，部分高能力水平的考生未能正确回答该题，而低能力水平的考生答对了该题。所以可以根据考试大纲适当对这些试题进行调整和修改。此外，根据Rasch标准误和相关系数，也发现试题61、73的质量不是特别理想，分别是0.00和-0.03，说明这两道题目偏离了试题的测量目标，没有很好的测量出所要施测的目标，对考生的能力水平进行估计时误差较大。其中61题的难度处于中等水平，应能对考生的能力水平做出正确估计，但从表1可
15、以看出，其Outfit MNSQ和Infit MNSQ值较大，相关系数为-0.03，说明该题偏离了测量目标。通过随机抽取20名2010级心理学研究生对这两道题目进行解答并分析，发现对于61题，一部分学生不能确定是A还是C，还有一部分学生认为B和D都有可能。因此，该题Outfit MNSQ和Infit MNSQ值较大，可能是由于题干和备选答案让学生比较困惑，使得大部分学生靠猜测来做答该题。70题是整套测验中最难的题目，通过对2010年心理学专业基础综合考试大纲查阅，发现内隐记忆的实验是大纲要求考生掌握的知识点，但高等院校比较权威的教材中对这个知识点的介绍较少，主要介绍了内隐记忆的概念及其与外显记
16、忆的关系10,实验心理学对内隐记忆的重要性及其与外显记忆的实验分离进行了详细阐述11，但没有深入涉及用于内隐记忆研究的加工与分离程序。所以可以考虑对其做出进一步的修改，以提高试题的质量。此外，题目2、7、30是较简单的题目，Rasch标准误较大，应提高其相应的难度水平，以提高试题的信度。最后通过气泡图发现大多数试题的Rasch标准误、Outfit MNSQ的取值大多数都是在可接受的范围内，这说明本次收集的数据与模型拟合较好。而且通过气泡图也发现各试题的难度水平比较接近。同时也发现试题30和73 的位置与其它试题明显分离，说明需要对这两个题目做出相应的修正以提高其命题质量。五、结论本研究运用现代测量理论Rasch模型对2010年全国硕士研究生入学考试心理学专业基础综合统考试题的质量进行分析。研究表明，2010年全国心理学硕士研究生入学考试试题是
