《基于Web的自适应历年测验考试系统》由会员分享，可在线阅读，更多相关《基于Web的自适应历年测验考试系统（7页珍藏版）》请在金锄头文库上搜索。
1、基于Web的自适应考试系统一、背景简介随着社会的进步和商品经济的不断发展，社会对劳动者和技术人员的知识和能力水平的要求越来越高。考试作为衡量人的能力的重要手段，在现代生活中的地位进一步提高，并深入到社会的各个方面。各种各样的学历考试、资格证书考试层出不穷。同时，随着科学技术的不断发展，考试的手段和媒介也在发生着革命性的变化。从传统的纸笔考试到计算机辅助考试，到最新的基于Web的考试。如何运用高新技术，并客观、准确地评估人的知识和能力水平，已成为研究的热点问题。二、考试理论的发展当前，考试的指导理论主要有两种：1以真分数理论为代表的经典测试理论（CCT），2项目反应理论（IRT）。经过了近百年的
2、发展，经典测试理论建立了一系列题目分析的公式，如表示难度的p值，表示区分度的题目与测试相关系数，估计分数真值的标准误差及由此推算出来的信度公式等。经典测试理论对建立试卷、考分转换与等值等均有一套较为完整的方法。但此理论仍有不够完善的地方：考生分数和题目难度有着密切关系，即题目难度是相对于考生而言的。如何使得题目参数稳定，不受受测样本影响，项目反应理论正是在这种背景下出现的。 项目反应理论是以受测者的回答问题的情况，经题目特征函数的运算，推测受测者的能力。根据参数的不同，特征函数可分为单参数、双参数和三参数三种模式，公式如下： 单参数模式： （1） 双参数模式： （2） 三参数模式： （3） 其
3、中： D1.702 ： 受测者能力值 a：题目的区分度 b：题目的难度 c：题目的猜测系数 ：能力为 的人答对此题目的概率 根据特征函数可画出题目的特征曲线，图一为典型的三参数模式的特征曲线： 图一 从图一中可以看出 1 a参数，题目的区分度，即特征曲线的斜率，它的值越大说明题目对受测者的区分程度越高。 2 b参数，题目的难度，即特征曲线在横坐标上的投影。 3 c参数，题目的猜测系数，即特征曲线的截距。他的值越大，说明不论受测者能力高低，都容易猜对本道题目。 项目反应理论同经典测试理论相比，具有以下优点： 1 题目参数估计更为准确。 2 全面解决考试等值问题。 3 定义了信息函数这一综合质量指
4、标，作为更科学地挑选题目的标准。 4 适合编制自适应考试系统。 三、计算机化自适应考试（Computerized Adaptive Test） 图二在传统考试中，对于每个考生而言，题目中只有一部分是符合自己真正能力的，其余的题目要么简单，要么过难。由于IRT具有参数不变性，它不受测样本影响，同时可以根据题目的信息量，选择难度与受测者能力相匹配的题目。所以以IRT理论为指导，建立计算机化自适应考试（CAT）系统是现实可行的。 CAT是指在以IRT理论为基础建立的题库之上，不断地根据题目的各方面信息和受测者的答题情况估计受测者的能力，然后从题库中选取符合受测者能力的题目进行测试，直到达到预定的测试
5、精度要求，即可结束考试。整个测试过程如图二所示： 下面对CAT系统进行测试的各个环节加以详细描述。 1 建立题库 题库是进行测试的基础，高质量的题库应具有优质、量大、等值、动态可扩充等特点。CAT题库的建立有以下几个步骤：1选择模型，首先应选择适应的IRT模型，如常用的三参数logistic模型。在此模型的基础上上，建立题库中题目的规格标准。2题目的开发，开发应按题库命题的规格标准进行，应注重不同知识内容与能力层次、不同难度和不同题型的结合，对开发的试题应组织审查，确保题目的质量。3题目参数的确定，主要是对题目IRT各参数值的确定，一般有两种途径：一是经试测后统计分析，另一种是由专家进行评估后
6、，再采用统计方法确定参数。4题库的动态维护，基于CTT的题库在建库完成后，一般无法再进行题库的扩充，而基于IRT的题库却由于IRT理论具有参数不变性等优点，题库的扩充变的更为容易，只需安排一些连接题目与新题目相混合进行试测，就可以将新题目的参数值与旧题目的参数值统一到一张量表中来。 2 参数初始化 参数的初始化是指在受测者在进行测试之前，对受测者的能力值进行初始估计，一般有以下几种方法：1选择中等难度的试题，即假定受测者的能力为中等，在题库中随机抽取难度为中等的题目，作为测试的开始点。2根据历史记录确定受测者的初始能力值，受测者可能参加过测试，可以根据以前的测试记录决定此次的开始题目，或根据以
7、前其他受测者的测试记录决定开始题目。3受测者自行选择，由受测者自行决定自己的能力程度，选择测试起始题目。 3 能力估计 正确估计受测者的能力是CAT顺利进行的前提，最常用的方法是极大似然估计法。若以 表示能力为 的受测者对题目j的反应为 (若答对， 1；答错， 0)的概率。则 （4） 其中： n：题目数 ：受测者答对第i题的概率 ：受测者答错第i题的概率 公式4通常称为似然函数，我们要对每一个反应向量（ ）求出相应的 值，使似然函数的值为最大。我们以Newton-Raphson法(公式5)逐次迭代,求出能力的极大似然估计值 。 (5) 其中： 为第t+1、t次迭代的能力估计值。 ; ; D：1
8、.702 i：题目编号 ：第i题的区分度、难度、猜测系数 ：受测者答对第i题的概率 ：受测者答错第i题的概率 ：受测者的反应（答对为1，答错为0） 采用极大似然估计法估计受测者能力值的最大好处是简便实用，它比较适合于题目较多的情况，在其它情况下，我们可以采取Bayes方法，或采取将两种方法相结合的途径估计受测者能力。 4 选择题目 不断抽取和受测者能力相适应的题目是CAT的基本原则。通常，我们利用IRT题库中题目的最大信息函数来确定所选择的题目。IRT用题目的信息函数 来表示题目参数与受测者能力的关系。 （6） 其中： ：受测者能力估计值 ：第i题的区分度、难度、猜测系数 信息量具有可加性，可
9、以随时估计一组试题施测的信息量的总和。 对于不同能力的受测者，题目有不同的信息量，信息量取最大值时，它所对应的能力值即是最适合于采用此题目测试的人员的能力值。因此，在CAT系统中，根据前面推测的能力值，系统搜寻相应信息量最大的题目进行测试。另外，还可以采用Bayes方法选取试题。它是以能力估计值在测试之后的改变作为选择标准，即选择使得能力估计值在测试之后改变最小的题目进行测试。 5 终止条件 通常以达到测试的最大容量作为测试的终止条件。另外，还可以以能力估计值达到预定的精度要求作为终止条件，即当受测者的能力估计值逐渐稳定下来时，便可以结束测试。 三、基于Web的自适应考试系统Internet技
10、术的发展使得考试的技术手段和载体发生了革命性的变化，Internet的开放性、分布性的特点和基于Internet的巨大的计算能力使得考试突破了时间和空间的限制。基于Internet的考试系统正成为人们的研究热点之一，如在英国，已经实现了英语资格考试的网上学习和水平认证全过程。 计算机网络技术的发展和自适应考试理论的日渐成熟使得基于Web的自适应考试系统成为现实。基于Web的自适应考试系统可以发挥网络的优势，建立大型、高效、共享的题库和实现随时随地的考试，降低考试成本，并使得对于受测者的评测更为正确和客观。 我们采用Browser/Server结构和Client/Server结构相结合的方法实现
11、基于Web的自适应考试系统。其中，面向少量用户的题库子系统出于简便、安全等方面的考虑，采用Client/Server结构实现，而考试子系统采用基于Web的方式完成。 题库子系统主要完成IRT题库的建立及维护工作。其功能结构示意图如图三所示： 图三 题库子系统有三大功能：1题库的建立。首先应确定试题的模式，如试题的题型、分值、层次、要求等。然后进行题目的录入，在录入过程中，应进行即时监控，以确保题目的正确性和一致性。录入后的题目需经过预测或专家评测后运用统计方法确定题目的IRT参数（区分度、难度、猜测参数等）。2题库的维护。应具有基本的管理功能，如添加、删除、更新题目等，在题库扩充是，应注意连接
12、题目的选择及新增题目参数的确定。同时还应具有方便的查询功能，用户可以根据题型、难度或复合条件查询题库中的题目。3系统的管理，包括日常的管理工作（如用户身份验证、数据的存储管理等），还应有一定的统计分析功能，它可以将题库的质量等指标反馈给管理者，作为题库发展的依据。 考试子系统完成在线测试工作。系统采用基于Internet的三层模型实现，三层应用模型同传统的客户机/服务器模型相比，提高了系统的可扩展性、安全性和可重用性。它将应用逻辑与用户界面和数据访问相剥离，这样便使系统的维护变得简单，同时简化客户端功能，用户只需有浏览器，即可使用CAT考试系统。其系统结构示意图如图四所示： 在考试子系统中，客
13、户端的任务主要是：确定考试的起始点与结束点、与用户交互、题目的呈现、估计用户能力值。Server端负责处理用户的登录请求和对用户考试记录的更新，同时接受客户端的请求，在IRT题库中选择与用户能力估计值相应的题目。 整个系统工作流程如下： 用户经过客户端的界面代理和考试代理向Server发出登录请求。Server端的考试代理接收用户请求后，通过用户记录代理查询用户资料库，以决定是否接受用户登录。若通过，则根据用户的记录确定考试的初始题目，返回给客户端。在考试中，界面代理处理与用户的交互，并负责试题的呈现工作，客户端的考试代理通过界面代理得知用户的反应，便可经过计算估计用户的能力值。首先判定是否以
14、达到考试的预定测试要求，如达到，则考试结束，向Server端传递相应信息。如未达到，则向Server端的考试代理请求与该能力估计值相适应的题目，同时传送用户答题时的反应数据（如答题时间、反应类型等）。Server端图四 的考试代理接受用户反应数据后，通过用户记录代理更新用户的考试记录。并将客户端的题目请求传送给相应题库代理。相应的题库代理查询IRT题库，选择库中最适合该用户测试的题目，即相对该能力估计值的题目信息量最大的题目，返回给Server端的考试代理。考试代理将题目返回给客户端的考试代理，并通过界面代理呈现给用户。在考试结束后，用户便可即时通过客户端的分析代理得知自己的考试信息，如考分、
15、在整个考试中能力估计值的变化曲线等信息。还可得到分析总结后的数据，使得用户可以改进日后的学习。在Server端，也有相应的系统监控模块，它负责整个系统的协调管理。同时也对系统的运行数据进行统计分析，以促进系统的改进。 出于对Internet环境的考虑，我们在以下几个方面作了改进： 1、 进行在线考试时，计算量主要集中在两大部分：一是客户端对受测者的能力的估计，二是Server端对于题目的选择。其中第二部分的计算对系统整体性能影响较大。如果很精确地找到符合受测者测试的题目，需要根据题目的IRT参数和用户能力的估计值，计算各试题的信息函数，并从中选出信息量最大的题目，而这需要大量的计算，在Internet并发的环境下，服务器的负载变大，从而延长了用户的等待时间。而响应时间对用户来说很重要，如果等待时间
