考试评估管理信息系统

《考试评估管理信息系统》由会员分享，可在线阅读，更多相关《考试评估管理信息系统（6页珍藏版）》请在金锄头文库上搜索。

1、 1997年 第3期 中山大学学报论丛 SUPPLEMENT TO THE JOURNAL OF SUN YATSEN UNIVERSITYNo13 1997考试评估管理信息系统裴夏清 黄培根 (中山学院,广东中山528403)摘 要 建立考试评估管理信息系统是实现教学管理和教学评估科学化、现代化的一项重要手段。本文介绍教学总结性考试评估的指标和管理信息系统设计方案,给出框图。 关键词 管理信息系统,教学管理,考试,评估翻阅高校教学评估的文件,大多数有考试结果呈正态分布的要求,如果问及如何验证 正态分布,考试结果分析中还有哪些教学反馈的重要信息,怎样从纷杂的试卷中整理出这 些信息?往往会发现理

2、论与实践在这里脱节。教学总结性考试的质量分析、评估仍停留在 经验性评论阶段,无法准确地反映学生的学习情况和教师的的教学情况。为了适应教学内 容的巨大变革,教学管理手段必须有相应的新突破。对考试数据作科学、客观、全面地定量分析,并在此基础上对考试及教学定性评估,具有反馈教学及改进考试的实际意义。对 考试结果的统计分析研究是高校教学评估的重要组成部分, 80年代以来国内已有深入的 理论研究13,并在选拔性考试中实际运用多年。目前教学管理部门迫切需要针对教学 总结性考试评估的应用性研究成果,以支持和促进教学改革的深入开展。运用数理统计方 法对考试结果作分析评估是一项枯燥艰辛的工作,不到迫不得已没有人

3、愿意对试卷“大动 干戈” 。建立考试评估管理信息系统,为这项工作提供了技术可行性,为教育理论到教学 实践的飞跃插上了翅膀。考试评估管理信息系统可作为教学评估的一个子系统,教学评估 的应用研究综合了计算机管理信息系统、教育统计学、教育测量学、教育管理学等多学科 的研究成果,有广阔的发展前景。1 考试分析主要指标 考试结果分析的指标较多,考试类型不同(选拔性考试、教学总结性考试或常模参照 考试、目标参照考试) ,考试评估所处阶段不同,指标体系也有所不同。高校教学总结性 考试大多属目标参照考试,其评估可分为三个阶段。111 评估初级阶段 目前绝大部分院校已运行计算机学生管理信息系统对考试结果大多有简

4、单的数量分析,但评估指标一般尚局限在最高分、最低分、算术平均分、三项或五项(优秀率、 不及格率)指标。如中山学院19921996各学年采用的算法按 6ni= 1学分 成绩/6ni= 1 学分排序遴选优秀学生,虽比人为经验评论和手算5项指标有较大的进步,但由于原始分数不具有等值性,用几门课的原始分相加后求平均分为依据评判学生欠科学,尤为突出的 缺陷是无法反映出教学、命题、考试等环节的有关问题,对考试的分析还没有量化。112 评估提高阶段 综合运用教育测量学、计算机管理信息系统等学科成果,建立计算机考试评估管理信息系统,将评估指标扩大,设置原则是现阶段教学总结性考试分析所需 要,又切实可行的指标:

5、如标准差(含各考生的标准分)各题的难度系数、区分度、整个考试的效度等,并用数理统计方法判断考试是否呈正态分布,绘出频数直方图。以上分析 是建立试题库必不可少的一环,大部分数据可提供教学评估参考。系统使用者主要是教学管理部门,评估对象是合格课程、重点课程的评估、检查及题库建设;教学、考试出现问题的课程检查。与题库系统有共同点但使用者和侧重点有所不同。113 评估发展阶段 在评估内容方面对数据进一步做各类相关分析,评估指标逐步扩大,如考试信度、评分信度等。除量化的分析结果外,还将形成教学专家系统。在动态考试评估管理中完善各科试题库系统。在规模和计算机管理形式上宜尽早联入校园网和中国教育 科研网,以

6、及时为各级教学管理部门提供教学反馈信息、教学管理信息,并可供各校交流管理经验,集百家之长,丰富教学专家系统和题库系统。随着考试评估系统的成熟和普遍推广应用,以及教师、管理干部的职业道德、业务素质的提高,系统使用者将不仅仅局限于教务处。各学系、各教研室、大部分任课教师将变被动为主动,运用系统分析各自教学性考试结果,不断提高教学质量,完善题库,实现真正意义上的教考分离。随着学生素质 的提高,校园学术氛围的浓郁,部分题库内容可上网,供学生主动学习和自我测评,为实现虚拟学校、远距离教育等现代化教学目标奠定基础。以下是我校考试评估提高阶段使用的指标体系,也是发展阶段的基本评估指标。各项指标计算如下: (

7、其中max , min ,?x等常规指标略述)。(1)某次考试的标准差SS=1 n6ni= 1( x-?x)2(1)(2)某个考生的标准分ZZ=( X-?X) / S(2)(3)某个试题的区分度DD=( XH-XL) / NO(3) 公式的注释详见参考文献。(4)某个试题的难度系数q难度系数q是最大平均得分率1与平均得分率之差,q= 1 -p(4) 其中p是平均得分率p=( N/ NO)(5)(5)某次考试的统计量2统计量2俗称卡方,用于检验分数是否呈正态分布,计算较复杂。首先根据数据分组后各分点的标准分,查表求得正态分布函值。其次运用下式求各组的概率分布值: pi=各组上端点的分布函数-下端

8、点的分布函数,最后运用公式(7)求得统计量22=6ni= 1( V-npi)2npi(6)式中,pi为各组的概率分布值,N为参加考试的总人数,V为各组频数。最后作正态分布检验,例如当题量M= 8,自由度为M- 3 = 5。设置信度为0102,查表求得20102,5=131388,某次考试统计量2 131388因此这批数据呈正态分布。631中山大学学报论丛 1997年(6)某次考试的效度RR=D/ N(7) 式中分子部份为各题难度系数之和,N为试题总数。在标准化考试中效度应不低于0145。在教学总结性考试中,指标可适当降低。 考试信度是一个重要指标,算法公式较多,分别适应于各种不同题型。需要指出

9、教学总结性考试一般属目标参照考试,而众多的信度相关系数计算公式是针对常模参照考试 的,不宜用来衡量目标参照性考试。 以上评估指标的计算仅依赖人工,即使计算出少量指标也会因时效和计算准确度等失 去反馈教学的实际意义。建立考试评估管理信息系统是教学管理工作上台阶的必由之路。2 考试评估管理信息系统的设计教学总结性考试评估系统的功能不同于选拔性考试评估系统,也不同于题库系统。现 对系统设计环境和系统结构、主要功能作简单介绍。211 系统设计环境 文献4着重于题库管理,对正态分布验证和频数直方图等未见阐 述,而这是考试分析必需的。其优点是计算机管理信息设计选用了优秀的系统设计环境。 文献4对考试分析各

10、项指标有详细的论述,缺陷是采用的系统设计环境为编译BA2SIC。考虑到FoxPro215 for Windows不仅运行速度比编译快,窗口界面友好,方便一般教 学管理人员使用;并且在目前国内有众多 3BASE系统设计人员,便于推广应用,较易更 新改进,因而系统设计使用FoxPro215数据库管理系统。212 考试评估管理系统的结构与主要功能 考试评估系统由主控模板和9个子模块组成。 有数据输入子模块,基本计算子模块,2计算子模块,难度系数、区分度计算子模块,效度、信度计算子模块,打印输出子模块(含频数直方图输出)。考虑到信息资源共享设 有试题库接口模块,学生信息接口模块。在输入学生成绩和各试题

11、满分等基本数据后,系 统自动计算出最高分、最低分、平均分、标准差各考生的标准分等基本分析数据,并检验 数据是否呈正态分布,一般呈正态分布的试卷才进一步分析考试效度等指标。难度系数、 区分度在合理范围内的试题建议收入试题库。指标差别不大的需改进后收入题库。分析全部结束后,打印输出分析结果和频数直方图。提供命题组采用人机对话方式修正题库,命 题组最好含任课教师,教学研究人员,教学管理人员,系统工作人员。对不服从正态分布 的试卷一般由任课单位或个人分析原因,在需要的情况下系统也可分析效度、信度及影响 各指标的因素供参考。(1)主控模块:主控模块控制9个子模块的运行权。初次操作者可根据提示逐步熟悉教学

12、总结考试评估的运行环境、步骤。框图如图1。 (2)数据输入子模块:系统要求输入考试课程、考试日期、班级、试卷满分、题数、各题满分等考试基本数据和各考生学号、各题得分等数据。该模块有自动校验功能,可查重、 查空,对各题得分大于该题满分,各题得分之和大于100分等错误显示出错信息,便于纠 错。提高系统可靠性。在数据校验后可自动算出整份试卷得分。设有光电扫描器机读输入 功能,便于标准化考试自动判卷。731第3期 裴夏清等:考试评估管理信息系统考试评估管理 系统主控模块数据 输入 模块基本 指标 计算 模块难度 区分 度 模块正态 分布 检验 模块效度 信度 计算 模块图表 显示 打印 模块试题 库

13、接口 模块学生 信息 接口 模块系统 维护 模块图1 考试评估管理信息系统图(3)正态分布子模块:基本指标计算模块和难度、区分度等模块计算较简单,具体功能略述。正态分布检验子模块流程图如下:开始 确定分组数M及 各分点标准差值 调用ZTFB子程序查表 求各点的正态分布函数值 调用GLFB子程序 计算各组的概纺分布值 调用XF子程序 计算统计量2 A图2 正态分布检验子模块流程图(4)效度信度计算模块:系统提供多种算法供用户根据不同情况计算信度。由于众多的信度算法是针对常模参照考试,不宜用来衡量目标参照性考试,因而在教学总结性考试中,信度计算结果只能作参考,或暂不作要求。(5)接口模块:考试评估

14、系统与题库系统在区分度、难度、效度等指标上有共同点,并且考试评估结果可作为题库建设的重要参考依据,因而系统设置与题库系统的接口。学生成绩的输入量较大,在已建立的学831中山大学学报论丛 1997年生信息管理系统的学校可利用该系统的数据转换到考试管理系统中。系统设置了与学生系 统接口的模块。使用 3BASE系列的系统,可利用APPENTD语句将学生管理信息系统数 据转换到考试评估系统内。采用LOTUS123的可在主命令菜单中用T转换命令将DBF数 据库文件转换为WKS工作表文件。提倡实现数据资源共享,避免重复输入及所产生的误 差。教学总结性考试大多属目标参照性考试,是高校范围最广,数量最大的考试

15、,目前大 多采用非标准化主观性试题,与国家高考(选拔性考试)国家英语统考(常模参照考试) 有所不同。在各科标准化试题库未完善阶段,这类考试质量的评估方法值得研究。其评估 指标范围应与标准化的选拔性考试有所区别,其中信度指标的计算方法、指标范围有待立项探讨。 计算机考试评估管理信息系统是在新形势下全面提高教学质量必不可少的教学管理手 段。计算机管理信息系统解决了计算工作量庞大和管理工作复杂等难题,并且使工作质量 得到可靠保证,消除了依靠经验性评论而产生的因人而易的水平、印象等主观因素造成的 误差,使评估结果较客观公正,反馈到教学中,有利于教学质量的提高,有利于教学管理科学化。 应用实例统计样本“

16、微机接口技术”计算机94班考试。考试日期1997年1月14日,该班参加考试学生68人,考试题目15题,题型有非标准化计算题、综合题(54分)。标准化客观选择题(16分)、填空题(30分)。考试结果分析情况如下:表1 “微机接口技术”考试分析结果统计表考试科目:微机接口技术 考试日期: 01/ 14/ 1997 班级:计算机94 统计日期: 03/ 09/ 1997 最高分: 94 最低分: 33 算术平均分: 7113 标准差: 13172 试卷效度: 01465 题号12345678 满分66477444 难度系数(q)01380141012201320134013301410152 区分度(D)01330158014901450126014801390155 题号9101112131415 满分4888101010 难度系数(q)012201310142