基于层次分析评估法的试题合格分数线确定【摘要】现代考试系统通过智能组卷策略从试题库中抽取题目，形 成试卷但现有的组卷策略还不能完全消除所抽取试题的难易度的差异 性，这样会导致考试结果的相对不公平性，基于此原因在决策领域就有必 要为测试成绩建立一个可行的合格分数线通过“目标-难度”层次分析 评估方法，计算得岀抽取试卷的合格分数线，可以较准确地判断出答题者 对各自抽取的试题的答题结果是否达到合格要求关键词】层次分析评估 组卷策略 合格分数线一、 引言随着计算机网络、数据库、人工智能等技术的发展，利用计算机进行 试卷的自动生成并逐步积累形成有效的试题库，使得对试题和试卷的管理 变得高效而便捷，极人提高教务考试的工作效率，使考试系统的管理逐步 走向正规化、自动化但在试题库建立及组卷策略的应用中，由于试题抽 取是随机进行的，无法控制，导致答题者有可能抽取试题库中不同难度水 平的不同题冃这样，就很难把握考试对于每个答题者的公平性利用题 目“目标-难度”层次评估法，针对每次抽取的试题确定其合格分数线， 判断答题者是否对此套试题达到合格水平，将很人程度上保证考试的公平 性二、 层次评估分析法 层次分析法，简称 AHP (Analytic Hierarchy Process),在 20 世纪 70年代中期由美国运筹学家托马斯?塞蒂正式提出。
它是一种定性和定量 相结合的、系统化、层次化的分析方法由于它在处理复杂的决策问题上 的实用性和有效性，很快在世界范围得到重视，它的应用已遍及经济计划 和管理、能源政策和分配行为、科学、军事指挥、运输、农业、教育、人 才、医疗和环境等领域层次分析法是把复杂问题分解成各个组成因索，又将这些因索按支配 关系分组形成递阶层次结构，通过两两比较的方式确定各个因素相对重要 性，然后综合决策者的判断确定决策方案相对重要性的总排序运用层次 分析法进行系统分析设计决策时可分为4个步骤：1 •进行建立层次结构模型在深入分析实际问题的基础上，将有关的各个因索按照不同属性自上 而下地分解成若干层次，同一层的诸因素从属于上一层的因素或对上层因 索有影响，同时又支配下一层的因索或受到下层因索的作用，最上层为目 标层通常只有1个因素，最下层通常为方案或对象层中间可以有一个或儿 个层次，通常为准则或指标层当准则过多时（譬如多于9个）应进一步 分解出子准则层2 •构造成对比较阵从层次结构模型的第2层开始，对于从属于或影响上一层每个因索的 同一层诸因素，用成对比较法1〜9比较尺度构成对比较阵，直到最下层, 通常使用1~9比例标度对重要性程度赋值。
3•计算权向量，并做一致性检验对于每一个成对比较阵，计算最大特征根及对应特征向量，利用一致 性指标，随机一致性指标和一致性比率做一致性检验，若检验通过，特征 向量（归一化后）即为权向量；若不通过，需重新构追成对比较阵4.计算组合权向量并做组合一致性检验计算最下层对目标的组合权向量并根据公式做组合一致性检验若检 验通过则可按照组合权向量表示的结果进行决策否则需要重新考虑模型 或重新构造那些一致性比率较大的成对比较阵三、组卷策略研究组卷算法是试题库管理系统的核心技术，是试题库管理系统的灵魂， 是基于专家知识的决策过程组卷过程是在考试人纲的题分、难度系数、 试题覆盖血、题型比例等约束都满足的条件下，根据经验和考试目的，调 用相应的组卷策略，设计出符合用户要求和一定约束条件的试卷模式；然 后再按试卷模式选取试题组成试卷；通过对不同的知识点赋予恰当的题型 组合，并在此基础上确定各考题的难度系数（难易程度），最终由具有这 样属性的试题构成考卷通常的组卷算法有：1 •随机选取法随机选取法以状态空间的控制指标为依据，随机抽取试题，此过程不 断重复，直到组卷完毕，或己无法从题库中抽取满足条件的试题为止该 算法的主要优点是简单、快速。
缺点是形成的试卷在覆盖面、难易度、重 复题率等指标上无法令人满意，组卷成功率低，主耍原因是这种算法很难 全面考虑试题的相关参数，因此该算法通常只能应用于简易的试题库管理 系统2.回溯试探法回溯试探法是通过建立一个按用户设置的组卷参数耍求的过滤模型， 将随机选取法产生的每一状态都记录下来，当搜索失败时释放上次记录的 状态类型,然后再依据一定的规律，变换一种新的状态类型进行试探,通 过不断地回溯试探直到试卷生成完毕或退回出发点为止这种有条件的深 度优先法，对于状态类型和出题量都较小的题库系统而言，组卷成功率较 好，但是在实际到一个应用时发现这种算法对内存的占用量大，程序结构 相对比较复杂；而且选取试题缺乏随机性，组卷时间长，这两点是无法接 受的3.遗传算法遗传算法是一种并行的、能够有效优化的算法，以基因理论及间断平 衡理论为依据，同时融合了边缘物种形成理论和一般系统理论的一些思 想，模拟达尔文的口然界遗传学：继承、进化、优胜劣汰其实质就是一 种把自然界有机体的优胜劣汰的自然选择、适者生存的进化机制与同一群 体中个体与个体间的随机信息交换机制相结合的搜索算法运用遗传算法 求解问题首先需将所要求解的问题表示成二进制编码，然后根据坏境进行 不断的所谓“生存选择”的基本，最后收敛到一个最适应环境条件的个体 上，得到问题的最优解。
但目前的组卷策略算法，重点研究的都是理论算法问题，很少考虑到 在组卷之后，对每个被试者的考试是否公平，因为抽取具体每道试题的难 度无法掌握，设立统一的合格分数线就无法体现考试的公平性四、基于题目“目标-难度”层次评估 对于传统的考试，作为一位有经验的任课教师，只要审察一下测验卷 中的每一个题日，便能判断考试的难易情况，甚至能够较准确地预计到参加考试的班级中具有不同能力结构的学生会有什么成绩对教师的这种经 验判断加以开发，并通过适当的方法步骤加以引导，就可以用来确定测验 的分数合格线 基于题目“目标-难度”层次分析评估来确定一个 测验的分数合格线时，其主要思想是根据对题目考查目标层次的认识以及 对题目难易程度做出的经验判断，把整个测试卷中所有题目按照两个特征 进行双向分类然后，由组卷系统根据组卷策略为每一类题冃指派一个临 界概率，这个临界概率就是设想一个尚可接受的最低能力的被试者，能够 正确回答该类题目的可能性大小，或者认为这一临界概率是对每一位被称 为合格的被试者提出至少应答对该类题0的比例大小（同概率值大小相 等）这种方法涉及二维评判，组卷策略要考虑设计一些所谓最低能力且 又是可接受的被试者，答对特定题冃或答对这类题冃的可能性。
这种方法 简述如下：第一步：组卷系统把一份测试卷中的所有题目按K个考查目标能力层 次进行分类（比如按布卢姆关于认知目标的六个层次来分），设这K类所 占分数分别为Ml, M2・・・Mk（若在组织试卷过程中有过测试蓝图设计，可直 接利用命题双向细冃表中的考查冃标层次界定及其相应题冃的权数）第二步：把上述每一类题目按照难、中、易分成三组，因此可得到更 细的分类计算各组题目的分数，就可得到测验题目双向分类下的数据块, 以矩阵的形式记为：第三步：设想一个可接受的最低能力的被试者，答对上述“第i个难度层次第j个能力冃标层次”所有题冃的可能性大小为Pij （这里i=l, 2,3； j二1, 2,…，K),得到一个概率矩阵，记为：第四步：计算该试验的最低合格分数，记为：五、 实例分析设计某次课程结业考试，其命题双向细目表的设计，题目可分成五个 目标层次(即五种题型)，K二5和难、中、易三种难度水平，得到如下双向 分类数据，如表1,记为：进一步地，若综合组卷策略及专家系统的智能评判，计算出一个尚可 接受的最低能力被试者，答对上述各组命题的概率如表20则该次被试者抽取试卷考试的分数合格线可定为：E二5 X 0. 45+1 X 0. 30+2 X 0. 10+6 X 0. 10+— + 15 X 0. 80+2 X 0. 90=60. 30 (分)如果被试者超过其选择试题的分数合格线，其能力水平基本符合测试 要求，这将成为其最终测试是否达到标准水平的重要依据。
六、 结论将基于题目“目标-难度”层次分析评估法应用于考试系统，配合组 卷策略及相关专家系统，按照“目标-难度”两个特征对题目进行双向分 类，应用二维评判，确定被试者抽取到的各口试卷的合格分数线，判断被 试者是否对此套试题达到合格水平，并且保证考试的公平性参考文献：[1] 张洪祥，李秀菊•对考试难度和及格分数线的初步探讨[J]•教育 科学，1987, (3)： 50-56.[2] 韩宁•如何确定及格分数线[J].上海教育科研,1989, (5):40-42.[3] 王伏华，蒋源•基于层次分析法的动态评估研究[J]•软件导刊， 2012, 11 (2)： 8—9.[4] 潘良明•灰色层次评估法[J]•系统工程,1992, 10 (5)： 45-51・[5] 肖洋，王骁，刘凤新•考试组卷算法研究[J]・北京化工大学 学报，2006, 33 (4)： 44-47.[6] 陈磊，姜薇•通用考试系统的设计与实现[J]・计算机工程与设计, 2007, 28 (17)： 4285-4289.[7] 黄光扬•教育测量与评价[M] •上海：华东师范大学出版社，2002.[8] 张建同，吕碧玉•基丁假设检验方法的考试及格线确定[J]•统计 与决策，2009, (3)： 165-166.[9] 赵守盈，何妃霞，刘妍.Rasch模型在学绩测验质量分析中的应用 [J]•教育研究与实验,2013, (1)： 87-91.基金项目：辽宁省科学技术计划项目(编号：2013405003)o。