《试卷的合理均衡分配和评判反评判体系的构建》由会员分享，可在线阅读，更多相关《试卷的合理均衡分配和评判反评判体系的构建（22页珍藏版）》请在金锄头文库上搜索。
1、试卷的合理均衡分配与评判和反评判指标体系的构建试卷的合理均衡分配与评判和反评判指标体系的构建摘要摘要本文就试卷评阅的几个方面作了对比分析，在试卷分配方面利用 0-1 规划的 分层多目标规划解决了试卷的合理分配问题；在对分数的统计排名方面，建立 基于关联度分析的试卷综合排名，并对评委评分的评分准确性进行排名，建立 评委的评卷水平对试卷排名的反馈体系。比较发现，以上方法均优于传统的试 卷评阅方式。 对于问题一，本文根据题中抽象出的约束条件建立基于 0-1 整数分层多目 标规划，实现了试卷分配的均衡分散型好的目标。在每份试卷有 4 位评委评阅 的情况下，任意两份试卷间的相同评委数和同一学校的试卷的分
2、散性同时实现 了较好（结果详见表 3 和表 4） 。 对于问题二，本文基于最大相关度理论，将不完全打分矩阵转化为完全打 分矩阵，消除了传统阅卷形式中因评委评分尺度不同造成的排名失真；同时在 消除并列排名的问题；最后证明了本文的模型在对评委出现误判的情况下，具 有较强的纠错能力（结果详见表 8 和 5.2.4） 。 对于问题三，本文基于问题二中构建的完全打分矩阵引入偏差度，建立识 别评委作用的反馈控制，给出了对评委打分排名的反评判指标体系；对问题二 中引入的案例二求解，得到带反馈值的试卷排名（结果详见表 11 和表 13） 。 对于问题四，本文引入实际案例三，根据各个完全评分子模块的稳定性， 引
3、入修正系数。每个子模块的初始分数与各模块对应的修正系数即建立起具有 相同评分标准的打分系统，实现全部试卷的真是排名；同样的根据评委打分的 偏差度，得到了评委的排名（结果详见表 16 和表 17） 。关键字：关键字：0-1 规划规划 多目标规划多目标规划 相关度相关度 偏差度偏差度 修正系数修正系数一、一、问题重述问题重述在大学生数学建模竞赛 A 题的评卷工作中，M 个评委（M 个评委来自不同的学校）要完成 N 份试卷的打分，竞赛试卷来自 K 个学校，第 j 个学校有竞赛试卷份，为节省人力，每份试卷只要由其中 p（ p M K N ）个评委进jl行打分就行.1 根据回避原则，要求评委不能阅自己学
4、校的试卷，请给出试卷合理的均衡分配方案的数学模型，使各评委阅卷工作量均衡；试卷分配均衡分散。 （这里试卷分配均衡分散有下面两个因素要考虑，见后。 ）给出试卷合理的均衡分配方案的计算机程序，要求用 MATLAB 或 C 语言编写。输入参数为 p ，M ， K ，N ，输出为各评委分别阅卷的号码，就下列实例给出问题的答案。实例：某省有竞赛试卷 368 份，16 个评委阅卷，40 所学校，p 取 3-5 自己设定，如下表 1：jl表 1jl6956554910987654321频数111121222336872传统的评阅方式是：每份试卷只要由 34 个评委进行打分， （若取 4 个评委， 则去掉一个
5、最低分）按剩下的有效分求和，按分数排名决定名次。试给出你认 为更好的试卷排名的评判指标体系，要说明比传统的评阅方式好在哪里。3给出对评委打分排名的反评判指标体系。该方法要求对每个评委的水平(公 平性)给出评价。4有文献资料证明：对于完全评分矩阵(即全体评委评阅全部试卷)，无论评委评分尺度如何，总可以给出试卷的最好真实排名和反评判问题的评委排名。基于这一思想，全部试卷分配时按矩阵(a)类似情形分成 35 个完全评分子块(两省联合阅卷能做到试卷合理的均衡分配方案)，每一子块当然能决定该子块试卷的最好真实排名和反评判问题的评委排名，问题是由这些结果如何决定全部试卷的最好真实排名和反评判问题的评委排名
6、？二、二、基本假设基本假设1、 各评委都是独立的给出试卷的分数，不存在评委之间的讨论； 2、 评委对每份试卷评判除了误判的情况，不存在刻意的提高或压低分数； 3、 试卷存在真实的、令绝大多数评委信服的排名； 4、 试卷分配在每一个模块中的试卷质量是均匀的； 5、 学校之间存在水平的差异，每个学校中的学生也存在水平差异，但是平均 来说学校间的水平差异更明显；三、三、符号说明符号说明符号符号含义含义M参与评卷的评委个数N上交试卷的总数K参赛学校的个数p评阅每份试卷的评委的个数ijx第 个评委是否评阅试卷ij,m nP任两份试卷具有相同的评委的评委数的集合ijs第 个评委对第 份试卷的评分ij/jS
7、jS修Sj反馈第 份试卷的得分/修正得分/反馈得分jija生成的完全打分表中的第 个评委对第 份试卷的评分ij5 5C任意两评委间评分关联度矩阵ijw第 个评委对第 份试卷的打分与准确分的偏差iji第 个评委的打分的准确性权重iiMOD第个评分子模块ii第 个子模块的修正系数iid第 个评委的打分偏差度i四、四、问题的分析问题的分析4.1 问题一问题一本题要求完成试卷的分配任务，建立分配的数学模型并对给出的实例进行解 答。因为试卷的数量比较大，如果按照常规的评分方式即每一个评委都评阅所 有的参赛试卷，则工作量特别大，难以在短时间内实现。所以现在需要建立一 种新的分配模式，既要反映评卷的公平性又
8、要减少工作量。 在这种分配模式中要遵循 3 个原则：回避原则，多人评阅原则，均衡原则， 2 个评价指标：均衡分散指标 1，均衡分散指标 2。以以上 3 个必须遵守的原则 为约束条件，2 个评价指标为目标建立多目标规划。因为题中没有给出个评委的出处，但在生活习惯中评委的产生经常是随M 机的，即为评卷的公平性起见，在比赛之初便形成人组成的试卷评委库，他K 们分别来自个学校。评卷开始时由评委会从人的评委库中随机的抽出名KKM 专家担任评委。4.2 问题二问题二传统的试卷评阅方式因为本身是不完全评分矩阵，由于部分评委的评分尺 度的把握不同，会造成最终的累加分数不能真实的反应试卷的真实排名。而如 果评阅
9、方式是完全评分矩阵的形式，则可以避免因为部分评委评分尺度的不同 而造成的排名失真问题。但是由于工作量的制约难以实现所有评委的完全打分， 所以可以利用现有的不完全评分矩阵，寻找评分尺度关联度最大的评委，利, i j 用 评委的打分来补全 评委打分的缺损，进而建立补全的完全评分矩阵，实现ji 准确的排名。 另外，传统的评阅方式即使是采用完全评分矩阵，能够克服评委评分尺度造成的排名失真。但是其简单的叠加积分方式：会出现并列排名的情 1pij iSs况，通过构造的补全完全评分矩阵和多次迭代计算可以消除并列排名现象。4.3 问题三问题三在问题二中重新建立了试卷的评阅模型，讨论的主要是对评委打出的不完全
10、打分表的处理方式，以期通过评委的打分真实的反应试卷的真实水平，最后的 排名能与实际中客观存在的试卷的水平排名尽量吻合。但是实际中评委的评卷 水平也是有差距的，水平高的评委打出的分数与该试卷的客观真实的分数偏离 比较小，这种评委打出的分数准确度也高；而有些评委则水平较低，打出的分 数与实际偏离比较大，其打出的分数准确度也比较低。 在确定评委评卷水平的时候我们引入了评委评分的准确性矩阵，用来衡W 量评委对每份论文评分的偏差程度。 在确定了各评委的评卷水平以后，则可根据各评委的评卷水平确定出各评委的打分准确度，据此再将作为每个评委的打分权值反馈到试卷评阅工ii作中，对个试卷的分数重新计算，即可确定新
11、的各试卷的得分和排名。本题中依然使用问题二中引入的案例。4.4 问题四问题四问题四中建立了一个新的分卷评卷的体系，将一个大的评卷规模分成若干个小的规模，评委组也分成若干组，评委组和试卷组则形成了子模块。iMOD在每个模块内部实现完全打分，此时每个模块都能给出试卷的最好真实排名和反评判问题的评委排名。但是和间的评委打分却存在尺度偏差问题，iMODjMOD这种偏差我们可以用模块平均分之间的差异来衡量，并据此差异引入对各模块的修正系数，以此来消除模块间的差异问题。i根据得到的模块的修正系数，则可以在整个评卷系统内以较一致的标准i对各试卷进行评分和排名；对评委的评卷水平进行评估。本题中引入了案例三。五
12、、五、模型的建立与求解模型的建立与求解5.1 问题一问题一5.1.1 模型的准备模型的准备各因素的统一编号各因素的统一编号因为所给的学校、试卷、评委等都是有一定联系的，为了更好的反应其中的关 系便于统一使用，需要对 3 者进行统一的编号。 1） 学校编号 按上交试卷份数的多少排序，如上交份数最多的学校为 01 号，依次类推， 直至号；K 2） 试卷编号 试卷号码编排分为两个步骤：一、试卷评阅委员会给个学校分号段；二、各 学校根据评委会分得的号段给各个参赛队编号，再将具体编号信息反馈给评 委会。如评委会将 0169 号段分给 01 号学校，01 号学校在将自己学校 的 69 份试卷从 0169
13、编号，并将具体信息反馈给评委会。 3） 评委编号 评委编号都与其出自的学校编号一致，即来自 01 号学校的评委编号为 01 号。目标与约束条件的解释目标与约束条件的解释 根据题中信息提取出了 2 个目标和 3 个约束条件，现对其解释如下： 1） 目标 1均衡分散原则 1： 任意两份试卷出现的相同评委越少越好。 2） 目标 2均衡分散原则 2： 分配在每一个评委手中的试卷质量最好是好、中、差分布较为均匀。虽然没 有直接给出分试卷的质量等级，但是各个学校的水平是有差距的，可以N 以学校的平均质量来衡量分试卷的质量，如果 01 学校的水平高，则认KN 为 01 学校的试卷质量普遍好于其他学校。所以在
14、分配试卷时只要实现每个 学校的试卷被均衡分配到各评委（自己学校的评委不能参评）即可认为每个 评委手中的试卷质量是均匀的。 3） 约束 1回避原则：评委不能评阅自己学校的试卷。即 01 号评委不能评阅 01 号试卷。1l4） 约束 2多人评阅原则： 为了体现评阅的公正性，每份试卷都需要被多位评委评阅。即每份试卷被评 阅的次数等于参与评阅的评委人数。根据同种所给为取值为35。pp 5） 约束 3均衡原则： 各评委工作量要均衡，即每位评委评阅的试卷份数要形同。结合约束 2 知：每个评委需要评阅的试卷份数为：pNnumM当 p 分别取 3,4,5 时每位评委评阅的试卷份数的期望值为：评阅次数345 期
15、望值69921155.1.2 模型的建立模型的建立建立矩阵 行分别对应位评委，列分别为份被阅试( )M NijAx =MMNN卷。为矩阵中的元素，表示第 i 个评委是否评阅第 j 份试卷，在此引入ijx0-1 规划：ij0, 1, ijx第个评委不评阅第份试卷第i 个评委评阅第j 份试卷=则对应的目标和几个约束条件可表示为： 1） 目标目标 1均衡分散原则均衡分散原则 1：任意两份试卷出现的相同评委越少越好。令 其中且1, 10, imin ixxD其他=,1,2,.,Nm n=mn则对任一组给定的，令，则是由个数组成,m n, 1Mm ni iPD,m nP2 NC的集合，则目标 1 的数学
16、表示式为：其中且( )11,min zmax m nfxP=,1,2,.,Nm n=mn2） 目标目标 2均衡分散原则均衡分散原则 2：各校试卷被尽可能均衡分到各评阅评委手 中。第 k 个学校的试卷分数为，则该校试卷被均衡送到各评委手中的kl期望分数为，第 i 个评委评阅的第 k 校的试卷分数为，klp M11 11kkkklijjlx-=+则目标 2 的数学形式为：其中( )11 1222 1 1min zkkkkl M k ij i jllpfxxM-= =+=- 1,2,.,kK3） 约束约束 1回避原则回避原则：自己学校评委不阅自己学校试卷。引入变量，其定义为：i表示第 i 个评委编号与矩阵的行号数的对应关系，采用“随机机制”iA产生评委，则需要通过 变换得到，建立相应的变换关系。则约束 1 的ii数学表示为：，其中
