《竞赛网评结果的评价与分析》由会员分享，可在线阅读，更多相关《竞赛网评结果的评价与分析（13页珍藏版）》请在金锄头文库上搜索。
1、2015江西财经大学数学建模竞赛（B题）竞赛网评结果的评价与分析参赛队员: 参赛队编号：2015年5月22日5月27日2015江西财经大学数学建模竞赛承 诺 书我们仔细阅读了江西财经大学数学建模竞赛的竞赛章程。我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮件、网上咨询等）与队外的任何人研究、讨论与赛题有关的问题。我们知道，抄袭别人的成果是违反竞赛规则的, 如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。我们郑重承诺，严格遵守竞赛规则，以保证竞赛的公正、公平性。如有违反竞赛规则的行为，我们将受到严肃处
2、理。我们参赛选择的题号是（从A/B/C中选择一项填写）： 我们的参赛队编号为 参赛队员 (打印并签名) ：队员1. 姓名 专业班级 队员2. 姓名 专业班级 队员3. 姓名 专业班级 日期： 2015 年 5 月 27 日2015江西财经大学数学建模竞赛编号和阅卷专用页参赛队编号：2015011参赛队员填写参赛队员姓名所有数学类与计算机类课程成绩（意愿参加全国竞赛者填写）是否选修建模课程是否愿参加全国竞赛在校获奖项目阅卷填写，参赛者不得填写评分(百分制)评阅人最 终 得 分小组评价负责人阅卷专家评语备注1、是否选修数学建模：指本学期是否选修了数学建模课程2、是否有意愿参加全国竞赛：指参加今年的
3、全国大学生数学建模竞赛，一经选定，不得退赛，否则将建议学生所在学院给予处分。培训时间：2013年8月5日开始。江西财经大学数学建模竞赛组委会 2015年5月15日制定竞赛网评结果的评价与分析摘 要合理地评价竞赛成绩是一个重要的教育问题，本文定量分析了竞赛的网评结果与最终成绩间的相关性，建立了能合理度量评委基本素质的指标体系，同时还比较了不同题目的评委之间的整体差异。由于数据文件给出的是网评成绩的原始分，因此需要先将其换算成标准分。为便于解答问题，本文使用Matlab将原数据按照评委序号而非论文序号归类进行排列。对于问题一，虽然文件未给出最终成绩的绝对分数，但是可以用转化为虚拟变量的获奖名次作为
4、最终分数的代理变量。利用有序多分类的Logistic回归，对网评标准分总分与获奖名次进行相关性分析，SPSS的回归结果表明网评成绩与最终成绩间有显著的正相关性。对于问题二，本文从两个方面来度量评委的基本素质：（1）同一评委对不同论文打分的方差大则说明此评委基本素质高；（2）同一篇论文，单个评委的评分与评委组的评分均值间的偏差的方差小，则说明此评委基本素质高。当两个指标以相除的方式结合起来时，形成指标体系，指标得分越高则评委素质越高。将其用于附件的评审数据，即可解决问题三。以A附件为例，14个评委的指标得分出现了显著的断面差异。对于问题四，本文先计算每题中每个评委所有评分的方差，用此方差序列表示
5、该组评委的整体状况。再将ABCDE组的方差进行比较，利用多因素方差分析，判断不同题目的评委的整体表现是否存在显著性差异。结果表明，各组评委的整体表现并没有显著差异。对于问题五，考虑到网评是将论文随机分配给评委的，而评分在某种程度上也属于随机事件，因此可以从网评分数中抽取前3个评委的分数，组成含3个评委分数的“虚拟分数”，用此分数代表不加入网评成绩的总成绩；如果加入网评成绩，则与网评的4个评委分数一起，组成含7个评委分数的“虚拟分数”，用此分数代表加入网评成绩的总成绩。加入网评成绩后，单篇论文由3个评委打分转变为7个评委打分，这样改变了单篇论文得分的“组内方差”，同时也改变了每题中论文总成绩之间
6、的方差，即“组间方差”。借助这种构造方法，本文认为，加入网评成绩会降低组内方差，提高成绩的可靠性，但同时也会降低组间方差，给区分名次造成困难，但权衡考虑，加入网评成绩的利大于弊。关键字：Logit模型 方差分析 虚拟变量 评审方式比较 1、问题重述某竞赛的评阅过程分为网评阶段与集中评审阶段。在网评阶段，竞赛论文被随机平均分配给每位评委，每份竞赛论文由四位评委评阅，按照标准分总分排序，前55%的论文进入集中评审。集中评审阶段每份论文由三位评委按“百分制”独立评审，换算成标准分后将每份论文的三个标准分与网评中该论文的平均标准分一起求平均分，即为该论文的最终成绩。请完成以下建模任务：1、网评成绩与最
7、终成绩的相关性，并对网评结果作出评价。2、给出合理的度量评委基本素质的指标体系。3、建立评价评委基本素质的数学模型，并将其运用于附件中的评审数据4、试分析不同题目的评委的整体表现之间是否存在显著差异？如果存在，分析出现差异的可能原因。5、试分析将网评成绩加入总成绩的利弊，并对如何更有效地利用网评成绩给出建模结论。2、问题分析这是一个评价问题，要求对评委素质和审核机制进行评价分析。在处理问题之前，要注意到文件所给数据是按照论文序号进行排列的，而所涉及的问题却集中在评委上，并且标准分的计算公式中，平均分是以评委所评阅的所有论文的平均分，而非同一论文四个评委的平均分，因此需要制作一份将数据按照评委序
8、号来排列的文件，这样方便计算每篇论文的标准分总分和每个评委给的所有评分。2.1问题一可以利用回归分析，由于文件并未给出最终成绩的绝对分数，仅给出最终名次，因此只能建立以虚拟变量为因变量的模型。本文选择较为常见的有序多分类的Logistic模型，把一等奖到无奖分别对应3、2、1、0。在解答问题前，要先进行数据预处理，即利用每个评委给每篇论文的标准分，制作一份将论文号与标准分总分对应的文件，将其导入SPSS，即可得出结果。2.2 问题二需要利用每个评委所打出的所有评分数据。根据常识容易得出：（1）同一评委对不同论文打分的方差大则说明此评委有鉴别能力，即基本素质高；（2）同一篇论文，单个评委的评分与
9、评委组的评分均值间的偏差的方差小，则说明此评委的意见是主流意见，即基本素质高。利用这两种方差的商构造指标体系，将其应用与附件，即可得出每个评委的指标值，进而解答问题三。2.3 问题四需要比较不同题目的评委间整体表现的差异，本文将这种差异理解为评委打分方差序列间是否存在显著性差异，这个方差序列是指：同一题目中，某一评委对所有评阅的论文的评分方差，所有评委的方差组成一个序列，通过比较不同题目的方差序列来比较不同题目评委的整体表现。可以借助SPSS进行方差分析，得出方差序列间的差异是否显著。2.4问题五原本可以通过比较不加入与加入网评成绩算出的最终分数之间的方差差异来评价加入网评成绩的利弊，然而问题
10、在于文件并未给出集中评审的绝对分数，因此无法知道集中评审的分数。但考虑到网评是将论文随机分配给评委的，而评分在某种程度上也属于随机事件，因此可以选取网评标准分总分前55%论文的前三位评委的评审数据，用其平均标准分来模拟不加入网评成绩的总成绩。这样带来两方面的影响：1、加入网评成绩后，单篇论文由3个评委打分转变为7个评委打分，这样改变了单篇论文得分的方差，本文称其为“组内方差”；2、进入集中评审的195篇论文，每篇论文的总成绩之间会有方差的变化，本文称其为“组间方差”。通过比较两种方差的前后变化，即可解答问题五。3、模型假设1、评委在评审时是相互独立的；2、评委评分是一种随机事件；3、评委能公正
11、合理地给出评分，不会打出异常分数；4、每个评委打分服从正态分布。4、符号说明表1符号定义第k号论文的第j号评委打出的原始分由换算出的的标准分第j号评委所评阅的所有论文的平均分第j号评委所评阅的所有论文评分的方差第i题的k号论文的组内方差虚拟变量，第k号论文最终名次第k号论文的组间方差第j号评委与第k号论文组平均分的偏差第k号论文评委组的组内标准分均值第j号评委偏差的方差5、模型建立与求解5.1 模型一：有序多分类Logit模型对于因变量水平数大于2时，就不能简单的将其中两个水平单独拟合二分类的Logistic回归，而必须考虑拟合因变量为多分类的Logit模型。如果因变量是有序的，则采用有序多分
12、类Logistic回归。以n水平的因变量为例，假设应拟合n-1个Logit模型，假设n个取值水平的概率分别为.，对一个自变量x拟合n-1个方程如下： （1） （2）. （n-1）与二分类Logistic回归相比，进行Logit变换的分别为和+，即因变量有序取值水平的累积概率。Logit模型的估计方法属于非线性回归，幸运的是，SPSS软件能够提供有序多分类Logistic回归。5.2 模型二：评委基本素质评价模型根据题目，标准分的计算公式如下：此公式中即为评价指标体系中的第一项，是同一评委对不同论文打分的方差大小，与评委鉴别能力正相关。指标体系的另一项为“同一篇论文，单个评委的评分与评委组的评分
13、均值间的偏差的方差”，首先计算出每篇论文的评委组的评分均值，再求组内每个评委与该组评分均值的差。随后按评委序号进行排列，每个评委对他所评的每篇论文均有一个偏差，求这些偏差的方差，即可得到指标体系的第二项值。偏差的计算公式如下，值得注意的是，这里使用的评分均为标准分，且计算方差是按样本方差的计算公式进行的，再将偏差计算得到偏差的方差，它与评委基本素质是负相关的。=为符合直观印象，将/作为总体指标，两者相除的商与评委基本素质是正相关的，即商值越大，评委基本素质越高。5.3 模型三：F统计量要比较不同样本间是否有显著性差异，可以利用方差分析。由于所需要比较的附件超过两个，因此适用多因素方差分析。多因
14、素方差分析使用F检验，其零假设为多个控制变量的不同水平下，各总体均值没有显著差异。F统计量的计算公式为：其中S表示样本方差。对于本题，如果以附件A的评委方差为随机变量，则BCDE的评委方差即为4个控制变量。以上F统计量服从F分布，SPSS将自动计算F值，如果计算得到的相伴概率值小于显著性水平，则拒绝零假设，即表明数据间存在显著差异。5.4 问题一以附件A为例，先将数据整理为按评委序号排列的形式，如图1，再计算标准分。图1 附件A部分标准分示例将数据导入SPSS，数据含两列，一列为网评标准分总分，另一列为名次，本题的因变量为名次，有四个水平：无奖、三等奖、二等奖、一等奖，分别取值0、1、2、3，如图2所示。则本题的多分类的Logit模型应含三个回归方程。而自变量为网评总标准分，故自变量只有一个。图
