《对主观评分结果进行评价的误区与对策(》由会员分享，可在线阅读，更多相关《对主观评分结果进行评价的误区与对策(（8页珍藏版）》请在金锄头文库上搜索。
1、1对对主主观观评评分分结结果果进进行行评评价价的的误误区区与与对对策策 刘钦龙（安徽师范大学体育学院，安徽，芜湖，241000）摘摘要要：采用统计分析法，通过对主观评分的结果进行评价中统计处理的误区分析，提出秩相关分析与偏差分析相结合的综合评价更具有针对性。关关键键词词：主观评分；评价，误区；对策 Misunderstanding and Countermeasurement to the Evaluation on Subjective Scorings ResultsLiu-qinlong Physical Education College Anhui Normal University
2、 Anhui Wuhu 241000Abstract: By means of statistical analysis, the author tries to analyze the misunderstanding and misuse of statistical processing in the evaluation on the results of subjective scoring, then points out that there would be no mistaking what the analysis is aimed at if the users comb
3、ine rank correlation analysis with deviation analysis.Key Words: subjective scoring; evaluation; misunderstanding; countermeasurement1 前前言言 在没有可以用物理方法计量的客观标准的竞赛项目中，如体操，武术、跳水、健美操、花样滑冰等，一般采取裁判员依据运动竞赛规则对运动员的现场的竞技水平进行主观评分的方法。最常用的评分形式是：若干裁判员对每个参赛者各自独立地同时打分，然后去掉一个最高分、一个最低分，将其余分数的算术平均数作为运动员的最后得分。这种评分形式在理论上
4、相对合理，在操作中简便易行，同时也为运动员的最后名次的排秩提供了相对客观的数值依据，但也有其不合理的一面，即如果裁判组的裁判员较少的情况下，最后得分的客观性相对较低，近年来，许多主观评分项目为了提高评分的客观性，增加了裁判组内打分裁判人员的数量，其目的是使最后得分更能反映更多裁判员的观点。但由于我国还没有专业的裁判员队伍，多数裁判员都有各自的工作，因此在增加评分裁判员数量的情况下，如何对裁判员的评分水平进行评价，为挑选和培养高水平的裁判员作参考依据。到目前为止，对主观评分结果的合理性评价还没有一个公认的行之有效的方法。在实际操作中，判断某个裁判员的评 课课题题来来源源：安徽省教育厅人文社科项目
5、（2003JW049）作作者者简简介介：刘钦龙（1973），讲师，硕士；研究方向：武术教学与训练、体育运动计量学。2分水平时，往往根据该裁判员评分中的无效分次数，以及在关键名次上是否出现了颠倒分的现象进行直观判断。事实上，一场比赛与评分活动构成了一个相对封闭的系统，最后得分分值的大小是多数裁判员集体意愿的反映，一方面，它是运动员名次进行排序的依据；另一方面，裁判员的评分分值与最后得分之间的关系也应成为竞赛管理者为以后的比赛挑选优秀裁判员的重要依据。但是怎样根据最后得分对裁判员进行评价，也是一个值得研究的问题，从统计学角度分析，对裁判员的评分与最后得分的关系可以从两个方面描述，第一，裁判员评分与
6、最后得分的一致性程度；第二，裁判员的评分相对于最后得分的离散程度。把握了这两个方面，应当说就可以根据最后得分对裁判员的评分做出相对合理的评价。但是，描述数据一致性和离散性的方法很多。选择什么方法才能使评价结果既不失科学性，又具有一定的区分度呢？如果只根据表面的数据进行分析，往往会进入分析的误区。2 研研究究对对象象第 36 届世界体操锦标赛女子自由体操决赛的评分结果，数据见表1。 表 1 36 届世界体操锦标赛女子自由体操决赛成绩一览表 裁 判 员运动员123456最后得 分1078.809.159.259.409.359.209.237 1589.459.309.459.309.359.40
7、9.275 1518.508.508.458.458.458.308.462 1678.858.908.858.808.958.858.862 1889.159.109.159.159.259.059.137 1879.609.409.409.459.409.459.425 1559.559.059.409.509.459.459.450 1219.459.409.459.559.659.509.487注：本例中187 号和 155 号运动员由于在比赛过程中各有一次单脚出界，被裁判长扣0.1 分，最后得分分别为9.325 和9.35。但考虑到研究的主要目的是裁判员的评分合理性，在不影响运动员最
8、后名次的前提下，仍以 9.425 和 9.45 作为参照标准。3 传统评价的误区3.1 误区 1：评分差异性分析差异性分析是将每个裁判员的评分与最后得分进行总体均值的差异性检验，依据检验结果判断裁判员的评分是否与最后得分存在显著差异。3如对单个裁判员的评分与最后得分的差异分析，根据表1 数据对每位裁判员的评分与运 动员的最后得分进行差异性检验，结果如表2。 表 2 裁判员评分与最后得分的差异性t 检验一览表 裁 判 员运动员123456最后得分平均值9.179.109.189.209.239.159.17 标准差0.410.300.360.390.370.410.35 p 值0.990.690
9、.960.860.730.93 差异性无无无无无无差异性检验结果表明，各裁判员的评分与最后得分之间没有显著差异，可以认为每位裁判员的评分都是合理的。但问题是主观评分中的最后得分从某种意义上可以说是各个裁判员评分的加权平均值，已经包含了裁判员评分的大部分信息，用总体均值的差异性检验的结果又会如何呢？3.2 误区 2：评分的矩相关分析相关系数是两个变量之间线性关系密切性的度量，相关系数绝对值的大小反映量变量关系密切的程度。根据表1 计算各裁判员的评分与最后得分的相关系数，结果如下：相关分析表明，6 位裁判员的评分与最后得分之间都高度相关，且相关系数的绝对值均在 0.85 以上。根据相关系数的大小对
10、裁判员的评分水平排序： 465321。任何一场评分类比赛，其主要目的在于选出优胜者，就是要给参赛者排出名次，裁判员给各参赛者的评分主要是为最终名次的排序提供一个评秩的数值依据，分值的大小本身往往并无多少精确的含义，而且在不同场次比赛中也无可比性。因此在评分活动中，具体的数量关系只是表面的、非本质的东西，最本质的东西是评分中所包含的衡量各参赛者水平高低的次序。比较一下体操运动员的比赛得分与田径运动员的比赛成绩（全能得分除外），可以看出这是两类不同的数据：体操运动员的得分主要是为确定比赛名次的依据，不能作为精确的度量，它仅能用于这次比赛而不能用来与以往比赛的得分相比较，而田径成绩则是一个由精确意义
11、的度量。因此，如果根据裁判员评分的数值进行相关分析，可能由于数据携带的 “噪表 4 裁判员评分与最后得分的矩相关系数 裁判员123456 相关系数0.880*0.913*0.980*0.990*0.984* 0.989* 排序6541324声”过大，导致方法的区分精度降低，难以判断出裁判员评分水平的高低，因为主观评分类比赛中往往在比赛的开始阶段定下一个参考分，其目的就是确定分值的大致范围，防止裁判员之间的评分差距太大，在理论上相当于给定样本的特征值和总体参数的区间长度，此后，裁判员就以此参数进行评分。可想而知，对这些数据进行差异性检验的结果是什么，对数据进行矩相关分析数据间也会高度相关。3.3
12、 3 误区 3：极端数据分析评分中的极端数据反映裁判员打分突出的高与低的表现。在实际应用中，管理者往往据此对裁判员评分水平的高低做出评价。设ni, nmax, nmin分别是裁判员i 对 N 个参赛者的评分中接近平均分的次数，最高分的次数，最低分的次数。显然，0niN，0nmaxN，0nminN，0ni+ nmax+ nminN，-Nni- nmax- nminN，由此可以得出指标 Ti=(N- nmax- nmin)/N, 其中对同一名运动员如果出现一个以上（设有k 个）的相同的高分或低分，则某个裁判员最高分nmax或最低分 nmin的取值为 1/k。Ti大，则最高分和最低分次数nmax+
13、nmin小，接近平均数的次数ni大，自然认为裁判水平高。表 5 6 位裁判的评分的极端数据分析 裁判员123456 高无效分数3.50.512 低无效分数12.830.331.51.332 T 分0.4380.5840.9590.6880.5840.750 裁判水平排序641342由 Ti分值可以看出3 号裁判员的评分水平最高，1 号裁判员的评分水平最差。然而在实际应用中，也有可能个别裁判员从头至尾的评分总是比其他裁判员的评分高，那么依据Ti值，该裁判员有可能是被认为水平较差，但是，如果他的评分秩次与最后得分的秩次比较相符的话，也就是说，该裁判员的评分能够比较准确的区分运动员演练水平的高低，只
14、是总体的分值相对较高，这时，如果仅依据Ti进行判断的话就有可能出现误判。原因在于极端数值分析只考虑了评分的稳定性，而没有考虑裁判员评分与最后得分的一致性。4 对策4.1 秩相关分析 5对主观评分结果合理性的评价，传统的评价方法局限于评分之间表面的数值关系，而忽视了评分的实际意义。实际上，如果将评分结果的具体数值部分予以丢弃，只保留各评分秩大小关系的信息，乍一看好像丢失的信息过多，但事实恰好相反，这样恰恰给出了数据中最稳固、最一般的关系，即大小顺序关系，在此基础上计算秩相关系数，比计算原始数据的矩相关系数更能反映裁判员评分与最后得分之间的关系。对表1 进行秩变换，计算出每位裁判员的评分与最后得分
15、的秩相关系数，对单个裁判员评分的合理性分析。表 7 裁判员评分与最后得分的秩相关系数 裁判员123456 相关系数0.8020.743 0.892* 0.976* 0.994* 0.994* 名次56431.51.5 注：p=0.05,df=6,r=0.886由表 4 可以看出，6 位裁判员的评分与最后得分都成非常显著相关，而表7 表明 4 号、5号和 6 号裁判员的评分与最后得分显著相关，1 号和 2 号裁判员的评分与最后得分不相关。通过表 4、表 7 比较，可以看出，秩相关系数对判断主观评分项目裁判员的评分水平具有较好 的区分度。对裁判组的整体评分效果的评价依然依据裁判员评分的秩次转换结果
16、，用协和系数W 来度量。设 m 个裁判组成一个裁判组，分别对n 个运动员进行评分，第i 个裁判员对第j 个运动员的评分秩为rij，则 Rij=为裁判组对第j 个运动员的评秩之和。显然，当评判组意见比较 miijr1一致时，各个秩和R1,R2-Rn之间差距较大，而当裁判组的意见不分歧较大时，R1,R2-Rn之间差距较小。定义协和系数为W=Q/m2(n3-n),其中 Q=表示实际离差平方1212111 njnjjjRNR和。W 值越接近 1，表明裁判组内部意见一致程度越高。本例W=0.837，说明裁判组整体评分效果较好。但是，秩相关仅反映了裁判员评分与最后得分的一致性大小的关系，若要全面衡量裁判员评分的合理性，还必须对裁判员评分的相对稳定性作评价。64.2 偏差分析如果裁判员的评分与最后得分比较接近，我们有理由认为该裁判员的评分水平较高。设第 j 号运动员的最后得分真值为j则=（1，2-n）是所有参赛运动员的最后得分真值，xxxxx第
