《基于小组讨论的大学英语口语考试中评分员信度研究.docx》由会员分享，可在线阅读，更多相关《基于小组讨论的大学英语口语考试中评分员信度研究.docx（3页珍藏版）》请在金锄头文库上搜索。
1、基于小组讨论的大学英语口语考试中评分员信度研究摘要： 大学英语口语考试的信度和效度受到很多学者关注，但是作为一种应用在一般教学环境中的小组讨论形式的测试，对于其中评分员信度的研究，目前相关的研究成果还不多见。本文对小组讨论形式的大学英语口语考试中评分员信度进行实证研究，并描述和讨论相关的数据与研究结果。 关键词： 小组讨论 评分员 信度1.引言为了满足新时期国家和社会对外语人才的需要，深化大学英语教学改革，教育部于2007年正式颁布的大学英语课程教学要求明确规定“培养学生的综合能力，特别是听说能力，使他们在今后学习、工作和社会交往中能用英语有效地进行交际”。这一要求是针对大学生英语听说尤其是说
2、的能力普遍薄弱而提出的，但是对于学生覆盖面极广的大学英语口语考试却极难有效地开展，主要受到口语考试特殊性和时间、场地、考官等条件制约。区别于传统面试的一对一口语考试方式的小组讨论的口语考察方式能够很好地解决上述问题，它不仅在很大程度上提高了口语考试的效率，而且在小组讨论考试中，学生们可以在模拟的环境中用到包括提问题、总结谈话等各种谈话管理能力，提高口语考试的效度。作为一种应用在一般教学环境中的有效考试方式，对于考试中评分员信度的研究，目前相关的研究成果还不多见。因此，本文拟对小组讨论形式的大学英语口语考试中评分员信度进行实证研究，并描述和讨论相关的数据与研究结果。2.研究背景2.1考试设计原则
3、本次口语考试的设计首先要能够较好地测量出学生真正的口语交际能力，有较高的效度和信度；其次要考虑各种客观条件的限制，包括评分员、场地、设备、时间，有易于操作、能适合大规模口语考试的特点；再次考试要能激发起学生的兴趣，对以后的教学产生反拨效应。2.2考试形式口语考试的方式可以分为两种：一种是采用录音方式的口语考试；一种是面试型口语考试。两种形式的口语考试最基本的差别在于是否有面对面的语言交际活动。面试型口语考试又分为一对一、两人交谈、三人以上小组讨论形式的口语考试。录音方式（包括更为先进的机考模式）虽然具有考试效率高、可信度好的特点，但是需要较大的设备投入，并且缺乏口语必需的真实环境的交际和表面效
4、度。小组讨论的口语形式既能节省口语考试所需的人力、时间等资源，又能测试到更全面的诸如组织管理等交际功能。所以小组讨论形式的口语考试主要被应用在考生人数多，谈话成员的语言水平、文化背景等特点相对来说比较容易统一的校内考试当中。2.3考试评分评分方法主要有两种：分项评分法（analytical rating）和整体评分法（holistic rating）。分项评分法是评分员根据评分标准，使用评分量表对应试者口语表现的各个方面逐项进行评分，把应试者的口语能力分解为若干要素，包括语音、词汇、语法和流利程度等。整体评分法是评分员根据评分标准，凭整体印象给应试者打分。整体评分法能够从整体上考虑应试者的口语
5、能力，一般被认为有较高的效度，而分项评分法将评分细化，要比整体评分法更客观，一般被认为信度较高。对于要求考试简化的口语考试，为提高考试的效率和信度，可使用双评分员打分，将分项评分法和整体评分法相结合的方式。一名评分员打整体印象评分；另一名则打出分项分数，最后加权平均，得到总分。这种安排有助于解决由于单个评分员的个人主观性而时常导致的失信问题。3.研究设计我们从三个方面评估口语考试：通过问卷调查和访谈的方式来了解考试的参与双方对考试的总体评价，用以验证考试的表面效度，为本次的研究提供基础；用直方图和集中量数、分散量数等数据来呈现本次考试的成绩分布，用以验证考试是否合乎最初的设计要求；用计算相关系
6、数的方法验证每组内两位评分员评分的一致程度即评分员之间的一致性（interrater reliability），并用单因素方差分析来比较各个考官之间的评分差异。此研究使用的统计软件为SPSS11.0。4.小组讨论形式口语考试的实验研究参加本次考试的是本校2013级本科一年级的学生，其中抽取一个由经管和人文学院的学生组成的考场作为参考，共80名学生，其中男生37名，女生43名。考试有2名评分员，都是有十多年大学外语教学经验的教师。口试使用双评分员打分，一名评分员打整体印象评分（100分），另一名则打分项分数（100分），分项评分时所用的评价项目是根据Bachman的口语能力概念研究开发的，具体分
7、发音、词汇、语法、流畅性、回答的确切性和回答的主动性六个方面。最后加权平均，得到小组的基准分。根据各小组成员的表现差异，在基准分的基础上加减得到各考生的具体得分。考试内容为教材所学单元总结出来的5个主题，考生每4人一组，提前15分钟抽取主题，在5-8分钟内对其进行讨论。评分员不参加讨论，但是在考生的发言次数和发言量有明显的不均衡时，提醒不太说话的考生积极发言等，短暂地介入考试。我们在考试前对评分员做了简短的培训，明确了评价项目的内容和要求，然后对前三组考生的表现做了评议，由此对评分标准的尺度的拿捏达成了共识。5.研究结果5.1访谈和问卷调查结果评分员在考试结束后接受了访谈，吐露了评分过程的感受
8、。两位评分员都认为考试前的培训非常必要，对于评分标准尺度的把握非常重要，但是评分过程中评分员都认为主观性比较大。“开始好紧张，心里没底”。特别是有些小组成员明显不积极，甚至对于考官的提示不是很在意，这就很难打分。对于整个小组的表现，考官认为使用整体印象法会比较好，效率高，能够从总体上体现小组的表现；而对于个体的表现则比较适合使用分项打分，能够表现出小组间不同成员的水平差异。评分员觉得在打分过程中，由于疲劳程度不一样和关注度不同，会出现“开始打分比较紧，后面打分比较松”的情况，如果能够适当控制每次考试人数和时间，情况可能会好一点。另外，评分员都认为最好能够将考试情况摄像录音，考试完毕后评分员可以
9、回放录像对分数进行复核，进一步杜绝由于疲劳导致的打分失误。 我们还对参加此次考试的学生发出了问卷，共发出60份问卷，收回有效问卷58份。问卷主要涉及三个方面的内容：首先是学生的基本信息；然后是学生对此次考试的总体印象，包括话题的难易程度，考试内容是否应该与所学相关，准备时间是否充足，考试能否反映口语水平等；第三部分需要学生分析此次口语考试中出现失误的原因，并对口语考试提出改进意见。从调查结果来看，65%的学生认为此次考试总体来讲难易适中，任务型的小组讨论能够较好地发挥各个成员的功能。58%的学生比较赞同考试的话题与所学内容相关。有相当比例的学生（36%）觉得准备时间不够充分，有76%的学生认为
10、小组形式的讨论可以或者基本能反映出他们的口语水平，说明此次考试的接受度良好。学生分析口试失误的原因主要集中在准备不足；平时缺少实践机会；小组成员水平不一致。也有关于考官坐在旁边比较紧张等。对于口语考试的建议，有些同学觉得可以在小组讨论前增加一个个人的30秒以内的简短发言，来缓和一下紧张的气氛；还有些同学认为要提前均衡小组各个成员的水平，不能差距太大。还有其他的一些建议，比如不要考官，直接录像录音；由考官担任小组讨论主持均衡个成员的发言等。5.2口试信度分析口试的信度（亦称可信度）是指考试分数所具有的一致性或稳定性程度，一般用内在一致性可信度来评价信度。Cronbachs 系数值介于0与l之间，
11、值越大表示口试项目之间的相关性越好，内部一致性可信度高。一般而言，大于0.8表示内部一致性极好，在0.6-0.8之间表示较好，而低于0.6表示内部一致性较差。在实际应用上，Cronbah 值至少要大于0.5，最好能大于0.7（Bachman，1999）。表1中显示本次考试的Cronbachs 介于0.543-0.719之间，作为一般的课程考试，可以认为内部一致性效度较高。6.结语通过以上研究，我们所设计的基于小组讨论的大学英语口语考试模式在实践上是可行的。但实际上，要更大规模地铺开这样的考试，并考察它的效度是一个长期而复杂的过程，需要不断地积累各种数据。在设计中还存在不少缺陷，比如评分员效度问
12、题尚未讨论研究，我们会在口语测试的实践中不断进行研究和探索。参考文献：1Hughes， A. Testing language Teachers. Beijing：Foreign language Teaching and Research Press，2000.2刘润清，韩宝成.语言测试和它的方法M.北京：外语教学与研究出版社，2000.3文秋芳.英语口语教学与测试M.上海：上海外语教育出版社，1999.4金艳，郭杰克.大学英语四、六级考试非面试型口语考试效度研究J.外语界，2002.5陈彩霞，李志梅.大学英语大规模口语测试的探讨J.石河子大学学报，2004.江西省高校人文社会科学研究青年基金项目
