我国高校英语专业本科毕业论文评测的效度检验研究

《我国高校英语专业本科毕业论文评测的效度检验研究》由会员分享，可在线阅读，更多相关《我国高校英语专业本科毕业论文评测的效度检验研究（53页珍藏版）》请在金锄头文库上搜索。

1、我 国 高 校 英 语 专业 本科毕业论文评测的 效度检验研究 鲁东大学外国语学院 修旭东该研究的主要过程分为三个阶段 ： 对语言测试与评价的效度检验框架进行综 述，提供学术性写作测试的效度检验框架 的详细参数；（第一部分：文献综述） 根据效度检验框架开发和/或预试经验性的 、全面的、操作性强的检验英语写作测试 效度的工具；（第二部分：预示研究） 把开发和预试后的工具运用到检验毕业论 文评测的效度中去，为其在多大程度上有 效提供证据。（第三部分：主体研究）第一部分第一部分 文献综述（第一、二章）文献综述（第一、二章）环境效度 背景：任务务要求：任务务 *目的*语言的（输入和输 出） *回答形式

2、-渠道 *公开的标准-话语方式 *加权-文章长度 *项目顺序-作者、读者关系 *时间限制-信息性质 背景：测试测试 的实实施 *硬件条件-内容知识 -词汇范围*实施一致性-结构范围 *安全性-功能范围认知效度 写作内在过程 写作实实施过过程监监 控写作支持源*确定目标语言知识*主题/体裁调整 *产生思想*语法的 *语篇的 *功能的 *组织思想 *表达*社会语言学的 *检查 内容知识 *内在的 *外在的评评分效度 评分标准/评分尺度评分步骤 评分员培训 评分 统一标准调整 评分条件统计分析评分员定级和公布回答试试后效度分数解释 差异影响 对课 堂的反拨 对社会的影响效标标关联联效度 分数价值 同

3、一测试的不同版本比 较 同一测试在不同场合实 施 的比较 与其他测试或测量比较 与将来成绩比较图 2.14 检验学术写作测试效度的社会认知模型 (编自 Weir 2005: 47)研究问题我国高校英语专业本科毕业论文在多大程 度上是对学生英语写作能力的有效测试？ 为了回答这个总问题，需要研究下面两个 分问题： 应开发和/或预试哪些工具和程序来检验我国高 校英语专业毕业论文的效度？ 有什么证据说明毕业论文是对我国英语专业学 生英语语言能力的有效测试？ 第二部分：预试研究（第3章） 预试研究回答第一个研究问题： 应开发和/或预试哪些工具和程序来检验我 国高校英语专业毕业论文的效度第3章 开发和预试

4、将效度框架应用于毕 业论文中的工具和程序 3.1预试研究一：开发和预试调查受试者特征的 工具和程序 预试研究一的目的是： 建立抽取参加者样本的原则； 根据第2章2.1找出受试者哪些特征（作为变量）影响其 成绩； 预试调查学生的基本人口统计数据和心理特点的工具和 程序。 数据来源：学生和他们的测试分数 工具：问卷A1和问卷A2（见下文3.1.3和附录3.2-3.3） 。3.2 预试研究二：开发和预试检验英语专业八 级写作测试和毕业论文认知效度工具和程序 预试研究二的目的是： 1）建立认知效度证据的变量； 2）试验调查这方面证据的工具和程序。 数据来源：学生和他们的测试分数 工具：有声思维（对TE

5、M8E中写作过程的 有声思维）；问卷B1（关于TEM8E的写作 过程），问卷B2（关于毕业论文的写作过 程）；FG（小组访谈B，关于TEM8作文和 毕业论文写作过程的异同）；日记B（关于 毕业论文的写作过程）。3.3 预试研究三：开发和预试检验毕业 论文环境效度的工具和程序 预试研究三的目的是： 1）建立环境效度证据的变量； 2）预试调查这方面证据的工具和程序。 数据来源：学生、测试分数、论文评分员、 英语专业测试中心的人员和罗汉普顿大学（ Roehampton University）测试、评估和课 程研究中心（CRTEC）的语言测试专家。 工具： 问卷QC1, 问卷QC2; 访谈C1, 和访

6、 谈C2 (见下面 3.3.3 和 附录 3.8-3.13).3.4 预试研究四：开发和预试毕业论文 评分效度的工具和程序 预试研究四的目的是： 1）建立评分效度证据的变量； 2）预试调查这方面证据的工具和程序。 数据来源：CRTEC的专家、教师/评分员。 工具：问卷D（见下文3.4.3和附录3.14- 3.15）。3.5 预试研究五：开发和预试检验毕业论 文试后效度的工具和程序 预试研究五的目的是： 1）确立试后效度证据的变量； 2）预试调查试后效度证据的工具和程序 数据来源：学生、测试分数、教师/评分员 、CRTEC的专家。 工具：问卷E1a、 E1b、 QE2a、 QE2b（ 见下文3.

7、5.3和附录3.16-3.19）。3.6 预试研究六：开发和预试检验毕业 论文的效标关联效度的工具和程序 预试研究六的目的是： 1）建立效标关联效度证据的变量； 2）预试考察这方面证据的工具和程序。 数据来源：英语专业八级测试写作项目和 毕业论文的成绩。 工具：英语专业八级测试和毕业论文写作 。第三部分：主体研究（第4-7章） 第4章：受试者特征的调查结果和讨论 4.1 抽取样本 4.2 对问卷A1（QA1）结果的讨论 4.2.1.i对学习者背景变量的定量分析 4.2.1.ii对学习者背景变量的定性分析4.2.2 讨论动机 4.2.2.i动机的定量分析 多元回归分析揭示了动机对写作成绩有或 多

8、或少的预测作用，能够解释写作成绩 0.7%的方差 ，但这种预测作用不显著（ p=.775.05）。方差分析显示：按照他们 对动机的回答而划分的不同组别学生的写 作平均分之间有一定差异但不显著 （ p=.908.05）。4.2.2.ii 对动机的定性分析 反馈中有许多评论，它们可以被简要地总 结为：尽管他们的分数可能显著不同，但 是几乎所有的回答者（除了那些做出序号 为(13)、 (15)、(16)的评论的回答者以外） 都有学习英语的较强动机。这些评论还揭 示学生们有各种不同的动机，评论（14） 和（15）反映出的结果性动机；评论（2） 、（6）、（8）、（12）所反映的综合性 动机；（1）、（

9、16）、（18）、（23）所 反映的工具性动机；4.2.3 语言学习环境中定位的讨论 4.2.3.ii对语言学习环境中定位的定量分析 总结上述第三部分对定位的分析，学习第 二语言的潜在原因（定位）在p=.026.05）。方差分析揭示了不同 种类动机所产生的影响的一些证据。多数 学生认为整合性和工具性动机的许多方面 有影响但在统计上没有显著性。像预试研 究的反馈所言，可能是因为几乎所有的学 生都有很强的动机。定位对成绩的影响没有统计上的显著性， 对学能的自我认识或学习英语的自信方面 的反馈说明参加者越感到自己能学好或喜 欢用英语写作，他们的分数越高。这里的 统计分析也得到了定性数据的支持。 在英

10、语学习策略方面，回归分析揭示策略 总体上对写作分数的预测作用不显著，但 比动机（0.7%）和定位（4.2%）的预测作 用强。方差分析揭示好的二语写作者比差 的二语写作者更常使用某些策略。 在应用策略方面，回归分析表明具体的学 术写作中的应用策略总体上不能显著预测 写作分数，尽管它所解释的方差比学术写 作的学习策略、英语学习策略和其它受试 者特征所解析的要高很多。这里的发现是 许多好的写作者是在拟定他们作文的提纲 之前或同时（而不是之后）思考他们多数 观点的。在写完作文后检查用词的贴切性 也对提高分数有利。第五章 认知效度证据的调查结果和讨论 5.2对问卷B1（QB1）结果的讨论 对问卷B1因子

11、分析结果的分析 对问卷B1的回归分析和方差分析 5.2.3 对来自问卷B1的关于学术写作过程反 馈的简要定性分析 5.2.4对问卷B1和问卷A2的结构方程模型分 析结果的讨论 5.3 对有声思维实验结果的讨论 5.4 对问卷B2（QB2）结果的讨论 5.5 对小组访谈（Focus Group）结果的讨 论 5.6 对日记B的反馈的讨论5.7 本章总结 对问卷B1的因子分析（见上文5.2.1）表明 ，整体上，第二章假设和探究的写作的六个 子过程（确定目标、调整主题和体裁、产生 思想、组织思想、表达、检查）可以大体上 看作是合理的（具有互动、关联、循环、多 层面的特征）、反映了学术写作的能力，尽

12、管它可能并不是百分之百地确切或准确，因 为我们也面临这样一个事实： 如第三章3.2.3.iv所预示，小组访谈用来调 查八级作文和毕业论文写作过程的相似点 和差异性（见上文5.5）。访谈显示： 1）尽管八级作文和毕业论文的写作过程或 子过程相似，学生们写作两者时在每个子 过程中的所想所做却大不相同。比如，在 确定目标子过程做的对题目的仔细思考和 拟定提纲过程，八级作文的提纲要简单得 多；第六章： 对与环境效度证据有关结果的 讨论 6.1 参与者 6.2 对问卷C2a (QC2a) 的结果的讨论 6.3 对问卷C2b(QC2b)结果的讨论 6.4 对访谈C2的结果的讨论6.5 本章小结 尽管毕业论

13、文的环境效度证据在一定程度上 令人满意，但为了提高毕业论文的环境效度 ，我们强烈建议要努力（在任务背景方面） 提供详细清楚的指令和标准化的评分标准， （在硬件条件方面）提供足够的教室或电脑 ，或其他设施，（在施测一致性方面）为残 疾学生提供恰当的帮助，并（在施测一致性 方面）为学生分配他们熟悉的合适的指导教 师。采取措施来阻止作弊或剽窃。第七章 对与评分效度、试后效度和效标 关联效度证据有关的结果的讨论 7.1 评分效度证据 7.1.1 对问卷D2(QD2)结果的讨论7.1.2 评分效度证据讨论的小结 从对毕业论文的评分效度证据看，尽管有 些回答者（在某些方面个多于半数回答者 ）认为评分效度可

14、以接受，然而要提高毕 业论文的评分效度几乎需要在评分效度的 每一个方面都要付出很大的努力，包括使 评分标准更全面、清晰和简洁、在所有的 评分程序中严格培训导师使他们的评判标 准化、报道相关统计分析（如至少是全面 的描述性统计数据）、7.2 试后效度证据 7.2.2对问卷E2a (QE2a)结果的讨论 7.2.3 对问卷E2b(QE2b)结果的讨论7.2.4 试后效度证据讨论小结 总结上文对考察毕业论文试后效度证据参数 的问卷E2a和问卷E2b的定量和定性分析，结 论如下： 上文7.2.2中（依据附录7.5 a、b）对问卷E2a 的分析说明毕业论文的试后效度在一定程度 上还可以被接受，但同时也建

15、议应提高毕业 论文和写作学习效率之间的关系、应使学生 不仅学习毕业论文写作而且还应学习其他体 裁的文章的写作、改善毕业论文和教学内容 及教学方法之间的关系、加强教学内容和现 实生活之间的联系。7.3 效标关联效度证据 7.3.1 对两项测试的效标关联效度结果的讨论 7.3.2效标关联效度证据讨论的小结 低相关系数和低方差解释率可能还说明毕业论 文的评测效度的各个方面需要提高，尤其是毕 业论文的环境效度、评分效度和试后效度（见 第6章末尾对环境效度、第7章7.1节对评分效 度和7.2节对试后效度的总结详述）。总体上 说，这些完善毕业论文的环境效度、评分效度 和试后效度主要在于提供更细致清楚的指令第8章 结论 8.1 研究问题回顾 第2章提出了本研究的总问题：毕业论文在 多大程度上有效测试了我国英语专业学生 的英语写作能力？该总问题又包含两个研 究子问题：8.1.1 受试者特征 从问卷A1的第1小节调查中我们能得到一些 有趣的关于受试者不同小组的特征对写作 成绩影响的结论。可以看出其显著的性别 影响和父母受教育程度差异的影响。还可 以推断出一个总体趋势：学生在进入大学 之前进行越多的学习和/或练习或者他们在 大学期间进行的课外学术写作练习越多， 他们的学术写作分数越高。 这些结论总体上与第2章探讨的前人研究 (Bachman Cohen 1994; Grabe Green 2