《远程高等教育人才培养质量测评工具的多元概化理论分析》由会员分享，可在线阅读，更多相关《远程高等教育人才培养质量测评工具的多元概化理论分析（6页珍藏版）》请在金锄头文库上搜索。
1、 远程高等教育人才培养质量测评工具的多元概化理论分析 摘要：远程高等教育人才培养质量已成为广泛关注的话题，但相关的实证研究却十分有限。而电大开展的远程教育毕业生质量追踪调查在这方面走在了前面。通过多元概化理论的研究发现，该项调查中使用的远程开放教育人才培养质量测评工具毕业生质量评价表（单位用）和学习效果评价表（毕业生用）的测量精度比较高，可适用于远程高等教育人才培养质量的测评；但各维度对总方差的贡献比例与专家预定的赋分比例有较大差异。研究者认为，在今后的测评中使用实际计算出来的各维度的方差贡献率作为合成分数的权系数应当更科学。而后经由决策研究发现，各维度的项目数量比较合理，但适当增加“业绩”维
2、度的项目数量，其测量精度将高于原始测量精度。关键词：远程教育，人才培养质量，测评工具，多元概化理论引言我国自实施现代远程教育工程以来，全国有68所高校先后参加基于网络的现代远程教育试点。截止2005年，试点高校累计开设专业854个，毕业生735546人，在校生数达2548899人，（其中全国电大的毕业生、在校生数分别占全国试点高校的61.23%、77.81%）（中央广播电视大学，2006）。远程高等教育的人才培养质量如何，这是社会各界及教育主管部门普遍关注的话题，但是，关于远程高等教育的人才培养质量测评的理论与实证研究却十分有限。2004年，全国广播电视大学系统率先在全国范围内开展了大规模的远
3、程开放教育毕业生质量追踪调查，将广播电视大学远程开放教育人才培养质量分解为思想品德、知识、能力和业绩4个维度及相关指标体系，构成毕业生质量评价表（单位用）和学习效果评价表（学生用）（中央广播电视大学，2004），从社会用人单位和毕业生本人的角度，测评电大远程教育的人才培养质量。数据分析结果显示，该测评工具的理论模型与调查数据的拟合程度比较好，但各维度的权重设计比较主观，测量精度还可进一步提高。如何根据测评结果推论范围或使用目的的不同而提供多个不同的测量误差估计指标，据以改进测评工具，使得人们的评价分析更加恰当和合理，目前尚未有深入研究。概化理论（Generalizability Theory，
4、GT）是现代心理与教育测量理论之一，它把测量误差作为模型参数来处理，不仅保留了经典测验理论（Classical Test Theory，CTT）中控制误差的标准化技术（匹配或随机化技术），而且发展出了把误差控制与决策需要或测量结果的概括程度相结合的理论和方法（杨志明，张雷，2003），这为研究标准化和标准化程度不高的测评开辟了新思路。多元概化理论（Multivariate generalizability theory，mGT）是单变量概化理论的深化和发展，广泛应用于各种测评中，尤其在涉及多个潜在因子的测评方面有独到之处。本文运用多元概化理论，旨在深入验证分析“远程开放教育人才培养质量”测评工
5、具的总体信度和各维度的信度，以及各维度对整体评价所作的实际贡献，并根据概化系数与项目数量的关系，为改进测评工具、提高测量精度和评价水平提供新的思路和参考依据。 研究设计1.研究样本本研究利用全国电大毕业生追踪调查（2004）中的毕业生质量评价（用人单位）、学习效果评价（毕业生）数据作为研究样本。这部分数据涉及招生规模大、毕业人数多且具有代表性的本科和专科专业，其中回收有效的毕业生调查问卷共有15602份（约占到毕业生总体的5.57%），回收有效的社会用人单位调查问卷共有9926份（约占到毕业生用人单位总体的3.55%）。电大系统具有近30年的远程教育实践经验，是我国远程高等教育的主力军，因此以
6、电大系统为样本在现代远程教育试点高校中具有较好的代表性。本研究所采用的调查数据，样本容量大，地域分布广（遍及全国），亦具有较好的代表性。2.测评工具的结构毕业生质量评价表（用人单位用）、学习效果评价表（学生用）各由四个、三个评价维度组成，通过让各专家给出各维度的权重比例，计算每个维度权重的平均值，从而得出各维度的权重（表1）。3.测量设计运用多元概化理论研究问题的过程分为两个阶段：G研究（Generalizability Study，概化研究）和D研究（Decision Study，决策研究）。G研究主要确认测量目标和测量侧面及其关系、估计各种效应的方差和协方差分量；D研究主要考察概化系数与测
7、量目标或各侧面等因素之间的变化关系，评估各种决策下测量的信度，为改进测验设计、提高测验质量提供依据（杨志明，张雷，2003）。根据评价表的结构，本研究将毕业生质量评价、学习效果评价解析为随机单面交叉设计，记为pi，p是测量目标，指毕业生质量、学生真实的学习效果，i是测量侧面，指测量的项目。根据这个测量模型，分别编写一个涉及四个和三个分维度的mGEN-OVA程序（Brennan，2001）对数据进行统计分析，估计毕业生质量评价、学习效果评价各维度和总体的信度、各维度方差分量对总方差的贡献比例，并通过改变各维度项目数量的变化观察测量精度（概化系数）的变化，为提高测量精度和评价水平提供参考依据。 研
8、究分析1.各维度和总体的测量精度研究通过G研究和D研究估计出了各维度和总体的概化系数（表2）。各维度和总体的概化系数都超过了0.70，说明各维度和总体的测量精度都是比较高的，是比较理想的。2.各维度对总方差的贡献比例研究各维度的方差分量对总方差的贡献比例（表3）与当初设计的权重比例有较大差异。如，毕业生质量评价表知识维度权重26.61%，而其方差贡献量为20.07%，相差6.60%；业绩维度权重10.56%，而其方差贡献量为15.87%，相差5.31%；能力、品德维度的权重和方差贡献量也分别相差3.65%、2.35%。虽然通过数据实际计算出来的各维度方差贡献比例与原始设计权重的方法和思想有所不
9、同，但都是分数合成的权系数。原始权重是通过专家调查法得来的，主观性较大且缺乏灵活性（在一定时期不会随研究对象的变化而变化），而方差贡献比例是根据调查数据计算出来的各维度的变异占总体变异的比例，计算过程较简单，且可根据研究对象的变化很快计算出新的比例，因此具有一定的灵活性和客观性。所以，研究者认为在今后的测评中可考虑使用实际计算出来的各维度的方差贡献率作为合成分数的权系数。3.项目数量对测量精度的影响研究项目数量是影响测量精度的因素之一，总体来说项目数量越多，测量精度越高。为了提高测评的效果，本研究通过改变毕业生质量评价、学习效果评价的项目数量来观察概化系数的变化情况，探讨适宜的项目数量。以毕业
10、生质量评价表为例，其项目数量变化与概化系数的变化结果，详见表4。从表4可知，当各个维度的项目数量都减少为1时，总体的测量信度下降为0.762，这样的信度值也是可以接受的，说明毕业生质量评价的各维度只保留1个项目时，其总体信度也较高，但实际评价中不可能每个维度只用1个项目来测评。进而，当各维度的项目数量比实际的项目数量增加到2倍和3倍时，测量信度分别为0.968、0.979，比0.939均有一定幅度的提高；当分别只变化其中一个维度的项目数量，而固定其余维度的项目数量时，增加项目数量均能够提高测量信度，但增加幅度很小。由此看来，该评价表各维度的项目数量比较合理，其总体测量信度比较高，但尚有进一步完
11、善的空间。根据这些项目数量变化模式，以及这些项目数量与概化系数的对应关系，当概化系数为0.956时，各维度的项目数量均不超过10个，比较经济，而且测量精度比原始精度有了明显提高。所以，今后如果修订毕业生质量评价表，建议选取26个项目的评价模式，即适当增加“业绩”维度的项目数量（6个）。运用同样的方法，考察针对毕业生的学习效果评价表各维度的项目数量与概化系数的变化关系，亦得出同样的结论（拟另文发表，此略）（安哲锋，朱祖林，待发）。 结论前述多元概化理论分析结果表明，毕业生质量评价表、学习效果评价表各维度和总体的测量精度比较高，可适用于远程高等教育人才培养质量的测评；但各维度对总方差的贡献比例与专家预定的赋分比例有较大差异，在今后的测评中使用实际计算出来的各维度的方差贡献率作为合成分数的权系数更科学；又经D研究发现，各维度的项目数量比较合理，但适当增加“业绩”维度的项目数量，其测量精度将高于原始测量精度。本研究为以后测评工具的改进和完善提出了新思路，这对提高测量精度和测评质量，具有重要的意义。 -全文完-
