{品质管理品质知识}从量化角度谈质量监控

《{品质管理品质知识}从量化角度谈质量监控》由会员分享，可在线阅读，更多相关《{品质管理品质知识}从量化角度谈质量监控（42页珍藏版）》请在金锄头文库上搜索。

1、从量化角度浅析质量控制,主讲：王鼎,2020/7/26,1,闵行交流,感怀,只要涉及到人的事都是复杂的，包括教育质量控制，我们的目的只是希望将复杂问题简单化，但不一定解决所有问题. 这是一块必须用心去体会的领域，在这里我们似乎在了解他人，但问题解决的结果往往仅仅进一步了解了自己。当我们常常认为回答了某个问题的时候，我们却常常被更多的问题所困。 相关技术只有通过实践才能体现其价值，否则与垃圾无异。 我思故我在，每个学校，每个地区都有其发展的特殊性，必须结合相应发展规律，作到个性与共性的有效结合，平衡好“破”与“立”的关系。,2020/7/26,2,闵行交流,内容结构,当前面临的问题 量化手段及相

2、关技术指标 量化数据结果为诊断提供必要依据 在教学管理中，有待进一步思考的问题,2020/7/26,3,闵行交流,当前面临的问题：宏观层面,问责 学生学习的改善,2020/7/26,4,闵行交流,当前面临的问题：微观层面,如何获取、利用相关学生信息，有效为诊断、决策所用？ 涉及相关测验的合理使用 如何保证学科教研组长所提供的信息具有较大的可靠性及有效性？ 涉及数据的可靠性及评价的有效性 如何保证教育目标实施的连贯性及稳定性 涉及控制与反馈技术的使用,2020/7/26,5,闵行交流,量化手段及技术指标,量化相关内容： 测量、评价、测验、考试的区别与联系 评价的一般常识 测量模型使用 命题的技术

3、控制 技术指标：信度、效度、区分度、难度（注意不同考试类别，所用公式不同）,2020/7/26,6,闵行交流,教育测量与评价的基本问题,测量的基本含义 测量的过程是赋值的过程 测量往往包含在某评价或评定中，更多的被看成一种基本的研究手段 人的心智的复杂性，决定了测量对象相关因素之间是不明确的，大量的概率模型被广泛的使用 评价的基本含义 评价是价值分析、衡量和判断的过程 测量不能代替评价，测量是一个量化过程，评价是一个定性过程 在数学教育中，评价目标往往是： 数学事实，包括定义、定义、公式，某些特殊的证明等 获得数学结果的标准方法与技能 标准的应用，即典型的非数学情境，通过明确的数学手段完美处理

4、,2020/7/26,7,闵行交流,教育评价相关概念分析,教育测量与教育评价 教育评价是教育测量的一种延续 测验与考试 测验是对行为样本的客观的和标准化的测量 考试一般指在比较正式场合下的测验，目的性比较强,2020/7/26,8,闵行交流,评价,测量,测验,2020/7/26,9,闵行交流,教育评价的过程的四个步骤：,确定教育目标； 设计评价情境，这必须依据预先规定的教育目标中期望学生变化的那种行为来设计的； 选择和编制评价的工具，要求这些工具能引发教育目标所期望的那种行为； 分析评价结果，即依据既定的教育目标来分析评价学生所达到的程度,2020/7/26,10,闵行交流,教育评价的发展趋势

5、,教育测量的重心发生变化 现代认知理论的发展，更加关注学生在认知过程中的内部信息处理机制。 不仅仅局限于对学生未来成功与否的预测，更关注对学习目前学习状况及学科能力的诊断。 教育测量的理论有进一步发展 不仅仅满足与在试题层次上对学生的反应进行量化，同时对学生在信息加工成分层次、加工过程步骤层次上，将心理理论、统计模型、认知模型整合了起来 计算机技术的发展提高了测验的效率 提升的测量与评价的数据采集精度，提升了评价的可监控性和有效性 教育测量、评价的社会化功能逐步增强 如何保证公平公正不仅仅是相关教育测量学界关心的问题，同时社会更加关注，特别是对于高风险的评价。,2020/7/26,11,闵行交

6、流,评价的参照系：回答使用什么参照来解释所得相关信息,常模参照：确定学生在群体中的相对位置 类似高考、初三、高三模拟考试 标准参照：说明学生在多大程度上达到了所要求的学科标准 学校内部阶段性考试 增长参照：解释并确认学习的作用以及学习的增长也促进情况 教师和家长很看中学生在学习中的进步，但很少将其作为评分的基础，一些专家认为其可以作为常模参照和标准参照的解释的补充,2020/7/26,12,闵行交流,经典测量理论与项目反应理论浅析,经典理论浅析 项目反应理论（IRT）浅析 注意：1、两套理论及模型的使用假设 2、各自的优点和不足 3、关注多维项目反应理论在测量上的广泛使用和开发研究,2020/

7、7/26,13,闵行交流,经典测量理论的假设,2020/7/26,14,闵行交流,经典测量模型的特点与优点,理论假设是要求不高，是弱假设。从经验的判断，有较强的可接受性。 这套理论经过近六十多年的发展和实践，形成里较为完善的测验理论及对试题和试卷进行统计分析方法，方法简单，直观，易掌握。 在我国教育工作者应用中有一定的普遍性。,2020/7/26,15,闵行交流,经典测量理论的局限性,抽样变动大 能力难比较 复本难实施 缺乏预测力,2020/7/26,16,闵行交流,IRT的特点,基本思想：潜在特质 基本思路 确定被试的心理特质值和他们对于项目的反应之间的关系，这种关系的数学形式就是“项目反应

8、模型”。IRT的核心就是数学模型的建立以及对模型中各个参数的估计。,2020/7/26,17,闵行交流,IRT的基本假设,潜在特质空间的单维性假设 大多数项目反应模型都假设完全潜在空间是单维的。 局部独立性假设 被试对一个测验项目的反应不受他们对其他测验项目反应情况的影响。 项目特征曲线假设（ICC） 反映了被试对某一测验项目的正确反应概率与该项目所对应的能力或特质水平之间的函数关系。,2020/7/26,18,闵行交流,2020/7/26,19,闵行交流,项目反应模型,二级评分IRT模型 例：逻辑斯蒂模型 单参数模型（拉希模型）；双参数模型和三参数模型。 多级评分IRT模型 连续型IRT模型

9、,2020/7/26,20,闵行交流,项目反应理论的优点及运用,能力参数估计的不变性。 即个体独立于测验 项目参数估计的不变性。 即测验独立于个体 提供被试能力估计值的精确度指标 被试能力和项目难度在同一量表上，为测验编制、测题分数的报告和解释提供了便利。,2020/7/26,21,闵行交流,项目反应理论的缺点,由于是概率模型，所以数学模型与实测数据的拟合要求高； 题目反应理论是一维性假设，即在模型性使用中，要求试题只测试单个心理特质。这个假设要求非常高，目前没有很好的方法可以去验证。但目前世界上不断地就多维情况开发相应的理论模型，已经进入实际使用中。,2020/7/26,22,闵行交流,命题

10、技术控制,攻克难点:建立阶段性测试的评价目标 明确两个关系: 课程标准与考试标准的关系 使用对象不同 性质与功能不同 可测程度不同 稳定程度不同 教材与考试标准的关系 命题要点:命题的目的、原则及指导思想 注意： 1、对于高利害性的考试，命题必须守住如下底线： 科学性 公平性 难度 2、考试标准与课程标准的一致性 考试蓝图,2020/7/26,23,闵行交流,命题的目的、原则及指导思想,命题的目的和指导思想 命题的原则 科学性 导向性 适切性 稳定性,2020/7/26,24,闵行交流,考试蓝图,便于命题人员的编题操作，保证整卷的质量控制。既保证了在考试标准中所规定的试卷结构能得到确实地实现，

11、在大大减少命题人员编制试题的盲目性和个人的随意性的同时，即保证全卷考查知识覆盖面，又有利于试题发挥其积极的考查功能，突出考查重点，确保考试目标的实现； 便于审题人员的审核。审题人员根据上述所呈现的考试蓝图，依据考试标准，逐条对照，对发现的问题，有的放矢的提出修改甚至更换意见，促进试卷与考试标准的一致性，有利于提高试卷的质量。 便于对试后结果的效度进行评价。没有这考试蓝图，评价就缺少了参照物，有了这个考试蓝图，就可以对考试成绩进行更为细致、深入的统计分析，收集、归纳考生的案例进行质性分析，对命题技术和试卷质量进行评估。,2020/7/26,25,闵行交流,考试蓝图,2020/7/26,26,闵行

12、交流,技术指标：难度,2020/7/26,27,闵行交流,区分度,试题的区分度以0.2以上为宜,2020/7/26,28,闵行交流,试卷的信度：试卷是否可靠？,信度的概念:反映测量工具可靠性的工具 信度的计算： 其中 表示每道试题成绩的方差， 表示整卷成绩的方差 公式体现出了测量工具随机性误差的大小，信度值越大，随机性误差越小，测量工具测量的稳定性越强，反之，稳定性越小,2020/7/26,29,闵行交流,效度,效度:试卷的有效性简称效度，指试卷在多大程度上测到了所要测的对象，如知识、技能、能力等。 效度分类： 内容效度：知识、技能的覆盖面、代表性及要求程度 结构效度：能力结构的体现 效标效度

13、：测验分数与效标的相关程度 如用中考的成绩与模拟中考的成绩的相关程度来检验模拟中考的有效性，中考就成了模拟中考的效标,2020/7/26,30,闵行交流,试卷质量的核心问题：效度、信度,信度=效度,2020/7/26,31,闵行交流,案例举例：总体情况：,2020/7/26,32,闵行交流,总体情况,2020/7/26,33,闵行交流,难度,2020/7/26,34,闵行交流,难度分布：,2020/7/26,35,闵行交流,客观题识别度指数,2020/7/26,36,闵行交流,效度（内容）,2020/7/26,37,闵行交流,结构设计分布：,基础知识和基本技能：1、2、3、4、5、6、7、8、

14、9、10、11、12、13、14、15、16、17、19、20、21（1）（2）、22（1）（2）（3）、23（1）(2)、24（1）、（2）； 运算能力：8、9、10、19、20、21（2）、24（1）、25（1）（2）； 逻辑思维能力：14、18、23（1）（2）、24（2）、25（3）； 空间观念：6(一期教材)、15、17、18、21（2）、23（1）（2）、24（2）、25（1）（2）（3）； 分析、解决问题的能力：14、21（1）（2）、22（1）（2）。,2020/7/26,38,闵行交流,2020/7/26,39,闵行交流,量化数据为诊断提供依据,量化不能为诊断提供全部的依据

15、教师(特别学科教研组长)在学科素养(对学科、课程标准、教材使用的认识，对学生认知过程的把握程度)上的高低对判断的作用 注重对群体性、典型性案例，作为量化手段的必要补充在诊断中的重要作用,2020/7/26,40,闵行交流,在教学管理中，有待进一步思考的问题,知识管理模型的理论建构 注意到量化只是管理控制中一个非常基础、但也非常需要细心伺候的环节 值得关注的几个环节 拥抱问责,2020/7/26,41,闵行交流,结束语,对于生活在充满批判的更为开放世界中的我们，请学会拥抱问责。我们的大多数的荣耀归功于那些一路上为我们提供反馈、告诉我们“什么奏效，而什么不奏效”的人们 教育管理需要进行目标式管理，但核心是你的过程管理是否真正、有效体现目标 技术属于微观、战术层面，如果宏观、战略层面出现问题，再好的技术或许都会呈现负效应,2020/7/26,42,闵行交流,