《命题流程与质量保障》由会员分享，可在线阅读，更多相关《命题流程与质量保障（108页珍藏版）》请在金锄头文库上搜索。
1、命题流程与质量保障命题流程与质量保障温州市教育教学研究院温州市教育教学研究院2012年3月1 1用标准提升教育质量成为国际共识21世纪以来，世界教育进入了以提高质量提高质量为中心目标的时代，制定教育质量国家标准成为许多国家教育改革与发展的主要内容。国际教育标准主要涉及学术内容标准和教育质量学术内容标准和教育质量标准标准。其中，学术内容标准明确学生应该知道什么和能够做什么，教育质量或绩效标准明确学生如何展示他们的掌握程度。基于标准提高教育质量、形成教育质量评估的一般模式、广泛开展教育质量监测、规范教师专业广泛开展教育质量监测、规范教师专业标准、加强立法保障，标准、加强立法保障，成为各国提升教育质
2、量的共同举措。2012年年1月月31号号 中国教育版中国教育版2 2评价过程三要素确定确定对象对象开发开发工具工具评价评价工具工具3 3评价什么？4 4教育质量与学业质量学业质量与学业成绩学业成绩与考试成绩几个核心概念的区别与联系5 5教育质量的内涵教育质量的内涵教育质量与学业质量u联合国儿童发展基金会在教育质量定义中提出了教育质量的五个要素:学习者、教育环境、教育内容、教育过程和教学习者、教育环境、教育内容、教育过程和教育成果育成果。l从宏观层面看，教育质量即整个教育体系的质量。 学习者的个体层面、教育管理与行政结构的制度层面l从微观层面看，教育质量最终落在培养对象的质量上 。 学习者人作为
3、质量的载体以及影响其学习质量的直接因素，其教育成果是质量的核心6 6有质量的教育旨在将学习者培养成为兼具个体、家庭成员、社会成个体、家庭成员、社会成员和全球公民员和全球公民四种角色能力的人；有质量的教育构建的是知识、生活技能、态度和价值观知识、生活技能、态度和价值观并提供可持续发展的能力。宏观教育质量微观学业质量教育质量与学业质量7 7有质量的教育构建的是知识、生活技能、态度和价值观知识、生活技能、态度和价值观并提供可持续发展的能力。学业质量与学业成绩学业质量是多面体学业成绩是正视图可测性？8 8历史学科试题中日甲午战争甲午战争发生于何时何地？战争的起因是什么？战争的过程、结果如何？中国战败的
4、原因何在？战败后中日之间签订的马关条约内容是什么？对中国有什么危害？9 9日本和中国一百年打一次仗。19世纪打了日清战争（我们称甲午战争），20世纪打了一场中日战争（我们叫抗日战争）。21世纪如果日本和中国开火，你认为会在什么时候？可能的原因（近因和远因）在哪里？如果日本战胜胜在什么方面？输了又是输在什么条件上？历史学科试题中日甲午战争1010学业成绩与考试成绩学业成绩=考试成绩？有效性？科学性？学业质量学业成绩考试成绩1111如何评价？量尺的开发1212何为健康？概念界定概念界定世界卫生组织对健康定义:“健康不仅是没有疾病,而且是指心理上和社会上的完满状态。”具体指标？框架构建框架构建 世界
5、卫生组织WHO新的健康标准10条 如对一般感冒和传染病有一定抵抗力；如何检测？工具开发工具开发 体检工具的开发与套餐的设计结果反馈？标准的设立标准的设立各项指标的标准设定健康体检13131414学业质量概念不清晰概念不清晰具体指标框架不完善框架不完善检测量尺工具不科学工具不科学结果反馈标准不稳定标准不稳定学业质量评价现状与问题？1515如何评价现状与问题？命题需要哪些人员命题需要哪些人员课程专家课程专家教研员、教师教研员、教师测量统计测量统计16161717PISA简介“国际学生评价项目”( Programme for International Student Assessment，简称PI
6、SA项目) 是由经济合作与发展组织(OECD)启动，该项目在OECD 成员国和其他部分非成员国中进行1818PISA评价目的及内容评价目的评价目的： 以15岁在校生（接近义务教育末期）为评价对象，其主要目的是了解并比较各国15岁学生为未来生活未来生活的准备情况，了解他们是否具备分析、推理和沟通能力，了解他们是否具备终身学习终身学习的能力 。评价内容评价内容：主要是生活所需要的基本知识和技能基本知识和技能:阅读素养、数学素养、科学素养以及问题解决能力，重点考查学生运用所学知识和技重点考查学生运用所学知识和技能解决日常生活问题的能力能解决日常生活问题的能力。此外，还收集学生的学习态度、学习策略、家
7、庭背景以及学校因素等影响学生表现的背景信息背景信息。 PISA项目是一种前瞻性前瞻性评价。1919PISA测试形式及发展从2000年起，每隔3年进行一次每次以一个学科（数学、阅读、科学）为主，其他两门学科占1/3各参与国随机抽取4500-10000名15岁的学生 .完成两个小时的纸笔测验和20-30分钟的问卷 被调查学校的校长也要完成一份20分钟的问卷2020数学素养数学素养一个有创新精神、关心他人及有思想的公民所应具有的数学能力数学能力：即能判断和理解判断和理解数学在现实世界中的作用；能运用数学运用数学做出有充分根据的决策决策；能在个体生活需要时使用和渗透数学使用和渗透数学2121科学素养科
8、学素养利用科学知识识别科学问题识别科学问题并能得出有根据的结论有根据的结论，以便能理解理解自然界以及人类活动造成的变化，并有助于做出相关的决策决策。2222阅读素养阅读素养理解，使用和思考理解，使用和思考书面文本的能力，以达到个人目标，增长知识、发挥潜力并参与社会23232424评价三维框架2525过程维度再现、回忆 （REPRODUCTION）这部分能力主要在相对熟悉相对熟悉的题目中起作用，主要是要求再现练习过再现练习过的知识，包括熟悉熟悉、常规常规的数学过程和计算。如下例：解方程7x-3=13x+15;2626连接能力基于再现能力，解决的不再是简单的常规问题，是原来熟悉问题的微小扩展和超越
9、熟悉问题的微小扩展和超越，需要更多解释需要更多解释，并且要求在情景的不同表征间形成联系不同表征间形成联系，或者把问题情境的不同不同方面联系方面联系起来以获得解题方法。如下例：等你开车开到三分之二路程时，你的油箱已由原来的满箱到只有四分之一箱，问：是否能用这些油到达终点？过程维度过程维度连接连接（CONNECTION）2727过程维度反思（REFLECTION）连接能力基于再现能力之上。要求学生能够综合运用综合运用知识技能分析确定具体情境下的数学要素；创造性地辨别创造性地辨别相关的数学概念，联系相关的数学知识解决问题，并提出论据进行论证；同时还要去学生对问题解决的过程过程 、结果、方法进行反思、
10、结果、方法进行反思。2828PISA样题样题292926连接连接27再现再现12再现再现303096反思反思31312006年年PISA科学评价框架科学评价框架3232知识纬度知识纬度u科学探究科学探究起源（如好奇心、科学问题）、目的、实验、数据、测量、科学结果的特征（经验证的、试验性的、可验证的、可证伪的、自我校正的）u科学解释科学解释种类（假设、理论、模型、科学规律）、形成（既有的知识和新的证据、创造力和想象力、逻辑）、法则（逻辑一致性、以证据为基础、以历史和当前的知识为基础）、结果（新知、新方法、新技术、新研究）显性知识隐性知识3333能力纬度能力纬度3434样题酸雨下图是被称作廊台的六
11、尊女像柱雕像，建立于2500年前的雅典卫城。雕像由一种被称为大理石的岩石雕刻而成，大理石成分为钙的碳酸盐。由于酸雨腐蚀，原始雕塑在1980年被转移到博物馆内，由复制品取而代之。问题1 正常的雨水略带酸性，因为它从空气中吸收了一些二氧化碳。酸雨比正常的雨水更酸，因为它还同时吸收了如硫氧化物和氮氧化物之类的气体。空气中的硫氧化物和氮氧化物是从哪里来的？对现象进行科学地解释3535样题酸雨问题2 一片大理石薄片在被浸泡在醋里一整夜之前的质量是0.2克。隔天大理石薄片被取出并且干燥，干燥后大理石薄片的质量将会是多少？ A 少于0.2克 B 精确的0.2克 C 在2.0克至2.4克之间 D 多于2.4克
12、使用科学证据问题3 学生把一份大理石浸没在醋酸溶液中一夜，同时把另一份大理石放在蒸馏水中一夜，解释做后一步骤的原因。识别科学问题3636态度纬度态度纬度3737样题酸雨科学兴趣科学探究3838样题酸雨问题6 化石燃料的燃烧（煤炭、石油、天然气）导致了酸雨的量。下面给出了四个观点，选择一个和你观点最接近的答。对资源和环境的责任A.我认为酸雨不足以构成导致我们改变使用化石燃料的问题。B.采取行动减少酸雨的量是好的，如果不影响我的生活方式的话我会支持。C.为了减少酸雨，如果每个人都这样做的话，我会减少对化石燃料的依赖性。D.为了减少酸雨，我会减少燃料化石的利用。3939TIMSS简介“国际数学和科学
13、趋势研究国际数学和科学趋势研究”(Trends in International Mathematics and Science Study 简称简称TIMSS项目项目) 国际教育成就评价协会组织国际教育成就评价协会组织(InternationalAssociationfortheEvaluationofEducationalAchievement，简称简称IEA)4040评价目的：了解各国计划数学、科学评价目的：了解各国计划数学、科学课程课程的实现程度的实现程度评价对象：主要为四年级和八年级学生评价对象：主要为四年级和八年级学生 评价周期：评价周期： 每每4年一次年一次1970 (19个个)
14、 1980 (24个个) 1995 (40个个) 1999 (38个个) 2003年有近年有近50个国家和地区个国家和地区(包括中国香港、中国台北包括中国香港、中国台北等地区等地区)参加了参加了TIMSS项目。项目。TIMSS测试形式及发展41412007年年TIMSS数学测试框架数学测试框架42422007年TIMSS数学测试框架认知领域43432007年TIMSS数学测试框架认知领域44442007年TIMSS数学测试框架认知领域45452007年TIMSS科学测试框架内容领域46462007年TIMSS科学测试框架认知领域47472007年TIMSS科学探究表述问题和假设表述问题和假设设
15、计探究过程设计探究过程记录表示数据记录表示数据分析和解释数据分析和解释数据得出结论，进一步解释及拓展得出结论，进一步解释及拓展48484949试卷结构要素内容维度能力维度情境维度单选题、多选题、封闭式简答题及开放式简答题难度结构结构决定性质，性质决定功能结构决定性质，性质决定功能5050PISA数学素养评价框架各维度的试题分布图5151内容结构及比例（内容结构及比例（%）TIMSS数学素养评价框架各维度的试题分布图2024/7/275252认知维度比例（认知维度比例（%）TIMSS数学素养评价框架各维度的试题分布图2024/7/275353双向细目表试卷命制的布局分布图54545555甲午战争
16、发生于何时何地？战争的起因是什么？战争的过程、结果如何？中国战败的原因何在？战败后中日之间签订的马关条约内容是什么？对中国有什么危害？历史考题历史考题中中日日甲午战争甲午战争5656日本和中国一百年打一次仗。19世纪打了日清战争（我们称甲午战争），20世纪打了一场中日战争（我们叫抗日战争）。21世纪如果日本和中国开火，你认为会在什么时候？可能的原因（近因和远因）在哪里？如果日本战胜胜在什么方面？输了又是输在什么条件上？历史考题历史考题中中日日甲午战争甲午战争5757测试目标、测试框架、试题属性，试题测试目标、测试框架、试题属性，试题内在一致性内在一致性5858案例案例某地区某地区平均得分率：平
17、均得分率：82.1%试题目标：理解混合运算的顺序试题目标：理解混合运算的顺序5959某地区平均得分率：74.2%在错误的答案中，396约占40%3.60602024/7/2761案例案例61612024/7/2762典型作答典型作答62622024/7/2763典型作答典型作答63632024/7/2764访谈了两所学校（12人），总结： 多部分学生的作答跟表中数据无关，没有利用数据做合理判断的意识；部分学生已经有了利用数据做判断的意识，但学生的理由比较模糊。2位学生从平均角度做答。反思：试题本身提问方式三年级学生 利用数据做合理判断？6464多倍试题及学生访谈小规模试测大规模试测专家审题命题
18、流程命题流程6565小规模预测小规模预测题目表述是否清晰、准确题目表述是否清晰、准确背景学生是否熟悉背景学生是否熟悉学生的作答，以及是否与命题预设一致学生的作答，以及是否与命题预设一致选择题选项支的设置，是否有迷惑性选择题选项支的设置，是否有迷惑性；主观题学生作答情况等，主观题学生作答情况等，为试题修改和评分标准为试题修改和评分标准的初拟提供信息。的初拟提供信息。试题的有效性及科学性试题的有效性及科学性6666案例案例考查能力：理解概念考查目标：理解数位的意义，并能比较大小6767现状：现状：得分比率过低，且A选项比例过高分析：分析：可能是学生在组合比较数据由于数量级悬殊不大，造成了学生比较的
19、难度建议：建议：将数字9改成数字8。 修改如下：6868案例案例PISAPISA样题样题6969小明用同样长的两根铁丝围成了如图的甲、乙两个图形，比较它们的面积，那么（ ）A乙比甲大 B甲比乙大 C一样大 D无法比较案例案例7070A、B、C水平学生的平均得分率水平学生的平均得分率 分分别为：78.8%，46.9%，28.2%。7171这是一幅南极洲地图这是一幅南极洲地图,请利用图中的比例尺估计它的面积请利用图中的比例尺估计它的面积,并解释你是如何得到的并解释你是如何得到的.案例案例评分标准的设计评分标准的设计7272案例案例评分标准的设计评分标准的设计73732024/7/2774反映试卷总
20、体难度及试题难易程度的分布反映试卷总体难度及试题难易程度的分布学生的作答时间学生的作答时间反映试题的质量（区分度、难度、信息量等）反映试题的质量（区分度、难度、信息量等）学生的作答结果学生的作答结果 为试题修改和评分标准的完善提供信息。为试题修改和评分标准的完善提供信息。大规模预测大规模预测7474案例案例选择题选择题难度 区分度选项信息ABCD0.370.19百分比46.0 12.4 4.8 36.7 点二列0.12-0.17 -0.25 0.107575试卷质量保障试卷质量保障命题过程力求科学规范命题过程力求科学规范质性分析与量化分析结合质性分析与量化分析结合开展学生研究开展学生研究题库建
21、设题库建设2024/7/277676如何评价工具？反馈与保障7777试卷分析报告试卷分析报告1.关注试题，忽略试卷关注试题，忽略试卷量尺科学性量尺科学性2.关注结果，忽略过程关注结果，忽略过程诊断诊断 试卷本身、学生思维障碍试卷本身、学生思维障碍3.关注教学，忽略命题关注教学，忽略命题导向性导向性7878试卷分析指标试卷分析指标标尺的科学性标尺的科学性信度信度一致性、可信度一致性、可信度效度效度有效性有效性难度难度分数分布分数分布79792011年年中考科学试卷数据分析表中考科学试卷数据分析表8080试卷分析试卷分析2011年年总分频数分布图总分频数分布图负偏态？8181试卷分析试卷分析201
22、1试试卷信息函数卷信息函数后后5%前前12%前前40%8282试题分析指标试题分析指标难度难度区分度区分度选项分布（采分点）选项分布（采分点）点二列相关点二列相关能力值能力值8383试题分析指标试题分析指标难度难度难度指标（通过率或得分率难度指标（通过率或得分率P值）值）8484案例案例主观题主观题8585案例案例选择题选择题难度 区分度选项信息ABCD0.370.19百分比46.0 12.4 4.8 36.7 点二列0.12-0.17 -0.25 0.108686试题分析指标试题分析指标区分度区分度将学生能力按照测验的总分分为高分组（前将学生能力按照测验的总分分为高分组（前25%-25%-3
23、3%33%）和低分组（后）和低分组（后25%-33%25%-33%），计算两个组在某道），计算两个组在某道题目上通过率或平均分数的差异：题目上通过率或平均分数的差异： D D P PH HP PL L8787鉴别指数鉴别指数将学生能力按照测验的总分分为高分组（前将学生能力按照测验的总分分为高分组（前25%-25%-33%33%）和低分组（后）和低分组（后25%-33%25%-33%），计算两个组在某道题），计算两个组在某道题目上通过率或平均分数的差异：目上通过率或平均分数的差异： D D P PH HP PL L8888案例案例选择题选择题难度 区分度选项信息ABCD0.370.19百分比46
24、.0 12.4 4.8 36.7 点二列0.12-0.17 -0.25 0.108989中考科学试题难度区分度分布图中考科学试题难度区分度分布图9090试题分析指标试题分析指标选项比例选项比例9191案例案例选择题选择题难度 区分度选项信息ABCD0.870.30百分比3.1 86.8 6.7 3.1 点二列-0.200.37 -0.20 -0.21 9292案例案例选择题选择题难度 区分度选项信息ABCD0.370.19百分比46.0 12.4 4.8 36.7 点二列0.12-0.17 -0.25 0.109393试题分析指标试题分析指标采分点比例采分点比例9494案例案例主观题采分点主观
25、题采分点9595其中其中Xp为答对某题的人的总平均分为答对某题的人的总平均分Xq为答错某题的人的总平均分为答错某题的人的总平均分P为答对某题的人数百分比为答对某题的人数百分比q为答错某题的人数百分比为答错某题的人数百分比St为总分的标准差为总分的标准差试题分析指标试题分析指标点二列相关点二列相关9696案例案例选择题选择题难度 区分度选项信息ABCD0.870.30百分比3.1 86.8 6.7 3.1 点二列-0.200.37 -0.20 -0.21 9797案例案例选择题选择题难度 区分度选项信息ABCD0.370.19百分比46.0 12.4 4.8 36.7 点二列0.12-0.17
26、-0.25 0.109898试题分析指标试题分析指标能力值能力值9999试卷分析试卷分析2011试试卷信息函数卷信息函数后后5%前前12%前前40%100100案例案例能力后能力后5%难度区分度0.840.47101101案例案例能力后能力后5%难度区分度0.830.47102102案例案例能力最高试题能力最高试题10310320112011年年3232道题第道题第3问采分点问采分点104104案例案例主观题采分点设计主观题采分点设计1051052011年年32道题道题第第2问采分点问采分点106106关于评价评价测量（量的记述）或非测量（质的记述）价值判断。美国学者格朗兰德（ronlund,N.E.）107107敬请批评指正！敬请批评指正！谢谢！谢谢！108108
