《上海学生学业质量绿色指标提出的背景内容及目前的进展培训资料》由会员分享，可在线阅读，更多相关《上海学生学业质量绿色指标提出的背景内容及目前的进展培训资料（82页珍藏版）》请在金锄头文库上搜索。
1、上海市教委教学研究室 上海市教委基础教育(jch jioy)质量监测中心2014年3月4日上海市上海市“绿色指标绿色指标”评价实践评价实践(shjin)(shjin)操作程序及要点操作程序及要点第一页，共82页。上海绿色指标评价改革目标上海绿色指标评价改革目标(mbio)(mbio)与任务与任务总体目标：总体目标：一是形成富有时代特色、地方特点一是形成富有时代特色、地方特点(tdin)(tdin)、科学多元的中小学教育质量综、科学多元的中小学教育质量综合评价体系，推动上海基础教育转型发展合评价体系，推动上海基础教育转型发展和素质教育全面落实。和素质教育全面落实。二是发挥科学评价的指挥棒作用，以
2、中小二是发挥科学评价的指挥棒作用，以中小学教育质量评价改革实验推动教育教学诸学教育质量评价改革实验推动教育教学诸领域的变革，形成区域改革实验成果，逐领域的变革，形成区域改革实验成果，逐步辐射有效经验。步辐射有效经验。具体任务：具体任务：1.1.形成比较完善的中小形成比较完善的中小学教育学教育(jioy)(jioy)质量评质量评价指标体系。价指标体系。2.2.形成比较科学的中小形成比较科学的中小学教育学教育(jioy)(jioy)质量评质量评价办法。价办法。3.3.形成比较健全的中小形成比较健全的中小学教育学教育(jioy)(jioy)质量评质量评价制度。价制度。第二页，共82页。上海绿色指标评
3、价改革上海绿色指标评价改革(gig)(gig)实践方案实践方案教育质量评价体系评价指标质量标准学科测试背景调查数据分析教育质量数据库分析报告反馈与改进教育决策教学研究课堂教学系统反思修改、完善评价工具第三页，共82页。绿色指标(zh(zhbio)bio)操作程序及要点评价指标(zhbio)的内容工具(gngj)研发报告撰写数据处理结果应用考务工作评价指标的设计依据阅卷评分第四页，共82页。评价指标的设计1第五页，共82页。评价指标的设计(SHJ)依据1 1、上海基础教育发展过程中亟待解决的问题、上海基础教育发展过程中亟待解决的问题 上海上海1515岁学生参加岁学生参加PISA2009PISA2
4、009、20122012测试，在阅读、数学、测试，在阅读、数学、科学三个方面科学三个方面(fngmin)(fngmin)均取得了第一名的成绩。均取得了第一名的成绩。20092009上海学上海学生每周课内外上课时间的总量（生每周课内外上课时间的总量（34.834.8小时）位居参与国（地区）小时）位居参与国（地区）第第1212位。位。20122012上海学生每周作业时间上海学生每周作业时间11.811.8小时。小时。第六页，共82页。2 2、学业质量的上海理解、学业质量的上海理解 学业水平：考试的结果、达标的程度；学业水平：考试的结果、达标的程度； 学业质量：学业水平学业质量：学业水平+ +结果的
5、品质；结果的品质； 水平结果水平结果+ +取得水平结果的路径、代价取得水平结果的路径、代价(diji)(diji)； 学业质量概念的构成性、关联性与发展性。学业质量概念的构成性、关联性与发展性。评价指标(ZHBIO)的设计依据第七页，共82页。3 3、国际大规模测试的关注点、国际大规模测试的关注点 如如PISAPISA、TIMSSTIMSS和和NAEPNAEP等都采用背景等都采用背景(bijng)(bijng)问卷问卷的方式来了解影响学生学业成就的因素。这些因素一般分为的方式来了解影响学生学业成就的因素。这些因素一般分为学习者、课程教学、学校及教育制度四个维度。学习者层面学习者、课程教学、学校
6、及教育制度四个维度。学习者层面主要包括性别、家庭社会经济背景主要包括性别、家庭社会经济背景(bijng)(bijng)、自我认知、自我认知、学习动机以及教育期望等；课程教学层面包括教学策略、课学习动机以及教育期望等；课程教学层面包括教学策略、课堂气氛、教师支持等。堂气氛、教师支持等。评价指标(ZHBIO)的设计依据第八页，共82页。4 4、历年学业质量调查的实证数据基础、历年学业质量调查的实证数据基础 自自20062006起，一直参与起，一直参与(cny)(cny)教育部基础教育课程教教育部基础教育课程教材发展中心材发展中心“建立中小学生学业质量分析、反馈与指导系建立中小学生学业质量分析、反馈
7、与指导系统统”项目，从该项目的调查结果中提炼出与学业成绩密切项目，从该项目的调查结果中提炼出与学业成绩密切相关的因素，如睡眠时间、作业时间、师生关系、教师教相关的因素，如睡眠时间、作业时间、师生关系、教师教学方式等。学方式等。评价指标的设计(SHJ)依据第九页，共82页。评价指标的内容2第十页，共82页。评价指标(ZHBIO)的内容学生学业水平指数：标准达成学生学业水平指数：标准达成+高层次思维高层次思维+成绩均衡成绩均衡学生学习动力指数：学习自信心学生学习动力指数：学习自信心+学习动机学习动机+学习压力学习压力+对学校认对学校认同度指数同度指数学生学习负担指数：负担综合指数学生学习负担指数：
8、负担综合指数+负担分项指数。负担分项指数。师生关系指数：尊重学生，平等对待学生，信任师生关系指数：尊重学生，平等对待学生，信任(xnrn)学生学生教师教学方式指数：教师自评指数教师教学方式指数：教师自评指数+学生评价指数学生评价指数校长课程领导力指数：决策计划校长课程领导力指数：决策计划+组织实施组织实施+管理评价管理评价学生社会经济背景对学业成绩的影响指数学生品德行为指数：自学生社会经济背景对学业成绩的影响指数学生品德行为指数：自尊、尊重、诚信、责任、公德尊、尊重、诚信、责任、公德身心健康指数：近视率、肥胖率、身体素质、幸福感身心健康指数：近视率、肥胖率、身体素质、幸福感跨年度进步指数：学习
9、动力跨年度进步指数：学习动力+ 师生关系师生关系+ 学业负担变化学业负担变化第十一页，共82页。评价(PNGJI)指标的数据获取方式学科测试卷：学生学业水平指数 背景调查(dio ch)问卷：学生品德行为指数 学习动力指数 学业负担指数 师生关系指数 学生社会经济背景对学业成绩的影响指数教师教学方式指数 校长课程领导力指数 学生体质健康测试：身心健康指数第十二页，共82页。评价(PNGJI)对象评价对象：学生（小学四年级、初中九年级）、教师、校长评价对象：学生（小学四年级、初中九年级）、教师、校长调查时间：每年调查时间：每年1010月份月份（1 1）由于调查时间安排）由于调查时间安排(npi)
10、(npi)在在1010月份，实际上学科测试月份，实际上学科测试的内容为小学的内容为小学3 3年级和初中年级和初中8 8年级的内容。年级的内容。（2 2）教师：该年级被调查学科的任课教师。）教师：该年级被调查学科的任课教师。第十三页，共82页。工具研发3第十四页，共82页。工具(GNGJ)研发基本(jbn)流程l组建相关研发团队（学术基础、团队、工作意向）l工作程序l （1）研发测试框架(kun ji) l （2）试题征集 l （3）30人试测、6名学生口语报告 （6套） l （4）300人试测 （6套） l （5）试题评审（4套） l （6）正式测试卷（2套）第十五页，共82页。工具(GNGJ
11、)研发学科测试(csh)框架学科能力语文语文积累与运用积累与运用读准字音认清字形理解词义积累和运用常见古诗文阅阅读读获取信息整体感知；提取信息；形成解释合理使用信息并做出评价获得文学体验完成任务写作写作能根据表达需要，选取恰当作文材料能有条理地安排文章的结构能具体明确、文从字顺表达自己意思第十六页，共82页。工具(GNGJ)研发学科测试(csh)框架学科学科内容内容能力能力数学数学数与代数图形与几何统计与概率知识技能；理解概念（小学为数学理解）；运用规则；解决问题英英语语音、词汇、语法话题、语言功能听、读、写科学科学科学知识生命科学物质科学地球、宇宙和空间科学回忆理解与简单应用问题解决科学探究
12、对科学探究的理解科学探究能力第十七页，共82页。工具(GNGJ)研发学科测试(csh)框架l框架(kun ji)与样题l各个维度题量比例l试题难度分布第十八页，共82页。工具(GNGJ)研发试题征集(zhngj)或开发l基于课程标准的基本要求l能力导向(do xin)l情境性试题第十九页，共82页。工具(GNGJ)研发300人试测l难度l区分度l每个项目上的作答(zu d)比例第二十页，共82页。工具(GNGJ)研发试题(sht)评审l评审专家组对每一道试题进行专业判断l（优、良、中指出可能存在的问题，提出(t ch)修改建议）l命题专家进行回应与解释l（接受意见进行修改；提出(t ch)不修
13、改的理由）第二十一页，共82页。工具(GNGJ)研发问卷框架(kunji) 学生问卷：学生基本情况；学习自信心；学习动机；学习压力；学生对学校的认同度；学业负担（睡眠时间、做作业时间、补课时间）；师生关系；对教师教学方式的评价；品德行为（理想信念、公民素质和健全人格） 教师问卷：教师基本情况；教师对课程的看法；对学校管理的看法；面临的困难；教学观和教师专业发展；教师教学方式（因材施教、互动教学和探究与发展能力） 校长问卷：学校基本情况；校长办学理念和教育观；校长的学校管理方法；课程领导力（课程决策与计划、课程组织(zzh)与实施、课程管理与评价）第二十二页，共82页。工具(GNGJ)研发问卷编
14、制(binzh)l概念界定l收集资料（公开发表的量表、PISA问卷、TIMSS问卷、NAEP问卷；对学生进行访谈）l编写试题l小范围测试(csh)（用学生的视角看试题的陈述）l形成问卷l 大规模测试(csh)后，再根据数据进行修改完善。第二十三页，共82页。工具(GNGJ)研发问卷实例(shl)师生关系哪个学科的老师符合(fh)下面的说法（可以多选， 也可以不选）第二十四页，共82页。工具(GNGJ)研发问卷实例(shl)睡眠(shumin)时间第二十五页，共82页。考务工作4第二十六页，共82页。考务工作(GNGZU)基础(jch)信息上报1、按照规定的表格上报完整的信息2、学生基础信息中包
15、含的内容有：区县名称、学校名称、学校类型、学校性质、学籍号、姓名、性别、年级、班级、户籍。其中学校类型分别为：小学(xioxu)、初中、完中和九年一贯；学校性质分别为：公办、民办、随迁子女民办学校；户籍分为本市户籍和非本市户籍。第二十七页，共82页。调研形式：抽样调查 全体(qunt)调查 抽样调查：符合教育部相关文件精神；数据处理复杂，需要计算权重和抽样误差。 全体(qunt)调查：组织方便；可具体到班级、个体层面做分析抽样： 区县抽样、学校抽样、学生抽样。考务工作(GNGZU)抽样(chuyn)设计第二十八页，共82页。小学样本量：年级人数=50 全测50年级人数=100 抽50人100年
16、级人数=200 抽75人200年级人数=300 抽100人300=年级人数 抽150人抽样方法：等距抽样测试安排(npi)：每位学生均参加语文、数学学科测试及问卷调查考务工作(GNGZU)抽样(chuyn)设计第二十九页，共82页。中学样本量：年级人数=100 全测100年级人数=150 抽100人150年级人数=220 抽150人 220=年级人数 抽200人抽样方法：等距抽样测试安排：每位学生均参加语文、数学(shxu)（或外语、科学）学科测试及问卷调查考务工作(GNGZU)抽样(chuyn)设计第三十页，共82页。考务工作(GNGZU)编排(binpi)准考证号准考证号用11位数字表示，
17、其中1-2位为区县代码；3-5位为学校代码；6-7位为考场代码；8-9位为题组代码；10-11位为座位号。1-2：区县代码，事先规定好给区县。3-5：学校代码：同一区县内，小学(xioxu)与中学的学校代码分开编写；一贯制学校内中学部和小学(xioxu)部各用一个学校代码；同一个学校，不同的校区用不同的代码。同一个区县内可以按照001、002的顺序依次往后编写。6-7：考场代码，同一个考点内，考场代码按照01、02的顺序依次编写。8-9：题组代码，小学(xioxu)四年级语文、数学代码为13；中学九年级语文、数学代码为25，英语、科学代码为26。10-11：座位号，按照 0125的顺序依次编写
18、。第三十一页，共82页。考务工作(GNGZU)统计测试(csh)材料1、统计测试(csh)材料数量，与印厂交接第三十二页，共82页。考务工作(GNGZU)统计测试(csh)材料2、编制测试(csh)材料区县下发清单，与区县交接第三十三页，共82页。考务工作(GNGZU)其他(qt)事项1、编写考务手册(shuc)2、召开区县考务会议3、设计巡考方案，组织巡考4、测试材料清点、回收5、答题卡扫描第三十四页，共82页。阅卷工作5第三十五页，共82页。阅卷(YUJUN)工作1、制定主观题评分标准，形成评分手册2、组织阅卷教师，并对阅卷教师进行评分标准的培训3、商讨(shngto)题组分工，并确定阅卷
19、评分模式，即是单评还是三评，以及评分误差的阈值。第三十六页，共82页。数据处理与分析6第三十七页，共82页。原始数据数据清理经典测量理论分析项目反应理论分析标准划分数据入库报告模板数据挖掘专题报告报告生成学校报告区县报告市级报告成绩差异分析报告数据处理第三十八页，共82页。数据处理等值设计(shj)问题情境：问题情境：20142014年测试、年测试、20152015年（年（20162016年）测试，学生的年）测试，学生的学业质量是提升了还是降低了？幅度有多大？学业质量是提升了还是降低了？幅度有多大？ 试题难了分数低，试题容易分数高，直接比较不科学试题难了分数低，试题容易分数高，直接比较不科学(
20、kxu)(kxu)。方法之一：方法之一：2012年测试卷等值卷2013年测试卷等值卷等值卷2014年测试卷第三十九页，共82页。数据处理等值设计(shj)2012年测试卷等值卷2013年测试卷等值卷等值卷2014年测试卷等值卷：又称为铆卷，与测试卷的结构、题型相同。 通过等值卷作为桥梁，找到不同年度测试卷之间的关系。不能公开(gngki)；每年选择有代表性的学生群体进行测试。第四十页，共82页。数据处理分数(fnsh)计算原始分数：根据命题人员制定的赋分规则，汇总统计的分数。标准分数：通过对原始分数进行转化后得到的分数。量尺分数：利用试题的难度、区分度等参数，对学生的作答进行统计处理得到的分数
21、，不同年度间可以比较。 主要依据IRT理论进行分析。通常采用的是Rasch模型，使用CONQUEST软件进行处理。 软件处理后得到的结果有每个学生的分数、每道试题的难度、特征(tzhng)曲线等数据。第四十一页，共82页。数据处理等级(dngj)划分？不合格合格良好优秀 目前国际上普遍(pbin)采用的是修订Angoff法和书签法（Bookmarkprocedures）将学生的学业成就表现划分为不同的等级。 第四十二页，共82页。数据处理能力(nngl)表现描述 主要回答在语文（数学、英语、科学）学科上“优秀”、“良好”、“合格”的学生具有(jyu)什么样的能力，能解决哪些问题，“不合格”的学
22、生不具备什么样的能力。第四十三页，共82页。数据处理问卷计分(jfn)例：你对以下问题的看法如何？ 我很愿意参加集体活动 不同意 不太同意 不确定 比较同意 同意 方式一：按照“同意计5分，不同意计1分”的原则进行(jnxng)计分。 如果学生选择“不同意”，则该生在这道试题上得1分，选择“比较同意”，则得4分。最后将学生在同一个维度的项目得分进行(jnxng)加总，就得到学生在这个维度上的总得分。第四十四页，共82页。数据处理问卷计分(jfn)例：你对以下问题的看法如何？ 我很愿意参加集体活动 不同意 不太同意 不确定 比较同意 同意 方式二：按照(nzho)“比较同意”、“同意”计1分，其
23、他记为0分，最后统计学生在各个维度的总分。根据这个总分将学生划分为“对学校认同度较高”、“对学校认同度较低”。 第四十五页，共82页。数据分析测试工具质量(zhling)学科测试卷、背景学科测试卷、背景(bijng)(bijng)问卷：问卷： 信度、效度信度、效度 信度分析可以采用信度分析可以采用spssspss统计软件进行分析，统计软件进行分析，效度分析可以采用效度分析可以采用MplusMplus、LisrelLisrel、AmosAmos等软件进等软件进行分析。行分析。第四十六页，共82页。数据分析分析(fnx)类型l现状描述现状描述l影响因素影响因素l 数据统计采用数据统计采用(ciyn
24、g)spss17.0(ciyng)spss17.0软件，软件，作图使用作图使用ExcelExcel。第四十七页，共82页。数据分析现状(xinzhung)描述l现状描述现状描述l 分指标（学业水平、学习动机、师生关系分指标（学业水平、学习动机、师生关系)l 总体总体l 群体（不同群体（不同(b tn)(b tn)区域、不同区域、不同(b tn)(b tn)区县、区县、不同不同(b tn)(b tn)类型学校、不同类型学校、不同(b tn)(b tn)性别、性别、)l统计指标：百分比例统计指标：百分比例第四十八页，共82页。数据分析现状(xinzhung)描述l分析方法分析方法l变量的特征分析变
25、量的特征分析 类差异分析类差异分析l相关分析相关分析 变量综合分析变量综合分析l时间序列时间序列(xli)(xli)分析分析 学科分析学科分析第四十九页，共82页。数据分析现状(xinzhung)描述总体分析(fnx)（以“学习自信心”为例）学习自信心较强的学生学习自信心较强的学生(xu sheng)所占人数比例所占人数比例第五十页，共82页。数据分析现状(xinzhung)描述群体(qnt)分析-（不同区县）四年级学习自信心较强的学生所占人数四年级学习自信心较强的学生所占人数(rn sh)比例比例第五十一页，共82页。数据分析现状(xinzhung)描述群体(qnt)分析-（新优质）学习自信
26、心较强的学生学习自信心较强的学生(xu sheng)所占所占人数比例人数比例第五十二页，共82页。数据分析现状(xinzhung)描述群体分析(fnx)-（公办、民办）学习学习(xux)自信心较强的学生所占人自信心较强的学生所占人数比例数比例第五十三页，共82页。数据分析现状(xinzhung)描述群体(qnt)分析-（男、女）学习自信心较强的学生所占人数学习自信心较强的学生所占人数(rn sh)比例比例第五十四页，共82页。数据分析现状(xinzhung)描述群体(qnt)分析-（本市、非本市）学习自信心较强的学生所占人数学习自信心较强的学生所占人数(rn sh)比例比例第五十五页，共82页
27、。数据分析影响(yngxing)因素l回归回归(hugu)(hugu)分析分析第五十六页，共82页。数据分析影响(yngxing)因素l相关相关(xinggun)(xinggun)分析分析第五十七页，共82页。 上海市四年级学生主要(zhyo)指标指数数据分析：雷达(lid)图绿色指标(zhbio)的测试结果第五十八页，共82页。报告撰写7第五十九页，共82页。报告(BOGO)撰写报告(bogo)类型l基础数据报告基础数据报告l（主要是详细呈现各个指标的统计数据）（主要是详细呈现各个指标的统计数据）l结果解读报告结果解读报告l（分学科呈现主要调查结果、分析原因、提出教学（分学科呈现主要调查结果
28、、分析原因、提出教学改进建议）改进建议）l政策分析报告政策分析报告l（就行政关注点呈现主要数据，并做出判断。通常（就行政关注点呈现主要数据，并做出判断。通常是将结论是将结论(jiln)(jiln)作为小标题）作为小标题）第六十页，共82页。报告(BOGO)撰写报告(bogo)层次l市级报告市级报告l（可以提供（可以提供(tgng)(tgng)三种类型的报告）三种类型的报告）l区县报告区县报告l（基础数据报告）（基础数据报告）l学校报告学校报告l（基础数据报告）（基础数据报告） 市级报告人工撰写、区县、学校报告根据市级报告框架，市级报告人工撰写、区县、学校报告根据市级报告框架，通过计算机程序自动
29、生成。通过计算机程序自动生成。第六十一页，共82页。结果应用与工作推进8第六十二页，共82页。结果(JIGU)应用行政(xngzhng)推动l召开多种形式的反馈会（区长沙龙(shlng)、结果反馈报告会、全市中小幼校园长培训会议、区县校长培训会议)l 促进教育质量观的转变；l 分析全市的数据，指出存在的问题；l 提出改进要求。第六十三页，共82页。结果(JIGU)应用行政(xngzhng)推动l政策文件中对绿色指标进行关注(gunzh)与回应第六十四页，共82页。结果(JIGU)应用行政(xngzhng)推动第六十五页，共82页。结果(JIGU)应用行政(xngzhng)推动第六十六页，共82
30、页。结果(JIGU)应用行政(xngzhng)推动第六十七页，共82页。结果(JIGU)应用行政(xngzhng)推动第六十八页，共82页。结果(JIGU)应用行政(xngzhng)推动第六十九页，共82页。结果(JIGU)应用行政(xngzhng)推动第七十页，共82页。结果(JIGU)应用问题(wnt)诊断l原因分析l 在市级提供基础数据报告的基础上，各区县撰写本区县的深度分析报告，着重在原因分析。l改进(gijn)措施l 第七十一页，共82页。视角之1：本区县在这些指标(zhbio)上表现出什么样的特点？第七十二页，共82页。视角之2：本区县和全市有否差距？在哪些指标上可能存在(cnzi
31、)差异？高于高于全市平均水平全市平均水平第七十三页，共82页。视角之2：本区县和全市有否差距(chj)？在哪些指标上可能存在差异？低于低于全市平均水平全市平均水平第七十四页，共82页。视角之3：本区县不同群体、不同年级(ninj)间是否表现出不同的特点？第七十五页，共82页。视角之3：本区县不同(b tn)群体、不同(b tn)年级间是否表现出不同(b tn)的特点？同样都是对教师教学方式的评价(pngji)，9年级高于全市平均，而4年级却低于全市平均？第七十六页，共82页。视角之3：本区县不同群体、不同年级(ninj)间是否表现出不同的特点？四年级学生(xu sheng)对教师教学方式的评价
32、“互动教学”上，回答“总是”的百分比例第七十七页，共82页。视角(shjio)之3：本区县不同群体、不同年级间是否表现出不同的特点？同样都是学生家庭经济(jngj)背景对学业成绩的影响，为何4年级影响的程度小于全市平均，而9年级影响的程度大于全市平均？第七十八页，共82页。结果(JIGU)应用相关(xinggun)支持l经费支持l成立区县基础教育质量监测中心、开展项目(xingm)研究、试点学校l专业人员培训l解读报告、分析数据、撰写报告l区县试点研究l工具编制、数据分析、报告撰写第七十九页，共82页。结果(JIGU)应用区县(qxin)行动区县实践项目区县实践项目(xingm)(xingm)
33、：长宁区：长宁区：“三个指数三个指数”闸北区：初中教学质量综向发展性评价闸北区：初中教学质量综向发展性评价杨浦区：中小学生学业中创新素养发展性评价杨浦区：中小学生学业中创新素养发展性评价松江区：高层次思维评价研究松江区：高层次思维评价研究虹口区：学生学习动力指数虹口区：学生学习动力指数第八十页，共82页。结果(JIGU)应用学校(xuxio)试点 鼓励学校在“绿色指标(zhbio)”评价框架下，根据学校特点，有针对性地选择试点研究指标(zhbio)，探索以校为本的质量评价体系。六师二附小基于网络平台六师二附小基于网络平台的校本化的校本化“五项指标五项指标”第八十一页，共82页。谢谢(xi xie)！第八十二页，共82页。
