《命题和试题质量分析》由会员分享，可在线阅读，更多相关《命题和试题质量分析（48页珍藏版）》请在金锄头文库上搜索。
1、 Guangzhou University 2006命题和试题质量分析教师培训讲座2006年9月25日2 目 录难难 度度区分度区分度信信 度度效效 度度3某考试，共有四道题，5名考生得分如下。假设这次考试只有这五名考生，求各题的难度、整卷难度及难度分布各题的难度、整卷难度及难度分布%。4一、难度（一）含义：难度指试题的难易程度。问题：试题问题：试题1的难度系数为的难度系数为0.86， 试题试题2的为的为0.41。哪份试题更难。哪份试题更难些？些？结论：结论： 难度系数越大，试题越容易；难度系数越大，试题越容易；难度系数越小，试题越难。难度系数越小，试题越难。5（二）难度系数的计算0.30.3
2、5 51 13 35 51 11010题题3 30.720.72262613131818282819192929题题4 4424210101 15 50.680.685 56 69 94 41010题题2 220201 14 40.80.8难度难度28281 13 342420 02 225251 11 150501 1满分满分总分总分题题1 1考生编号考生编号61、题分难度计算：A）“1、0”记分题：P=通过人数 / 全体人数B）非“1、0”记分题：P=平均分 / 该题满分2、整卷难度计算：方法1：P= 平均分 / 整卷满分方法2：P= 各题难度系数加权后的平均数 （这里的权数：各题的满分值
3、）7（三）试题难度的评价：P0.9 很易0.71P0.89 偏易0.30P0.70 适中0.11P0.29 偏难P0.10 很难8（四）试题难度系数多大才适宜1、理论上，大部分试题的难度系数P在0.5左右为宜。为什么？为什么？因为因为因为因为P=0.5P=0.5时方差最大，而方差最大时试题的鉴别力最大。时方差最大，而方差最大时试题的鉴别力最大。时方差最大，而方差最大时试题的鉴别力最大。时方差最大，而方差最大时试题的鉴别力最大。(方差方差=pq=0.50.5=0.25)92、考虑考试目的1) 学科考试（如期末考），取P=0.5左右为宜2) 选拔类考试（如中考），录取率为多少，难度系数也相应取多少
4、。如：某次考试要从1000名考生录取200名，录取率为0.2，则要求试题的难度系数尽量达到0.2左右。3) 诊断分类考试（如高中毕业考目的是鉴别毕业生），因对区分度要求不高，所以要根据诊断要求具体确定难度系数。对这类考试，可取难度系数为0.80，甚至更大值。103、还要考虑到考生的实际情况1）若不同层次考生差异性太大，特别是其中的弱势群体人数较多时，考虑到教育公平，试题难度应偏易。2）要考虑考生学习信心和兴趣，及参与测试的信心，试题难度可稍偏易。11（五）未考试，如何判定试题的难度1、根据以往考试的同质性题目的难度判定。、根据以往考试的同质性题目的难度判定。2、根据考试的目的、性质、内容及双向
5、细目表、根据考试的目的、性质、内容及双向细目表的要求进行质的分析。的要求进行质的分析。3、挑选典型题目组成微型试题，进行正式考试、挑选典型题目组成微型试题，进行正式考试前的预备性测试，通过量的统计分析以确定试题前的预备性测试，通过量的统计分析以确定试题的难度。的难度。12 目 录难难 度度区分度区分度信信 度度效效 度度13二、区分度二、区分度某次语文统考，5名考生得分如下。假设这次考试只有这五名考生，求各题的区分度区分度。14vv二、区分度二、区分度（一）含义：区分度是试题（一）含义：区分度是试题（一）含义：区分度是试题（一）含义：区分度是试题( ( ( (或试题中的某小题或试题中的某小题或
6、试题中的某小题或试题中的某小题) ) ) )区分出学生能力水平差异区分出学生能力水平差异区分出学生能力水平差异区分出学生能力水平差异的程度的程度的程度的程度。水平高者，成绩好；水平低者，成绩差。则区分度高。反之，则区分度低。ABC化学总分化学总分化学总分化学总分化学化学化学化学题题题题3 3化学总分化学总分化学总分化学总分化学化学化学化学题题题题1 1化学总分化学总分化学总分化学总分化学化学化学化学题题题题2 2以上以上以上以上A A、B B、C C三图三图三图三图哪道题哪道题哪道题哪道题区分度较好？区分度较好？区分度较好？区分度较好？15*计算区分度时应考虑哪些问题？计算区分度时应考虑哪些问
7、题？*A A、计算区分度，必须对两列变量作分析。、计算区分度，必须对两列变量作分析。、计算区分度，必须对两列变量作分析。、计算区分度，必须对两列变量作分析。 计算两列变量的相关系数，即可得到区分度计算两列变量的相关系数，即可得到区分度计算两列变量的相关系数，即可得到区分度计算两列变量的相关系数，即可得到区分度B B、要计算要计算要计算要计算“ “某一题某一题某一题某一题” ”的区分度，必须找到该题的参照变量的区分度，必须找到该题的参照变量的区分度，必须找到该题的参照变量的区分度，必须找到该题的参照变量能衡量学生水能衡量学生水能衡量学生水能衡量学生水平高低的变量。本题可考虑把平高低的变量。本题可
8、考虑把平高低的变量。本题可考虑把平高低的变量。本题可考虑把“ “化学总分化学总分” ”作是作是作是作是“ “化学卷某一题化学卷某一题” ”的的的的参照参照参照参照变量。变量。变量。变量。C C、若区分度较高，则表示：水平高者，则该题得分高；水平低者该题得分低。、若区分度较高，则表示：水平高者，则该题得分高；水平低者该题得分低。、若区分度较高，则表示：水平高者，则该题得分高；水平低者该题得分低。、若区分度较高，则表示：水平高者，则该题得分高；水平低者该题得分低。这里将这里将“ “化学总分化学总分” ”作为衡量学生水平高低的指标。作为衡量学生水平高低的指标。16（二）计算：（二）计算：1、相关法：
9、某题区分度该题得分与总分的相关系数某题区分度该题得分与总分的相关系数172、高低分组法：高分组：参照变量成绩排前高分组：参照变量成绩排前27%考生考生PH 高分组得分率：高分组得分率：=高分组平均分高分组平均分 / 该题满分该题满分低分组：参照变量成绩排后低分组：参照变量成绩排后27%考生考生PL 低分组得分率：低分组得分率：低分组平均分低分组平均分 / 该题满分该题满分D = PH - PL18（三）区分度多大,才算一份好试题：1 1、原则：区分度越大，测题越好、原则：区分度越大，测题越好2 2、评价区分度的标准：、评价区分度的标准：D0.40 区分度很好0.30D0.40 区分度良可0.2
10、0D0.30 区分度尚可，但要修改D0.20 区分度差，必须淘汰19（四）区分度的运用1、挑选典型题目组成微型试题，在正式考试前的进行预备性测试，计算出每题的区分度，为正式命题提供依据。l预备性测试中区分度差的题目，正式命题时应放弃类似题目。l预备性测试中区分度尚可的题目，正式命题时若要设计类似题目，则要修改。n可见，区分度是试卷编造过程中筛选测题的主要依据。202、通常情况下，区分度分析主要用于单一测题的分析，整份卷的区分度较难分析。原因是难以找到衡量被试该能力水平的变量。l将一份试卷中所有题目的区分度简单平均以计算整份试卷的区分度，此做法缺乏科学依据。l将一份试卷中所有题目的区分度进行加权
11、平均以计算整份试卷的区分度，此做法亦缺乏科学依据。21三、信度某考试，数学科共有三道大题，5名考生得分如下。假设这次考试只有这五名考生，求数学试题的信度信度。22 目 录难难 度度区分度区分度信信 度度效效 度度23三、信度问：某人很可信。这里“可信”是什么意思？答：前面许下承诺，后面能坚守承诺，说到做到 做人稳定性、一致性强。（一）含义： 经过多次测试，所得结果的一致性程度 (假定多次测试期间，被试没发生任何变化）24（二）信度的分类重测信度：用同一份试题对同一组考生考两次，所得结果的一致性程度。（假定：该组考生在假定：该组考生在两次考试期间内不会发生任何变化两次考试期间内不会发生任何变化）
12、复本信度：指将两份程度相同的试题分别对同一组考生进行考试，所得结果的一致性程度。重测信度与复本信度在实际中实施的可能性较低， 一次考试就能计得的内部一致性信度内部一致性信度：把一次考试人为地分为两个部分，比较两个部分的一致性程度。25（三）内部一致性信度的计算5 51 13 35 51 11010第二大题第二大题262613131818282819193030第三大题第三大题424210105 55 56 69 94 41010第一大题第一大题20204 4方差方差28283 342422 225251 15050满分满分总分总分考生编号考生编号=26（四）对试题信度的要求如果是标准测试量表，
13、则要求如果是标准测试量表，则要求 0.800.80；如果是自制试题，则要求如果是自制试题，则要求 0.600.60。27（五）影响信度的因素1、是否同质性测题。计算内部一致性信度时，所分析的多个测题必须是同质性的。若不是同质性题目，则会降低信度。2、测题的数量题数越多，信度越高；3、测试环境。若考试前半段与后半段的环境差异大，则会降低信度。284、样本量大小。在其它条件均相同的情况下，样本量越大，信度越高。5、考生：考生在考试过程中焦虑、疲劳或注意力分散。6、测题难度：一般来说，测题难度越大，信度会越低。29（六）如何提高考试的信度1、适当增加考试题目的数量2、进行信度分析的测题应尽量同质3、
14、试题的难度要适中4、考试的程序应统一5、给考生提供良好的考试环境。6、抽取的样本数应达到要求。30 目 录难难 度度区分度区分度信信 度度效效 度度31四、效度问： 某人工作很有效。何谓“有效”？答： 他的工作成果能很好达到预期的目的和要求。（一）效度的含义测量结果达到测量目的的程度32（二）效度的分类内容效度：所测试的内容达到预期目的程度。 运用定性分析法来估计内容效度。运用定性分析法来估计内容效度。结构效度：测验结果对于人的假设属性或理论概念测量到的程度。 运用因素分析法来估计结构效度。运用因素分析法来估计结构效度。效标关联效度：考试得分与效标之间相关程度。 运用相关分析法来计算效标关联效
15、度。 效标效标：反映被试真实水平的变量：反映被试真实水平的变量33v（三）对效度高低的要求不同的考试对效度系数有不同的要求对于一般考试，效度应达到0.40。对效度系数大小的要求，也受效标的影响。若该考试结果与效标之间相似性较差，对效度系数只要求达到0.30以上即可；若该考试结果与效标之间相似性较高，则要求达到0.60以上。34（四）计算效度的方法1、对于内容效度，通常使用定性分析法 在编写考试试题或选择试题之前，应确定考试目标、构建整个考试的指标体系，形成考试内容系统。 以该内容体系为标准，进行编写试题。 试题制定好后，分析试题包含的知识点和能力结构，与编制试题前参考的内容体系进行对比。 若二
16、者相符，则内容效度较高；若二者相符，则内容效度较高； 反之若二者不相符，则效度较低，还须对试题作反之若二者不相符，则效度较低，还须对试题作进一步的修订。进一步的修订。352、对于效标关联效度，一般使用相关分析法a）将考试得分与效标作相关分析。b）若相关性显著，则说明效度较高；反之，则较低。36Q1：发现问题的能力Q2：判断他人的能力Q3：作出决定的能力Q4：建立团体一致的能力Q5：帮助他人作决定的能力Q6：与团队协同工作的能力3、对于结构效度,通常使用因子分析法来估计 例：教学研究人员的能力例：教学研究人员的能力, ,共包括共包括6 6种能力种能力: :问：理论上这六种能力可划分哪两个系列?
17、这是理论上分析得到的能力结构， 但与实际测量的数据中所反映的能力结构是否相符？37实际测量的数据分析结果实际测量的数据分析结果负荷量负荷量公因子公因子每个变量每个变量与其所属与其所属公因子之公因子之间的相关间的相关程度程度38（五）如何提高效度编制测题之前应设计命题计划双向细目表1、命题计划是设计测题的蓝图。 它能使命题工作避免盲目性而具有计划性，使测题的内容更完善地反映考试目标，有利于提高考试的效度。2、命题计划往往要通过双向细目表反映出来。 双向细目表：包括有两个维度的表格，其中一维是考试内容，主要指考试内容的各章节；另一维是考试目标，考试目标一般以布卢姆的认知目标体系为基础，包括有：知识
18、、理解、应用、分析综合、创见（评价）39双向细目表示范1：中间部分填写：中间部分填写：1 1、各考试内容所考核、各考试内容所考核的各个认知目标上的的各个认知目标上的占占分分2 2、难度难度40双向细目表示范2：中间部分填写：中间部分填写：1 1、各考试内容所考核的、各考试内容所考核的各个认知目标上的各个认知目标上的占分占分2 2、难度难度413、要保证试题的内容效度，具体从以下五步进行命题1）列出课程的主要教学内容和教学目标。可参考课程教学大纲来拟定。2）根据各部分教学内容和教学目标的重要程度，确定它们在测试内容上所占的比例。主要考量以下问题： a)各知识单元在整个学习领域的重要程度如何？ b
19、)分配给各知识单元的教学时数比重如何？ c)哪些知识单元对未来学习的价值较大些？一般参照教学大纲来确定。3）编写出命题双向细目表。包括考试内容和考试目标的两个维度的表格。4）根据双向细目表正式命题。5）试题编制好后，对其内容进行分析，将试题分析结果 与双向细目表对照，二者吻合度高，则试题内容效度较高。42第三部分海外考试的试题质量控制介绍一、将部分题目设计为一、将部分题目设计为“ “信度题信度题” ”。如如台台湾湾的的社社会会科科和和自自然然科科的的试试题题中中的的第第一一卷卷或或第第二二卷卷中中有有1212小小题题为为“试试题题研研究究”题题目目，这这些些题题目目被被穿穿插插在在试试卷卷各各
20、小小题中间，考生考前不被告知，对每道必须花同等努力去完成。题中间，考生考前不被告知，对每道必须花同等努力去完成。43而而美美国国和和即即将将实实施施的的新新加加坡坡所所采采用用的的SATSAT考考试试，考考试试内内容容被被划划分分七七个个部部分分，其其中中六六个个部部分分分分别别为为语语文文或或数数学学，分分数数计计入入总总分分，另另一一部部分分可可能能是是语语文文，亦亦可可能能是是数数学学，分分数数不不计计总总分分，称称“同同等等题题目目”，设设置置该该部部分分目目的的在在于于进进行行试试题题研研究究，分分析析测测试试的的信信度情况。度情况。44二、试题偏易。 台湾绝大部分题目为单项选择题，
21、难度不高。美国ACT的科学推理测试均以题组题的形式出现，整个考卷共分为78个题组题，每个题组题首先为考生提供关于自然科学方面的资料，资料后面提供了5-7道问题。这些资料主要包括三种形式：形象数据呈现（如图形、表格以及其他的图表形式）实验研究摘要（就自然科学方面的某一问题，提供几个相关联的实验描述）对立观点 (就自然科学方面的某一问题，提供几个相互矛盾对立的观点或假设)这7个题组题中，有3个通过图表呈现数据，34个是进行实验研究描述，1个提供两个对立的观点。45形式1：一项在一块废弃小麦地进行 “生态演变”研究:如图一所示，随着时间的演变，植物（动物）的规则级数会发生改变。提示：在生态演变过程中
22、，我们认为植物群落是有规律分布的 在生态演变的早期阶段，占主导地位植物群落称之为优势群落，见图2描述： 46 生态演变的末期阶段，主要特点是极顶群落（在不受干扰下能生长的植物）占了主导地位。图3描述的是松树林如何逐渐演变成阔叶林的。 1、从图1中提供的数据可知，80年过后，废弃的小麦地上将会出现：A、仅剩松树 B、仅剩橡树山胡桃树C、有侵略性的杂草（如乍蓬）D、大片的松树林，及阔叶树下层矮生植被2、从松树演变为阔叶树的数据中可知，100年后，松树林的密度为：A、增加，橡树山胡桃树林的密度也增加B、增加，橡树山胡桃树林的密度减少C、减少，橡树山胡桃树林的密度增加D、减少，橡树山胡桃树林的密度也减
23、少 47形式2：资料资料: : 宇宙最终的结果将会是怎样的呢？两名科学家对立观点如下：宇宙最终的结果将会是怎样的呢？两名科学家对立观点如下： 科学家科学家A A：在未来，宇宙将会大爆炸，其自身能量则会逐渐向：在未来，宇宙将会大爆炸，其自身能量则会逐渐向外传布开来。所以宇宙必然会逐渐消亡。因为宇宙内部本身只外传布开来。所以宇宙必然会逐渐消亡。因为宇宙内部本身只有恒定量的能源。每个立方尺在维持着一定的平衡，随着时间有恒定量的能源。每个立方尺在维持着一定的平衡，随着时间的推移，这些能源在慢慢地流失。当这些能量被流失尽直至停的推移，这些能源在慢慢地流失。当这些能量被流失尽直至停止，一切均成为冰冷一片时
24、，宇宙的末日也就到了。止，一切均成为冰冷一片时，宇宙的末日也就到了。科学家科学家B B：宇宙在未来会由于丧失能量而变得越来越小直至消：宇宙在未来会由于丧失能量而变得越来越小直至消亡的观点存在着严重的错误。这一理论并没有考虑到宇宙内的亡的观点存在着严重的错误。这一理论并没有考虑到宇宙内的各种物质存在着相互间的重力吸引。这些吸引力能够将宇宙内各种物质存在着相互间的重力吸引。这些吸引力能够将宇宙内的各种能量维持宇宙之内，使之不至于消失。的各种能量维持宇宙之内，使之不至于消失。1 1、下列各选项哪个是科学家、下列各选项哪个是科学家 A A 的主要假设的主要假设? ? a)a)所有的物质均由原子所组成的。所有的物质均由原子所组成的。 b)b)宇宙内的能量是有限的。宇宙内的能量是有限的。 c)c)在星际空间上不存在地心引力。在星际空间上不存在地心引力。 d)d)宇宙正在收缩变小。宇宙正在收缩变小。 48本讲到此结束! 谢谢!
