《项目分析2875371597》由会员分享，可在线阅读，更多相关《项目分析2875371597（47页珍藏版）》请在金锄头文库上搜索。
1、第六章测验的项目分析第六章测验的项目分析n n第一节测验的难度n n第二节测验的区分度n n第三节猜测问题与猜测率n n第四节多重选择题的项目分析n n第五节标准参照测验的项目分析1第一节测验的难度第一节测验的难度n n一、难度的意义n n、定义: n n 测题的难易程度(能力测验)n n 测题的“通俗性”或“流行性”的程度 (人格测验)n n、难度与难度系数成反比n n、难度系数的范围在0至1之间2二、难度估计的方法二、难度估计的方法n n、通过率法、通过率法n n A. A. 用于二值记分的测题用于二值记分的测题B. 用于非二值记分的测题用于非二值记分的测题3n n、分组法 用于样本很大的
2、测题n n n n P 为难度系数为高分组(总分排在前27%的被试)答对该题的百分比为低分组(总分排在前27%的被试)答对该题的百分比4三、测验难度水平的确定三、测验难度水平的确定n n项目难度多高合适，取决于测验的目的、性质以及项目的形式。n n1、如果测验是为了了解被试对知识、技能的掌握情况，就不必过多考虑难度；n n2、如果测验用于选拔人员，就应该比较多地采用难度值接近录取率的项目。n n3、如果测验是为检验被试个体间的差别，则应选择接近中等难度的项目。5四、难度的等距变换四、难度的等距变换n n由于难度系数仅具有顺序性，不同的难度的项目无由于难度系数仅具有顺序性，不同的难度的项目无法直
3、接进行比较。若要进行比较，则需要把它转换法直接进行比较。若要进行比较，则需要把它转换成等距量表。成等距量表。n n=13+4n n 值越大，难度越高，值越大，难度越高， 值越小，难度越低值越小，难度越低6五、测题难度的确定与分数分布五、测题难度的确定与分数分布n n 越是接近中等难度的题目越具有区分的作用,也就是越是靠近0.50的题目越好,其区分程度越高.n n 如: 1 99 = 99n n 2 98 = 196n n 30 70 = 2100n n 50 50 = 250078直观检验难度的方法：9第二节测验的区分度第二节测验的区分度n n一、区分度的意义n n是指测验项目对被试心理品质水
4、平差异的区分能力。n n区分度的取值范围介于-1.00至+1.00之间。通常D为正值，称作积极区分；D为负值，称为消极区分，D为0称作无区分作用。具有积极区分作用的项目，其D值越大，区分的效果越好。10二、区分度的计算二、区分度的计算n n（一）项目鉴别指数法（适用于计分题）n n、鉴别指数的计算n n高分组通过率减去低分组通过率.n n 公式: D = PH - PL 11、鉴别指数与测题的评价、鉴别指数与测题的评价n n _n n D 测题评价n n -n n 0.40以上 非常优良n n 0.30-0.39 良好,如能修改更好n n 0.20-0.29 尚可,但必须修改n n 0.20以
5、下 劣,淘汰n n -12、极端组的划分、极端组的划分n n根据效标成绩或测验总分将被试排队，取根据效标成绩或测验总分将被试排队，取的高分端被试组成高分组，另外的低分端的高分端被试组成高分组，另外的低分端组成低分组，其余的被试可以不作分析。组成低分组，其余的被试可以不作分析。一般情况下，介于即可。一般情况下，介于即可。n n当样本人数过少时（当样本人数过少时（n n），不宜采用），不宜采用的规则，可以用作为分界点。的规则，可以用作为分界点。优点：计算方便，容易理解优点：计算方便，容易理解缺点：只利用了部分信息，计算结果的准确性差缺点：只利用了部分信息，计算结果的准确性差13二、相关法二、相关法
6、n n以项目分数与效标分数或测验总分的相关作为项目区分度的指标相关越高，项目区分度越高14n n 、 二列相关( (两个连续变量，但其中一个变量被人两个连续变量，但其中一个变量被人为分成两类。为分成两类。) )n n 公式:= 该题及格的被试在总分上的平均分= 该题不及格的被试在总分上的平均分p = 该题的难度 q = 1-pSt = 全体被试的总分标准差 或= 总分平均数y为p与q交界处正态曲线的高度15二列相关系数二列相关系数 的显著性检验公式的显著性检验公式N 为被试总人数y为 正态分布下答对百分比所在位置曲线的高度16例：下表有20个学生语言测验部分以及在作文题上的得分情况，假设作文3
7、7分(包括37分)算通过，试计算作文题的区分度。总分总分868652529 94 47 72 26 65 52 22 27 76 68 83 38 80 07 75 57 76 67 73 36 62 29 91 14 47 77 74 48 81 18 88 86 62 25 58 8作文题作文题得分得分474737375 55 52 27 72 22 21 10 03 35 54 42 24 46 63 39 94 40 04 41 13 38 85 52 22 21 13 39 94 42 24 48 82 29 92 27 7解：P=1320=0.65， q=1-p=1-0.65=0.
8、35查表 y=0.370417可见，作文分数与总分相关显著18n n2 2 、点二列相关、点二列相关( (一个变量为连续变量，另一个变量一个变量为连续变量，另一个变量为二分变量为二分变量) )n n 公式公式: :或= 该题及格的被试在总分上的平均分= 该题不及格的被试在总分上的平均分p = 该题的难度 q = 1-pSt = 全体被试的总分标准差= 总分平均数1915个学生某测题的得分与总分情况个学生某测题的得分与总分情况学生学生1 12 23 34 45 56 67 78 89 9101011111212131314141515总分总分909081818080787877777070696
9、965655555505049494242353531311010某题某题1 10 01 11 11 11 11 10 00 00 01 10 01 10 00 0查相关系数显著性临界表，当df=13时，Rpb必须达到.514才达到.05的显著性水平。203 、用、用系数计算区分度系数计算区分度( (二变量均为二分称名变量二变量均为二分称名变量二变量均为二分称名变量二变量均为二分称名变量) )若检验若检验值是否显著，应先将值是否显著，应先将值转换成值转换成 值：值：21答答错错答答对对合合合合计计升升级级2 2a a6 6b b8 8a+ba+b留留级级5 5c c2 2d d7 7c+dc+
10、d合合合合计计7 7a+ca+c8 8b+db+d151515个学生数学成绩四格表 查 值表，df=13时， =3.841才达到0.05的显著性水平。计算出 的值仍未达到显著性水平。22n n 、积差相关法两变量均为连续变量，且被试团体较大时，可以认为项目分数服从正态分布可将项目得分与效标分数求积差相关系数以得到项目的区分度23n n （三）（三） 因素分析因素分析n n 分析测题在一个因素上的负荷分析测题在一个因素上的负荷, ,负荷越大说明负荷越大说明越有区分度越有区分度, ,一般在一般在0.300.30以上才是可以接受的以上才是可以接受的. .n n （四）（四） 方差法方差法n n 方差
11、大说明离散程度越高方差大说明离散程度越高, ,那就具有鉴别力那就具有鉴别力. .n n 公式公式: :（当n30时）（当n30时）24三、难度与鉴别力（区分度）的关系三、难度与鉴别力（区分度）的关系n n -n n P DP Dn n - - -n n 1.00 0.00 1.00 0.00n n 0.90 0.20 0.90 0.20n n 0.70 0.60 0.70 0.60n n 0.60 0.80 0.60 0.80n n 0.50 1.00 0.50 1.00n n 0.40 0.80 0.40 0.80n n 0.30 0.60 0.30 0.60n n 0.10 0.20 0.
12、10 0.20n n 0.00 0.00 0.00 0.00n n - - - - 25区分度与难度的关系（续）区分度与难度的关系（续）n n1 1）难度和区分度都是相对的，是针对一定团体而言）难度和区分度都是相对的，是针对一定团体而言的，绝对难度和区分度是不存在的。的，绝对难度和区分度是不存在的。n n2 2）一般说来，较难的项目对高水平被试区分度高，）一般说来，较难的项目对高水平被试区分度高，较易项目对水平低的被试区分度高，中等难度的项较易项目对水平低的被试区分度高，中等难度的项目对中等水平的被试区分度高。目对中等水平的被试区分度高。n n3 3）由于人的多数心理特性呈常态分布，所以项目难
13、）由于人的多数心理特性呈常态分布，所以项目难度的分布也以常态为好，即特别难与特别容易的题度的分布也以常态为好，即特别难与特别容易的题目较少，越接近中等难度的题目越多，而所有项目目较少，越接近中等难度的题目越多，而所有项目的平均难度为的平均难度为0.50.0.50.26四、区分度的相对性四、区分度的相对性n n 、不同的计算方法，所得区分度不同n n 、样本容量大小影响相关法区分度值的大小n n 、分组标准影响鉴别指数（）n n 、被试样本的同质性程度影响区分度值的大小27第三节猜测问题与猜测率第三节猜测问题与猜测率n n一、客观测验题中的猜测问题与猜测率n n 、在客观题中，尤其在是非题、配对
14、题及选项较少的选择题中，被试的猜测会提高他们的分数n n被试凭猜测选择正确答案的机会是n n 、猜测误差的来源：n n）猜相对于不猜引起的误差n n）是否猜得对引起的误差28二、项目难度受猜测影响的校正二、项目难度受猜测影响的校正n n 、校正公式（适用于对单一项目通过率的校正）n n为校正后的通过率，为实际通过率，为备选答案数目29 、校正难度的作用、校正难度的作用n n）检验实际难度n n 例: 某题通过率为75%,是一个五选一的题目.）比较两个不同选项数题目的难度）比较两个不同选项数题目的难度 例例: 有二道题有二道题,一题的难度为一题的难度为0.50,有五个选项有五个选项,另另一题的难
15、度为一题的难度为0.53,有四个选项有四个选项.30 、总分校正公式、总分校正公式n n如果被试参加的测验全部是由选择题或是非题组成，则被试总分也有猜测的成份，需要对其总分进行校正式中为校正后的得分，为被试答对的项目数，为被试答错的项目数，为项目的选项数目31n n例：某被试参加由200道选择题组成的测验，每道题都有五个备选答案，测验结果是答对了120题，而答错了80题，请问如果除去猜测成份，则该被试的实得分数（每题0.5分）是多少？答：该被试的实得分数应该是该被试的实得分数应该是5050分分32 、猜测校正的优缺点、猜测校正的优缺点n n赞成的理由：赞成的理由：n n）可避免降低测验的信度；
16、）可避免降低测验的信度；n n）校正后的得分可以反映被试的真正水平和能力；）校正后的得分可以反映被试的真正水平和能力；n n）在教育测验中，可以培养被试诚实的美德；）在教育测验中，可以培养被试诚实的美德；n n）比较公平）比较公平n n反对的理由：反对的理由：n n）公式的基本假设不成立；）公式的基本假设不成立；n n）只要被试能答完全部题目上，则猜测校正无实质作用，）只要被试能答完全部题目上，则猜测校正无实质作用，因校正前后的相对分数完全相同；因校正前后的相对分数完全相同；n n）不采用猜测校正对信度并无重大影响；）不采用猜测校正对信度并无重大影响；n n）有时会出现无法解释的现象，如校正后
17、得零分或负分的）有时会出现无法解释的现象，如校正后得零分或负分的现象；现象；n n）在实际生活中，合理的猜测是值得培养的习惯）在实际生活中，合理的猜测是值得培养的习惯33第四节第四节 选项分析选项分析n n 、选项设置不当会降低题目的难度,所以也要对选项作分析,看有无异常情况.n n 通常判断选项好坏有以下几点:n n 1) 1) 正确答案无人选或少于其它选项的人数正确答案无人选或少于其它选项的人数. .n n 2) 2) 错误答案选的人太多错误答案选的人太多. .n n 3) 3) 正确选项高分组选择人数少于低分组正确选项高分组选择人数少于低分组. .n n 4) 4) 错误选项上高分组选择
18、人数多于低分组错误选项上高分组选择人数多于低分组. .n n 5) 5) 选项无人选择选项无人选择. .n n 6) 6) 未答人数较多未答人数较多. .34题题号号组别组别选答人数选答人数正确正确答案答案A AB BC CD D未答未答1 1高分组高分组 5 592921 12 20 0B B低分组低分组 22225050121216160 02 2高分组高分组 58581010151516161 1A A低分组低分组 26262121151536362 23 3高分组高分组 17171515282828281212D D低分组低分组 252511111919343411114 4高分组高分
19、组 1 14444141436365 5C C低分组低分组 1 15656101028285 535n n 也可以用高分组的反应情况来判断选项选择是否得当.n n 1) 选项 A B C D*n n 高分组 1 1 9 2n n 2) 选项 A B C* Dn n 高分组 4 3 3 3n n 3) 选项 A* B C Dn n 高分组 6 0 1 636项项目目U U（2020）MM（2020）L L（2020）难难度度（U+M+LU+M+L）鉴别鉴别度度（U-LU-L）1 115159 97 731318 82 22020202016165656a a4 43 3191918189 946
20、4610104 41010111116163737-6-6a a5 511111313111135350 0a a6 6161614149 939397 77 75 50 00 05 5a a5 57575a:选出要讨论的项目37项项目目组别组别反反应选项应选项1 12 23 34 45 52 2高分高分组组低分低分组组0 02 20 00 00 01 1202016160 01 14 4高分高分组组低分低分组组0 02 2101016169 92 20 00 01 10 05 5高分高分组组低分低分组组2 21 13 33 33 33 3111111112 22 27 7高分高分组组低分低分
21、组组5 50 03 35 55 58 84 43 33 34 4个别项目的反应分析注：黑体为正确选项38 、项目分析步骤、项目分析步骤n n1）选取有代表性的样组实施测验.n n2）计算每个人的总分,然后按总分分组.n n3）计算高分组和低分组通过每一题的比率.n n4）分别求出每一测题的难度和鉴别指数.n n5）选项分析.n n6）修改测题或选项.39第五节标准参照测验的项目分析第五节标准参照测验的项目分析n n n标准参照测验是用来测量学习前后被试的差异或受过训练与没有受过训练被试之间的差别.测验结果参照的不是常模,而是某一种标准.40标准参照测验的项目分析所采用的方法标准参照测验的项目分
22、析所采用的方法n n1.以达标与否分组,然后计算两组被试在每一题上的成绩差异,算出难度和区分度.n n 公式(难度) : 2.教育效果敏感指教育效果敏感指 公式公式:(区分度区分度):41学生学生测测 题题1 12 23 34 45 5前前后后前前 后后前前后后前前后后前前后后A A- -+ +- -+ + + +- - -+ +- -B B+ + +- -+ + + +- - -+ +- -C C- -+ +- -+ + + +- - -+ +- -D D- -+ +- -+ + + +- - -+ +- -E E+ + +- -+ + + +- - -+ +- -F F- - - -+ +
23、 + +- - -+ +- -4215个学生某测题的得分与总分情况个学生某测题的得分与总分情况学生学生1 12 23 34 45 56 67 78 89 9101011111212131314141515总分总分909081818080787877777070696965655555505049494242353531311010某题某题1 10 01 11 11 11 11 10 00 00 01 10 01 10 00 04315个学生某测题的得分，此题总分为个学生某测题的得分，此题总分为10分分学学生生1 12 23 34 45 56 67 78 89 9101011111212131314141515某某题题9 99 99 96 66 66 64 44 44 42 22 22 20 00 00 044例：在100名学生中，高分组与低分组各有27人。其中高分组答对第一题的有20人，低分组答对第一题的有10人。请问这道题的难度系数是多少？45n n例：4647
