《项目分析2953371597》由会员分享，可在线阅读，更多相关《项目分析2953371597（51页珍藏版）》请在金锄头文库上搜索。
1、1 第七章第七章项目分析目分析2本章主要内容本章主要内容v项目的目的难度分析度分析v项目的目的鉴别力（区分度）分析力（区分度）分析v项目目难度与区分度的关系度与区分度的关系v项目目难度与信、效度的关系度与信、效度的关系v项目区分度与信、效度的关系目区分度与信、效度的关系v项目分析目分析实例例3v 项目分析目分析是是对测验中每个中每个测题的的质量量进行的分析，行的分析，包括包括质的分析和量的分析。的分析和量的分析。质的分析就是的分析就是对项目目质量的量的逻辑分析，比如分析，比如项目目对所所测内容的代表性，即内容的代表性，即内容效度。量的分析是通内容效度。量的分析是通过计算算项目的一些目的一些统计
2、量量作作为项目目质量高低的指量高低的指标，包括，包括项目的目的难度和区分度和区分度。前面度。前面讲到到项目的目的难度会影响到度会影响到测验的信、效度。的信、效度。进行行项目分析的目的就是通目分析的目的就是通过改改进项目的目的统计量来量来提高提高测验的信、效度。的信、效度。v题库4第一第一节 项目的目的难度分析度分析v1、定、定义v2、难度的度的计算方法算方法v3、项目目难度度对测验的影响的影响v4、测验难度水平的度水平的选择5一、定一、定义v 难度是表示度是表示题目目难易程度的指易程度的指标，在能，在能力力测验中，它指被中，它指被试在某个在某个题目上的通目上的通过率率或得分率。或得分率。6二、
3、估二、估计测题难度的方法度的方法v1、对0，1记分的分的题目，目，计算公式：算公式：P=R/N R：答：答对该题的人数的人数N:参加参加测验的的总人数人数7随堂随堂练习v 设有有90个人参加个人参加测验，答，答对第第2题的人数的人数是是30人，人，问该题的的难度是多少？度是多少？P=30/90=0.3 P值越大，越大，难度越小。度越小。难度度值越小，越小，难度越大。度越大。0P18v 2、当人数、当人数较多多时，对于于选择题、是非、是非题等二等二级计分的分的题目，我目，我们也可以用极端分也可以用极端分组法。先根据法。先根据被被试的的测验总分把他分把他们由高到低排序，然后在两由高到低排序，然后在
4、两端分端分别截取人数比例相等的（一般取截取人数比例相等的（一般取27%的比例）的比例）高分高分组和低分和低分组，分，分别计算两算两组被被试在某个在某个项目目上的通上的通过率，求其平均数作率，求其平均数作为该题目的目的难度指度指标：9v 3、对于二于二级计分的分的题目，如目，如选择题、是非、是非题，被被试有猜有猜题（凭机遇答（凭机遇答题）的可能，）的可能，对于一个二于一个二重重选择题，能力，能力为0的被的被试仍有仍有50%的可能性的可能性选择正确答案。正确答案。对K重重选择题，被，被试完全凭机遇答完全凭机遇答题而得到正确答案的可能性是而得到正确答案的可能性是1/k。v鉴于机遇于机遇对选择题的影响
5、，其的影响，其实际难度与使度与使用用难度公式（度公式（P=R/N)计算的算的难度就有一定的差度就有一定的差别，因此必，因此必须进行行矫正。校正公式是：正。校正公式是：10v 另外，另外，这个公式在个公式在选择题的的备选答案数答案数互不相同，又要比互不相同，又要比较它它们的的难度度时特特别有用。有用。v 例例题：一个五：一个五选一的一的测题的的难度指数是度指数是0.50，一个四，一个四选一的一的测题的的难度指数是度指数是0.53，问哪一个哪一个测题的的难度大？度大？11v 4、在心理、在心理测验中，有些量表是多中，有些量表是多级计分的，分的，比如比如许多心理量表中常用多心理量表中常用5点点计分法
6、：从未有分法：从未有过、偶偶尔、有、有时、经常、常、总是，并分是，并分别给予予1分，分，2分，分，3分，分，4分，分，5分。在学科分。在学科测验中，像中，像简答、答、论述等主述等主观性性试题，也是按照，也是按照评分分标准准对正确正确的部分的部分给予一定的分数。像予一定的分数。像这种非二种非二级计分的分的测题，可用下列公式，可用下列公式计算算测题难度：度：是全体考生在是全体考生在该题上所得的平均分数上所得的平均分数Xmax是是该题的的满分分数分分数12v5、项目目难度的等距量表度的等距量表使用使用项目目难度等距量表的理由：度等距量表的理由：测题的的难度一般用答度一般用答对某某题的人数的百分比表的
7、人数的百分比表示。百分量表是等示。百分量表是等级量表，而非等距量表。也就是量表，而非等距量表。也就是说它只表示事物之它只表示事物之间大小的关系，但没有相等的大小的关系，但没有相等的单位。用百分比位。用百分比P值作作为难度指度指标，实际上是在上是在顺序序量表的水平上衡量量表的水平上衡量题目的目的难度。度。 难度的等度的等级量表是反序而行的，量表是反序而行的，P值越大，越大，项目越容易，目越容易，这与我与我们的日常概念是相反的。的日常概念是相反的。 13v 当当样本的容量很大本的容量很大时，测验分数接近正分数接近正态分布，如果把分布，如果把测验的的难度指数度指数P作作为正正态曲曲线下的面下的面积，
8、查标准正准正态分布表，就可以将以分布表，就可以将以等等级量表表示的量表表示的P值转换为具有相等具有相等单位的等位的等距量表距量表Z值。14v P=0.5时，对应的的Z=0，P=0.6时，对应的的Z=-0.25，P=0.7时，对应的的Z=-0.52.前两个前两个Z值相差相差0.25，后两者相差，后两者相差0.27，显然差距是不相等的。然差距是不相等的。v由于由于Z分数的分数的值有正有有正有负，使用起来有，使用起来有诸多不便，多不便，为此美国教育此美国教育测验中心（中心（ETS)创立了一个量表，用立了一个量表，用希腊字母希腊字母做做单位位 ：=13+4Z 标准正准正态分布的全距一般包括分布的全距一
9、般包括6个个标准差的距离，准差的距离，即从即从-3到到+3，所以等距，所以等距难度指数度指数量表的全距是量表的全距是1至至25，平均数是，平均数是13，标准差准差为4.15 P=0.9987时, Z=3 , 故故=13+4(3)=1 P=0.9772时, Z=2 , 故故=13+4(2)=5 P=0.8413时, Z=1 , 故故=13+4(1)=9 P=0.5000时, Z= 0 , 故故=13+ 4(0) =13 P=0.1587时, Z= + 1 , 故故=13+4(+1)=17 P=0.0228时, Z= + 2 , 故故=13+4(+2)=21 P=0.0013时, Z= + 3 ,
10、 故故=13+4(+3)=25 由此可由此可见，常用的，常用的值域介于域介于1-25之之间，值越大，越大，试题越越难； 值越小，越小，试题越容易。越容易。16v 例例题：如果某：如果某测验两个两个题目的目的难度分度分别是是0.50和和0.60，其，其对应的的标准分数分准分数分别是：是：0和和-0.25，则它它们转换为等距量表的等距量表的难度度值是多是多少？少？17三、三、测验的的难度度对测验的影响的影响（P207）v1、测验的的难度会影响度会影响测验分数的分布形分数的分布形态。当当P=1时，全体被，全体被试得得满分；当分；当P=0时，全体被，全体被试得零分。在得零分。在这两种极端情况下，全体被
11、两种极端情况下，全体被试的分数的分数不能形成有效的分布，被不能形成有效的分布，被试之之间在知在知识、能力上、能力上实际存在的个体差异都被掩盖了，如果是一个存在的个体差异都被掩盖了，如果是一个择优录取的取的选拔拔测验，就失去了，就失去了选拔的功能。拔的功能。当当测验难度大度大时（P值小），小），测验分数集中于低分数集中于低分一端，呈正偏分一端，呈正偏态分布；当分布；当测验难度小度小时（P值大大),测验分数集中在高分一端，呈分数集中在高分一端，呈负偏偏态。正、。正、负偏偏态的分布都会的分布都会缩小分数的离散程度。小分数的离散程度。18v2、测验的的难度会影响到度会影响到测验的信度和效度。的信度和效
12、度。测验的的难度度过大或大或过小会使小会使测验形成正偏形成正偏态和和负偏偏态，与正，与正态分布相比，分数的离散程度都会分布相比，分数的离散程度都会变小，小，导致信度降低。致信度降低。信度低了会信度低了会导致效度降低。另外心理特致效度降低。另外心理特质的分布的分布大多是正大多是正态的，只有当的，只有当测验的平均的平均难度是度是0.5时，测验分数的分布才会是正分数的分布才会是正态，两者才能相互吻合，只，两者才能相互吻合，只有当有当测验分数的分布与心理特分数的分布与心理特质的分布相吻合的分布相吻合时，测验才能才能对不同心理特不同心理特质水平的被水平的被试有最大的有最大的鉴别力，力，测验的效度才能达到
13、最高。的效度才能达到最高。19四、四、测验难度水平的确定度水平的确定v 在在测验编制中，制中，测验的的难度定多高才合适呢？度定多高才合适呢？v从从测验目的上看。目的上看。目的不同，目的不同，难度也不同。当度也不同。当测验用于用于选拔人才拔人才时，如大，如大学招生考学招生考试，企，企业选拔拔员工，一般将工，一般将题目的目的难度定在接近度定在接近录取率的水平。取率的水平。如果要将全体被如果要将全体被试的能力水平做最大限度的区分的能力水平做最大限度的区分时，则在一份在一份测验中，各种中，各种难度的度的题目都目都应该有，整个有，整个测验的平均的平均难度度应在在0.5左右。左右。在学科在学科测验中，中，
14、测验的目的是考察学生的目的是考察学生对某某门课知知识、技能的掌握情况。因而技能的掌握情况。因而应首先保首先保证试题内容取内容取样的代表性，的代表性，凡是重要的概念、原理，即使人人都会也要凡是重要的概念、原理，即使人人都会也要编进测验中，使中，使测验具有具有较好的内容效度。在好的内容效度。在这个前提下，可根据学生的程个前提下，可根据学生的程度适当考度适当考虑题目的目的难度，使考度，使考试对学生的学学生的学习起促起促进作用。作用。 20v从从测验的性的性质上看上看 无无论难度度测验还是速度是速度测验都要防止被都要防止被试得得满分，分，因因为难度度测验是考察被是考察被试的最高能力水平，速度的最高能力
15、水平，速度测验是考察被是考察被试的最快反的最快反应速度。如果被速度。如果被试在在这些性些性质的的测验上得上得满分，我分，我们就很就很难确定倘若确定倘若题目比目比现在更在更难更多一些，被更多一些，被试将比将比现在多得多少分。在多得多少分。 因而，在速度因而，在速度测验中，中，题目的目的难度不度不应超出被超出被试的能力水平，但的能力水平，但题目的数量必目的数量必须多到反多到反应最快的人最快的人在在规定定时间内也做不完的程度，内也做不完的程度，这样才能真正才能真正测出出被被试的反的反应速度。在速度。在难度度测验中中应该包括各种不同包括各种不同难度的度的题目，其中最目，其中最难的的题目几乎是所有被目几
16、乎是所有被试都回都回答不上来的，答不上来的，这样在在时间比比较宽裕的条件下，才能裕的条件下，才能真正真正测出被出被试的最高能力水平。的最高能力水平。21第二第二节项目的目的鉴别力力v定定义v项目目鉴别力的估力的估计方法方法v项目目鉴别力与信、效度的关系力与信、效度的关系v项目目鉴别力与力与难度的关系度的关系22一、定一、定义v 项目目鉴别力又叫做力又叫做项目的区分度。它是目的区分度。它是指指项目目对不同水平的被不同水平的被试反反应的区分程度和的区分程度和鉴别能力。能力。23二、二、项目目鉴别力的估力的估计方法方法v1、项目目鉴别指数指数将被将被试按按总分高低排列，把得分最高的分高低排列，把得分
17、最高的27%的被的被试作作为高分高分组，得分最低的，得分最低的27%的被的被试作作为低分低分组，计算高分算高分组该题答答对的人数的比例与低的人数的比例与低分分组该题答答对的人数比例。采用公式：的人数比例。采用公式：24美国教育与心理美国教育与心理测量学家艾伯根据量学家艾伯根据鉴别力指数力指数提出了一个提出了一个评价价题目目优劣的劣的标准准D D测题评鉴测题评鉴0.400.40以上以上优良优良0.30-0.390.30-0.39良好，如能修改更好良好，如能修改更好0.20-0.290.20-0.29尚可，仍须修改尚可，仍须修改0.190.19以下以下劣，必须淘汰劣，必须淘汰25v2、方差法：、方
18、差法：方差表示一方差表示一组数据的离散程度。方差越大，数据的离散程度。方差越大，数据越分散，被数据越分散，被试在某一在某一试题上的得分越分散，上的得分越分散，该题的的鉴别力就越大。力就越大。26v3、项目与目与总分的相关分的相关我我们一般以一般以总分来衡量被分来衡量被试能力的高低。能力的高低。当被当被试总分高分高时，在某个，在某个项目上的得分也高，目上的得分也高，总分低分低时，在某个，在某个项目上的得分也低，目上的得分也低，说明明该项目与目与总分有一致性，从分有一致性，从这个个项目上就可目上就可以以鉴别出被出被试能力的高低，那么能力的高低，那么这个个项目的目的鉴别力也高。主要有：点二列相关、二
19、列相力也高。主要有：点二列相关、二列相关、关、积差相关。差相关。27v点二列相关系数点二列相关系数测验总分是分是连续变量，量，项目是二分目是二分变量量采用公式：采用公式： 28随堂随堂练习v 某学校某学校15名学生名学生测验总分和某分和某项目的解答情况目的解答情况学生学生1 2 3 4 5 6 7 8 9 10 11 12 13 14 15总分总分90 81 80 78 77 70 69 65 55 50 49 42 35 31 10项目项目 得分得分 1 0 1 1 1 1 1 0 0 0 1 0 1 0 029v二列相关系数二列相关系数两列两列变量，一列是量，一列是连续变量，另一列被人量，
20、另一列被人为划划分分为两个两个类别。采用公式：。采用公式： Y：正：正态分布下百分比分布下百分比P对应的的Y轴的高度的高度30随堂随堂练习v 15名学生名学生语文文测验总分与作文分数分与作文分数（作文（作文30分及以分及以上上为“及格及格”，30分以下分以下为“不及格不及格”） 学生学生1 2 3 4 5 6 7 8 9 10 11 12 13 14 15总分总分87 95 65 32 81 80 73 52 65 46 43 86 54 64 90作文作文48 56 23 13 30 45 38 35 34 20 22 29 36 28 3331v积差相关差相关对于两列于两列变量都是量都是连
21、续变量，非量，非0、1计分的分的项目的区分度的估目的区分度的估计。采用。采用积差相关公式。差相关公式。32随堂随堂练习v 5名被名被试的的测验总分分Y与某与某题目的得分目的得分X 学生学生 1 2 3 4 5 Y Y 30 80 80 60 100 X X 1 2 3 4 533v4、项目的目的组间相关相关项目的目的组间相关又称相关又称项目目间的相互关系，的相互关系，它是指一个它是指一个测验中各个中各个测题之之间的相互关系。的相互关系。0、1计分的分的项目之目之间的相关用四分相关，的相关用四分相关，非二非二级计分的分的题目用目用积差相关。差相关。34v四分相关四分相关 第第i题 0 1 第第
22、1 j 题 0 b a d c35v5、项目与外部准目与外部准则（效（效标）的相关）的相关是指被是指被试在在项目上的反目上的反应与在效与在效标上的表上的表现的关系，看看的关系，看看这个个项目能不能目能不能预测被被试在在效效标上的表上的表现，即能不能，即能不能预测被被试在在实际中中的表的表现。36v 项目答目答错答答对 0 1 升升 1 留留 02(b)2(b)6 6（a a) )5(d)5(d)2 2 (c)(c)37项目的目的鉴别力与信、效度的关系力与信、效度的关系v 项目的目的鉴别力可以用力可以用项目与目与总分的相关来表示，分的相关来表示，因而因而鉴别力体力体现了了测验的同的同质性。如果性
23、。如果项目目1上得上得分高，分高，总分也高；分也高；项目目1上得分低，上得分低，总分也低，分也低，则说明明项目目1可以把高分者和低分者区分开来。可以把高分者和低分者区分开来。v 如果每个如果每个项目与目与总分的相关都很高，分的相关都很高，说明明这些些项目都目都测到了同一种心理特到了同一种心理特质，说明明测题的内部一的内部一致性系数比致性系数比较高，就高，就说明明测验的信度比的信度比较高。高。38v 事事实上上测验的信度会随着的信度会随着鉴别力的提高力的提高而迅速的提高。而迅速的提高。v 鉴别力与信度的关系力与信度的关系 鉴别力（鉴别力（D D）信度信度0.12250.000.160.420.2
24、00.630.300.840.400.9150.500.94939v 鉴别力是力是项目目对被被试能力高低的能力高低的鉴别指指标，项目如果能有效地将高低能力水平的被目如果能有效地将高低能力水平的被试区区别开来，开来，则说明明项目是有效的，所以目是有效的，所以鉴别力力与效度有直接的关系。与效度有直接的关系。40测验的的鉴别力与力与难度的关系度的关系v 难度与度与鉴别力有密切的关系。力有密切的关系。一般而言，一般而言，难度越接近度越接近1或或0时，项目的目的鉴别力越小；力越小；难度越接近度越接近0.50，项目的目的鉴别力力越大。所以在越大。所以在编制制测验时要使其平均要使其平均难度度为0.50. 能
25、不能能不能让每个每个测题的的难度都度都为0.50？41v一、步一、步骤1、选取有代表性的取有代表性的样组，进行行预测。2、把、把测验按分数的高低次序排列，然后从最高分往按分数的高低次序排列，然后从最高分往下取下取27%的人作的人作为高分高分组，再从最低分向上取，再从最低分向上取27%的的人作人作为低分低分组。3、计算高分算高分组和低分和低分组在每道在每道题上的通上的通过率。率。4、运用公式分、运用公式分别求出每道求出每道题的的难度和度和鉴别力指数。力指数。5、比、比较高分高分组和低分和低分组在在测题不同答案上的反不同答案上的反应。6、根据、根据测题统计分析的分析的结果，修改果，修改测题或或选择
26、适当适当的的测题。42v二、二、项目分析目分析举例例 多重多重选择题的的项目分析目分析对选择项的反的反应模式模式应从以下几方面从以下几方面进行分析：行分析：如果正确的如果正确的备选答案被所有的受答案被所有的受测者者选择说明明测题太容易或者可能太容易或者可能项目提供了某种暗示，目提供了某种暗示，或者其他的答案或者其他的答案错得太得太过明明显。如果某个如果某个错误答案无一人答案无一人选择说明明该选项不具有迷惑性，不具有迷惑性，错得得过于明于明显。一。一般而言，除非有般而言，除非有2%以上的人以上的人选择，否，否则该备选答案答案应该修改或修改或删除。除。43v 如果所有的被如果所有的被试都都选择了同
27、一了同一错误答案答案 说明可能在明可能在编制制测验时把正确答案弄把正确答案弄错了，也了，也可能是教学可能是教学时教教错了。了。 如果高分如果高分组被被试的的选择集中在两个答案上，并集中在两个答案上，并且两者的且两者的选择率接近率接近 说明明该题可能本来就有两种正确答案，或者在可能本来就有两种正确答案，或者在某种意某种意义上另一个上另一个选项也有一定道理。也有一定道理。 如果高分如果高分组对正确答案的正确答案的选择率与低分率与低分组相等相等或低于低分或低于低分组 说明明该题所考察的所考察的东西与被西与被试的能力无关，即的能力无关，即不具有不具有鉴别力，力，应该删除或做除或做较大地修改。大地修改。
28、44v 如果一个如果一个题目被目被试未作答的人数未作答的人数较多，或者多，或者选择各个各个备选答案的人数相等答案的人数相等说明明该项目可能目可能过难或或题意不清，被意不清，被试无法作无法作答或只能凭猜答或只能凭猜测作答。作答。 45v 选择题与填空与填空题、问答答题不同，被不同，被试若答若答对了某道填空或了某道填空或简答，我答，我们就有充分的理由就有充分的理由认为他具他具备了相了相应的水平，答的水平，答错了也有充分了也有充分的理由的理由认为他不具他不具备。但。但对选择题而言，情而言，情况要复况要复杂一些。一些。选择了正确答案的被了正确答案的被试可能可能是因是因为猜猜测而不是由于具而不是由于具备
29、了相了相应的能力，的能力，有相有相应能力的被能力的被试也可能因也可能因为其他其他选项的干的干扰而没有而没有选择正确答案。因而正确答案。因而对于于选择题我我们有必要有必要对其其选项进行分析，从而行分析，从而对不合适不合适的的选项进行修改。行修改。46 2道四重道四重选择题的的项目分析表目分析表题题号号分组分组选项选项A A选项选项B B选项选项C C选项选项D DP PD D1 1高分组高分组低分组低分组24231600260.720.262 2高分组高分组低分组低分组93181206060.560.2247速度速度测验的的题目分析目分析v 速度速度测验主要是主要是测量被量被试心理活心理活动和和
30、动作反作反应的的快慢。上述分析快慢。上述分析题目目难度和区分度的方法不适合速度和区分度的方法不适合速度度测验。v 因因为速度速度测验的特点是：的特点是：题目容易数量多，在目容易数量多，在严格格规定的定的时间内，被内，被试不可能全部做完。如果用通不可能全部做完。如果用通过率来表示率来表示题目的目的难度，后面度，后面题目的通目的通过率必然会率必然会低于前面的低于前面的题目，目，这样就会得出后面就会得出后面题目目难度很高度很高的的错误结论。48v 由于速度由于速度测验严格控制格控制时间，后面，后面题目的目的鉴别力必然会比前面的力必然会比前面的题目高得多，目高得多，这与事与事实是不相符合的。是不相符合
31、的。v 有人有人认为可以延可以延长测验时间，让被被试全部全部回答完，再来分析回答完，再来分析题目的目的难度和区分度。但度和区分度。但是速度是速度测验的主要目的主要目标是是评估被估被试的反的反应速速度，因而度，因而这也不是理想的也不是理想的办法。法。v 因而学因而学术界至今也没找到分析速度界至今也没找到分析速度测验题目目质量的理想的数量化方法，一般是从性量的理想的数量化方法，一般是从性质上、取上、取样的代表性上的代表性上进行考察。行考察。 49v10、某、某测验对11名被名被试施施测，数据如下，数据如下，试计算各算各题的的难度和区分度。度和区分度。50v 16、我、我们想看一下想看一下语文文测验
32、中中项目目2是否能有效地是否能有效地预测外外在效在效标，下表分，下表分别给出了学生在出了学生在项目目2上的通上的通过情况和在会情况和在会考中的通考中的通过情况（情况（60分以上分以上为通通过），），试分析分析项目目2的的质量。量。学生学生1 2 3 4 5 6 7 8 9 10项目得分项目得分会考分数会考分数1 0 1 1 1 0 0 0 0 1 89 70 90 77 64 50 59 61 45 5851v15、 以下是四道以下是四道选择题的作答情况，的作答情况，试对其其进行行项目分析。目分析。（计算各自的算各自的难度和区分度，度和区分度，对选项进行分析）行分析）题号题号组别组别 选答人数选答人数 正确答案正确答案 A B C D 未答未答 1 1高分组高分组低分组低分组 33 10 55 2 0 C 33 1 17 51 0 2 2高分组高分组低分组低分组 55 0 18 27 0 A 30 0 22 48 03 3高分组高分组低分组低分组 98 0 1 1 0 B 0 28 42 30 04 4高分组高分组低分组低分组 17 15 28 28 12 C 25 11 19 34 11
