《项目分析培训讲座教学学习PPT》由会员分享，可在线阅读，更多相关《项目分析培训讲座教学学习PPT（43页珍藏版）》请在金锄头文库上搜索。
1、项目分析项目分析 项目分析：项目分析：是指在组成测验前，一组分析被试对测验项目反应的统计方法。广义的项目分析还包括内容效度分析、项目编写分析。 一般来说，测验的项目分析含定性/定量分析 定性分析：定性分析：主要依靠编制者丰富的经验、所受的训练，对项目的内容效度、形式恰当性、项目思想性教育性、表达的简洁性清晰性等进行分析 定量分析：定量分析：主要指用统计方法对项目难度、区分度、备选答案的合适度等进行分析。 意义：意义：有助于筛选、修订项目，从而提高测验信效度，使测验简洁、实用、有效、可靠。一、项目难度一、项目难度 1 1、定义：、定义： 题目难难易程度度，在能力测验能力测验中称项目的难度水平，非
2、能力(人格人格)测验中，称“通俗性通俗性”水平（即取自相同总体的样本中，能在答案方向上回答该题的人数） 计算式定义计算式定义：难度（P）常以通过率通过率为指标 P=R/N100% P值大小与难度高低成反比，也称易度易度。 适用于二值计分。2、计算方法、计算方法 （1 1）二分法计分）二分法计分的题目（客观题，不考虑被试作答是猜测成功的机遇） 通过率通过率 例：在100个学生中，答对某题的人数为65个，则该题的难度是多少？ p=R/Np=R/N =65/100=0.65 分组法：分组法： 当被试人数较多被试人数较多，先将被试依照测验总分从高到低排列，分成三组，总分最高的27%被试为高分组（NH）
3、，总分最低的27%被试低分组（NL）。以两组通过率的平均值作为难度P=（PH+PL）/2=（PH/NH+PL/NL）/2例：在370名学生中，选为高分组与低分组的学生各有100人，其中高分组有80人答对第一题，低分组有40人答对第一题，则该题的难度是：P=（RH/NH+RL/NL）/2=（80/100+40/100）/2=0.60、用于多重选择题时用于多重选择题时，项目难度受机遇影响的矫正 CP=（KP-1）/（K-1）检验实际难度检验实际难度：某题有75%的被试通过，有5个选项，则校正后的通过率应为：CP=（5*0.75）/（5-1）=0.69比较两个不同选项数题目的难度比较两个不同选项数题
4、目的难度：有二道题,一题难度为0.50,五个选项，另一题难度为0.53,四个选项 X是全体考生在该题的平均分，Xmax该题的满分分数 某测验中某题的满分为20分，该题考生的平均得分为13.6分，则该题的难度为 p= X/Xmax=13.6/20 =0.68（2）非二值计分）非二值计分3 3、测验难度水平的确定、测验难度水平的确定 （1）合适的项目难度水平，取决于测验的目的、形式、性质。 （2）在教育工作或实际工作教育工作或实际工作（效标参照测验、掌握测验）中，若测验目的是为了了解被试在某方面的知识技能的掌握情况，可以不必过多考虑难度，只要教育者认为重要的内容就可以选用，甚至那些100%100%
5、通通过或通过率为过或通过率为0 0的项目。 （3）用于选拔录用选拔录用人员，就应该将项目的难度控制在接近录取率接近录取率左右。4）用于诊断，则诊断，则P值高值高，只有少数不能通过 （5）大多数测验，都希望能准确测量过个体差异。通过率接近0或1，就无辨别力；越接近0.5，越有区分力。 （6）每道题都是0.5，一方面不太可能做到；一方面，只有项目间相关为0得分才符合正态分布，而实际上个项目都有某种程度的相关。一般，一般，把测验的平均难度控制在把测验的平均难度控制在0.50.5，而每道题可在，而每道题可在0.3-0.3-0.70.7中波动中波动。 （7）选择题，选择题，P P值一般应大于概率水平值一
6、般应大于概率水平。等于概率，说明题目可能过难或题意不清，被试者凭猜测作答；小于概率无意义，说明题目质量有问题。二选一，P值0.75最为合适；四选一， P值0.63最为合适。 （8）分数分布是常态的，测题难度就恰当4 4、难度的等距变换、难度的等距变换 （1 1）通过率属顺序变量，不具相等单位）通过率属顺序变量，不具相等单位；样本量大测验分数近正态，可据正态曲线表可据正态曲线表，将P作为正态曲线下的面积，转换成具有相等单位的等距量数（转换成具有相等单位的等距量数（Z Z分数）。分数）。Z(标准差)YP.00.39894.00000.50.35207.191461.00.24197.341341.
7、50.12952.433191.96.05844.475002.00.05399.477252.50.01753.493792.58.01431.495063.00.00443.498653.50.00087.499773.99.00014.49997PY0ZPz0.0013+3250.0228+2210.1600+1170.50000130.9772-250.8400-190.9987-31（3）美国教育测验中心采用美国教育测验中心采用的难度指标的难度指标=13+4=13+4Z Z（以消除正负号和小数点）为常态化等距难度值，Z表示P转换得来的标准分数并提出标准正态分数的全并提出标准正态分数的
8、全距一般包括距一般包括6 6个标准差，即难个标准差，即难度指数度指数的全距由的全距由1 1至至2525，值，值越大，难度越高。平均数为越大，难度越高。平均数为1313，标准差为，标准差为4 4ETS难度指标等距难度指标等距变换的部分数值变换的部分数值5 5、难度对测验的影响、难度对测验的影响 （1）难度影响分数的分布形态 样具有代表性的被试，接受中等难度测验，其分数呈正态分布。 测验项目难度普遍较大，被试得分普遍较低，测验分数集中在低段，其分数分布呈正偏态正偏态；反之则呈负偏态负偏态。 一般能力测验的平均难度在0.50 （2）难度影响测验分数的离散程度及信度 一般一般p=0.50p=0.50，
9、测题有最佳的离散程度，测题有最佳的离散程度（分数分布呈正态，且全距较大）、信度、区分度信度、区分度。 在测题中被试之间相互配对的可能性越多，就越在测题中被试之间相互配对的可能性越多，就越有利于准确地鉴别被试的不同能力有利于准确地鉴别被试的不同能力。 如，100个学生参加考试，若p=0.50的题目，则对错各50，此题有50*50次配对比较 p=0.703070=2100p=0.98298=196二、项目的区分度二、项目的区分度1、定义： 项目的区分度即鉴别力，指测验项目对被试心理品质水平差异的区分能力。 2、意义 （1）具有良好区分度的项目，能将不同水平的被试区分开来，实际水平高的被试的分高。
10、（2）测量专家把试题的区分度称为测验是否具有效度的指示器指示器，并作为评价项目质量，筛选项目的主要指标与依据。 （3）评价测验项目区分度高低依赖于对被试水平的准确测量，常称作准则分数。测验项目区分度的准则分数更多的是用测验总分，称作内部准则。 （4）区分度的取值范围-1.00-+1.00。通常D为正值，称积极区分；为负值为消极区分；0为无区分。具有积极区分作用的项目，D值越大，区分的效果越好。3 3、区分度的计算、区分度的计算 （1）鉴别力指数（indexofdiscrimination，D） 最常用、最简单。当效标成绩（测验总分）是连续变量，被试按总分高低排列，可从两端各取27%的被试，分别
11、计算出每个题目上各自的通过率。 D=PH-PL 如，当某一个项目上，高分组和地分组的通过率分别为0.78，0.33，则D为0.45 极端组的划分：极端组的划分：样本大于100或分数分布式正态，一般按高低分组各取27%,或25-33%均可。 样本小于100，可取50%分上下两半鉴别指数与测题的评价鉴别指数与测题的评价（1965，美，艾伯尔）_D测题评价-0.40以上非常优良0.30-0.39良好,如能修改更好0.20-0.29尚可,但必须修改0.20以下劣,淘汰-一般而言，一般而言，D 0.30，该题目的鉴该题目的鉴别度是可以别度是可以接受的接受的(2)(2)、方差法、方差法 被试在某一试题上的
12、得分越分散，方差越大，则该题的鉴别力就越大。 S S2 2= =（X Xi i-X-X）2 2/n/n X Xi i：第i个被试在该题的得分； 当n30（实际的项目分析不能小于30） S S2 2= =（X Xi i-X-X）2 2/ /（n-1n-1）(3)(3)、项目与总分相关法、项目与总分相关法一般以总分来衡量被试能力高低，项目与总分有一致性，项目与总分相关高则项目的鉴别力高。、点二列相关：、点二列相关：适用条件：适用条件：项目是二值计分，总分是连续变量公式：公式：=答对该题的被试在总分上的平均分=答错该题的被试在总分上的平均分p=该题的难度q=1-pSt=全体被试的总分标准差注意：注意
13、：求出rpbi后，需检验其是否达到显著性水平。方法有积差相关法、t检验法（比较二分变量对偶的两组连续变量的平均数的差异是否显著，如平均数（xp和xq）的差异显著，则相关系数也显著）学生123456789101112131415总分90 8180787770696555504942353110某题1011111000101001515个学生某测题的得分与总分情况个学生某测题的得分与总分情况、二列相关、二列相关XpXqpqStyrb=适用于二列连续测量变量，其中一个被人为分成两类。如项目分数，效标或测验总分被人为分成：对、错，高、低，及格、不及格等。4)因素分析因素分析分析测题在一个因素上的负荷分
14、析测题在一个因素上的负荷,负荷越大说明负荷越大说明越有区分度越有区分度,一般在一般在0.30以上才是可以接受的以上才是可以接受的5)相关相关：不要求二分名义变量成正态分布，两个变量都是二分名义变量ad-bc(a+b)(c+d)(a+c)(b+d)r= （6）积差相关法 对于论文题目，得分有连续性，被试团体较大时，项目分数分布呈正态分布。可将项目得分与效标分数求积差相关系数以得到项目的区分度。4、区分度与难度的关系、区分度与难度的关系 （1 1）难度和区分度是相对的，是针对）难度和区分度是相对的，是针对一定团体而言。一般来说，相应难度的项一定团体而言。一般来说，相应难度的项目对相应水平被试区分度
15、高。较难、中等、目对相应水平被试区分度高。较难、中等、较易的项目分别对高、中、低水平的被试较易的项目分别对高、中、低水平的被试区分度高。这不与中等难度项目的区分度区分度高。这不与中等难度项目的区分度最高的说法相矛盾。最高的说法相矛盾。 （2 2）由于人的多数心理特征呈正态分）由于人的多数心理特征呈正态分布，所以当需要人作最大程度的区分时，布，所以当需要人作最大程度的区分时，项目难度的分布也以正态为好（特难、特项目难度的分布也以正态为好（特难、特易的少，中等的多），且平均水平保持在易的少，中等的多），且平均水平保持在0.500.50左右。但左右。但P P值接近值接近0.500.50并不保证项目并
16、不保证项目有高的鉴别力，只能说在统计上已经没有有高的鉴别力，只能说在统计上已经没有限制了限制了通过率PD最大值1.000.000.900.200.700.600.600.800.501.000.400.800.300.600.100.200.000.00难度难度P P与区分度与区分度D D的关系的关系5 5、区分度的相对性、区分度的相对性 （1 1）不同的计算方法，所得区分值不同。）不同的计算方法，所得区分值不同。在分析同一个测验时，各个项目的区分度值要采用用一种指标，否则不便分析比较。 （2 2）样本容量大小影响相关法区分度值的大小。）样本容量大小影响相关法区分度值的大小。一般样本量越小，其
17、统计值越不可靠。应进一步用显著性检验法，来检验区分度值是否显著。 （3 3）分组标准影响鉴别指数值（）分组标准影响鉴别指数值（D D）。）。分组越极端越大 （4 4）被试样本的同质性程度影响区分度值的）被试样本的同质性程度影响区分度值的大小。大小。被试越同质，区分度越小；被试越异质，区分度越大 （5 5）评价项目的有效性时，应考虑到测验的）评价项目的有效性时，应考虑到测验的目的、功能以及被试团体的总分水平，不能将区目的、功能以及被试团体的总分水平，不能将区分度值作为筛选试题的绝对标准。分度值作为筛选试题的绝对标准。三、猜测问题与猜测率三、猜测问题与猜测率 （一）客观测验题中的猜测问题与猜测率
18、1、被试凭猜测选择正确答案的机会是1/K（K是每题的选项的数目）。 2、由猜测给测量带来误差，叫做猜测误差。猜测误差来源有： （1 1）相对于不猜引起的误差）相对于不猜引起的误差：100道4选1，每题1分的考试中，甲乙都只会做50分的题，甲知之为知之不知为不知50分，乙知其不可而为之，50+50*0.25=50+12.5=62.5分（2 2）是否猜得对引起的误差）是否猜得对引起的误差。猜测过程中因随机得分情况不同所引起的误差。（二）项目难度受猜测影响的校正（二）项目难度受猜测影响的校正 1、全体被试在某项目上通过率的校正难度全体被试在某项目上通过率的校正难度公式 CP=（KP-1）/（K-1）
19、或cp=p-q/（k-1） 某个被试参加由多个项目组成的测验得分校正某个被试参加由多个项目组成的测验得分校正 S=R-W/（K-1） S校正分，R答对项目数，W答错数，K项目数 例例，某被试参加由100道四重选择题组成的测验，测验结果答对79题，答错21题，该被试的实得分数为（每题1分） S=R-W/（K-1） =79-21/（4-1） =722、优点 P88 （1）可避免降低测验的信度：可用答错一题倒扣一定分数，使被试不敢盲目猜测 （2）校正后的得分可反映被试的真正水平和能力。 （3）在教育测验中，可培养被试诚实的美德 （4）比较公平3、缺点 （1）公式基本假设不成立。多数情况，被试先舍弃部
20、分诱答，非盲目猜测。答错可能是观念模糊、记忆错误、粗心大意 （2）只要被试能答完全部试题，则猜测校正无实质作用。校正只是进行线性变换成相对分数 （3）不采用猜测校正对信度并无重大影响。据台湾学者黄国彦研究（1977）：鼓励被试猜测，其影响只有4%左右，此项缺点可通过增加试题的数目来提高测验信度 （4）有时会出现无法解释现象。一个学生答对的题数等于或少于答错的题数。校正后会得到零分或负分。 （5）在实际生活中，经常缺乏充分的证据与资料，需要凭借部分知识来判断，且进行合理猜测是值得培养的习惯。 在答题时间充裕，备选答案在4个或4个以上的选择题。没有必须进行校正记分。 总结：项目分析步骤总结：项目分
21、析步骤1、选取有代表性的样组实施测验。2、计算每个人的总分,然后按总分分组。3、计算高分组和低分组通过每一题的比率。4、分别求出每一测题的难度和鉴别指数。 5 5、选项分析、选项分析：选项设置不当会降低题目的难度,所以也要对选项作分析,看有无异常情况。 通常判断选项好坏有以下几点: 1) 正确答案无人选或少于其它选项的人数 2) 错误答案选的人太多 3) 正确选项高分组选择人数少于低分组 4) 错误选项上高分组选择人数多于低分组 5) 选项无人选择 6) 未答人数较多 6 6、备选答案的反应模式、备选答案的反应模式 1）如正确的选项被所有被试选择，则说明该题目太容易或者题目中可能提供了某种暗示
22、； 2）如某个错误答案没有一个被试选择，说明该项目不具迷惑性，错得过于明显；一般说来，除非有2%以上的人选择，否则该备选答案应该修改或者删掉 3）如所有被试都选择了同一错误答案，可能是编制测验时把答案定错了，也可能是在教学中发生了错误； 4）如高分组被试的选择集中在两个答案上，二者选择率相近，说明该题可能有两个正确答案或另一个答案也有一定道理； 5）如高分组对正确答案的选择与低分组相等或低于后者，说明所考察的东西与水平无关，及不具有鉴别力，此题应删除或做大的修改 6）如一个题目被试未答人数过多（除速度性测验），或选择各个备选答案人数相等，则说明题目过难或题意不清，使得被试无法做答或凭猜测做答。
23、 7 7、修改测题或选项、修改测题或选项题号组别选答人数正确答案PDABCD未答1高分组592120B0.710.42低分组2250121602高分组581015161A0.420.32低分组2621153623高分组1725282812D0.31-0.06低分组25111934114高分组14414365C0.120.04低分组15610285370人参加的测验中人参加的测验中4道题的项目统计结果道题的项目统计结果难难度度1较小，2适中，、4较大区分度区分度：1、2区分度符合要求具备良好的测题的首要条件，3/4题区分度不够，3为负向，4题太小各题选项分析：各题选项分析：1题题正误答案配比较好2题，题，除C答案缺乏鉴别能力外，其余都不错。值得注意的是为什么在C答案，高低分组的选答人数相同。3题题，未答人数比例过大，且BCD均属负向，高分组选C的人数较多，等于正确答案D的人数，这些均要研究4题题，A项选答的人数较少，是否因为该选项错得太明显而缺乏似真性，另外D选项也有负向性，须找出原因适当加以修改
