《整体测量和分析心理学项目分析》由会员分享,可在线阅读,更多相关《整体测量和分析心理学项目分析(67页珍藏版)》请在金锄头文库上搜索。
1、第五章 心理测量学知识 * 1 第一节 概述 第二节 测验的常模 第三节 测验的信度 第四节 测验的效度 第五节 项目分析 第六节 测验编制的一般程序 第七节 心理测验的使用 第五节 项目分析 * 2 第一单元 项目的难度 第二单元 项目的区分度 * 3 项目分析包括:定量分析、定性分析 定量分析包括:题目难度和区分度 定性分析包括:考虑内容效度、题目 编写的恰当性、有效性 第五节 项目分析 第一单元 项目的难度 * 4 一、难度(difficulty)的定义 难度是指,项目的难易程度。 在能力测验中,需要一个反应难度水平的指标,在非能 力测验中,类似的指标是“通俗性”。通俗性是指取自相同 总
2、体的样本中,能在答案方向上回答该题的人数。 难度的指标通常以通过率表示,即以答对或通过该题的 人数百分比来表示。 * 5 P大小与难度高低成反比。所以,有人称其为“易度”。 第一单元 项目的难度 * 6 二、计算的方法 (一)二分法记分的项目 心理测验的项目大多为选择题,通过计1分,未通过计0 分。其难度的计算为: 当被试较多时,可根据测验总成绩将被试分组:分数最 高的27为高分组,最低的27为低分组,中间46 为中间组。分别计算高低组通过率,以两组平均值作为 每一道题的通过率。 第一单元 项目的难度 * 7 由于选择题允许猜测,所以通过率可能因为 猜测而变大。 被选答案越少,猜测作用越大。越
3、不能真正 反映测验的难度。 为了平衡猜测的影响,吉尔福特提出了一个 校正公式。 比较被选答案数目不同的测题难度时,可以 用此公式。 第一单元 项目的难度 * 8 二、计算的方法 (二) 非二分记分的项目 当测验项目为问答题或不能用二分法计分的形式 时,难度如下计算: 第一单元 项目的难度 全体被试在该题目上的平均分,除以该题的 满分。 * 9 三、难度水平的确定 (一)项目难度水平的确定 难度分析的目的是:筛选项目。项目的难度取决于测验的 目的、性质以及项目的形式。 标准测验希望能准确测量个体差异。某个题目,被试都答 对或错,那么该题无法提供个别差异的信息,对测验的信度 和效度没有作用,所以,
4、P值越接近1或0,越无法区分个体 差异,而P值越接近于0.50,区别力就越高。 第一单元 项目的难度 * 10 为了使测验更有区别力,应该选难度在0.5左右 的试题。 但是,如果一个测验,所有试题相关均为1.00 。难度为0.50。有一种可能:50的被试答对所 有题目,50被试答错所有题目。那这个难度 0.50还有意义吗? 所以,选择题目时,所有题目平均难度接近 0.5,各测题难度0.50.2之间最好。 第一单元 项目的难度 * 11 当测验用于选拔或诊断时,应较多地选择难度值 接近录取率的项目。例如,测验为了选秀,就应 当有高难度,P值要小。如果录取率是20,测 题难度就应该是0.2。 对于
5、选择题来说,P值一般应大于概率水平。P值 等于概率,说明题目过难或题意不清,被试凭猜 测做答。P值小于概率无意义,说明题目质量有 问题。 是非题,难度应该在0.75最合适,四选一,0.63 最合适。 第一单元 项目的难度 * 12 (二)测验难度水平的确定 测验的难度依赖于项目的难度。 人的心理特性基本是呈常态分布的。我们使用的统计方法是 以正态分布为前提。所以测验设计时,希望分数呈现常态分布 。 如果被试样本具有代表性,对于中等难度的测验,其测验总 分应该接近常态分配。 如果获得的分数不是常态,而是偏态分布的,说明题目偏难 或偏易。 第一单元 项目的难度 * 13 如左图,属于正偏态分布。题
6、目难了,必须增加足够数量 的较容易的项目; 而右图,属于负偏态分布,题目容易了,必须增加足够数 量的有较高难度的项目。 第一单元 项目的难度 * 14 有些测验,如掌握性测验,或标准参照测验,分数分布 出现偏态是允许的。其难度根据情况而定 第一单元 项目的难度 第二单元 项目区分度 * 15 一、定义(item discrimination) 也叫鉴别力,是指测验项目对被试的心理特性的区分能 力。水平高者通过,低者通不过,就有区分度。 它是评价项目质量和筛选项目的主要指标,也是影响测 验效度的重要原因。区分度低意味着项目不能区分被试 的实际水平,这类项目达不到测验的目的,必定影响测 验效度。
7、区分度取值介于1至1之间。项目得分与实际能力之间 的相关来表示。相关系数越大,区分度越高。负相关说 明水平越高,该项目得分反而越低,有问题,淘汰。 第二单元 项目区分度 * 16 二、计算方法 在理论上,项目区分度是以项目得分高低与实际能力水 平高低之间的相关来表示。但是实际水平很难估计,只 好用其他指标代替,常用的是测验总分。 (一)鉴别指数 计算方法: 1、按测验总分高低排列答卷; 2、确定高分组、低分组,27; 3、分别计算高分组、低分组通过率; 3、项目鉴别指数为:D=PH-PL 第二单元 项目区分度 * 17 用D=PH-PL作为项目鉴别指数,理由是,高分组得分率高于 低分组,则D0
8、,D越大,该项目区分两种不同水平的程度 越高。如果D0,项目有问题。 1965年,伊贝尔(L.Ebel)提出用鉴别指数评价 项目性能的评价标准: 鉴别指数项目评价 0.4以上 0.30.39 0.200.29 0.19以下 很好 良好,修改后更佳 尚可,但需修改 差,必须淘汰 * 18 第二单元 项目区分度 (二)相关法 计算区分度最常用的方法是相关法 以某一项目分数与效标成绩或测验总分的相关作为该项 目区分度的指标。相关越高,区分力越大。 点二列相关:适用于一类变量为二分称名变量,另一类 变量为连续变量的成对变量的相关计算。 * 19 第二单元 项目区分度 不是 考试 内容 二列相关:适用于
9、两个连续变量,但其中一 个变量被人为分成两类。 * 20 第二单元 项目区分度 不是 考试 内容 相关法:适用于两个变量均为二分称名变量。若将测验总分按 及格、不及格或录取、淘汰划分,便可计算相关系数。 * 21 第二单元 项目区分度 不是 考试 内容 * 22 三、区分度与难度的关系 区分度与难度关系密切。如某一项目通过人数 比率为1.00或0,说明难度P1.00或0,也说明 高分组和低分组在通过率上没有差异,区分度D 0。即太难、太易的项目区分度都差。 如果通过率为50,即难度为P0.50,则有可 能高分组都通过,低分组通过0,那么区分度很 大,鉴别指数为D1.00 第二单元 项目区分度
10、D 的最大值与项目难度的关系 * 23 项目通过率 D的最大值 1.00 0 0.90 0.20 0.80 0.40 0.70 0.60 0.60 0.80 0.50 1.00 0.40 0.80 0.30 0.60 0.20 0.40 0.10 0.20 0 0 * 24 从上表可以发现,为了增大项目区分度,似乎应该使每 个项目难度处于0.50水平,是这样吗? 如果每一个项目难度为0.50,项目内容一致性提高,同 质性增大。极端情况下,50的人得满分,50的人得0 分。总分的区分能力反而低。 所以,中等难度的项目之间0相关,区分度才能最高。 第二单元 项目区分度 * 25 难度和区分度都是相
11、对的。一般来说。较难的项目对高 水平的被试区分度高;较易项目对低水平的被试区分度 高;中等难度项目对中等水平的被试区分度高。 总体上,特别难和特别易的项目少些,中等难度的项目 多些,所有项目平均难度为0.50。即可以保证多数项目 的区分度,也保证整个测验的区分能力。 第二单元 项目区分度 记住了吗? * 26 1、难度是指项目的难易程度,用P代表,P值越大,难度越低吗 ?(yes) 2、在200个学生中,答对某项目的人数为120人,该项目的难度 是多少? 0.6 3、 P值越接近于0.50,区别力越高吗?Yes 4、测验项目对被试的心理特性的区分能力,叫区分度,还叫什 么? 也叫鉴别力 201
12、1-5 真题 * 27 第五章 心理测量学知识 * 28 第一节 概述 第二节 测验的常模 第三节 测验的信度 第四节 测验的效度 第五节 项目分析 第六节 测验编制的一般程序 第七节 心理测验的使用 第六节 测验编制的一般程序 * 29 第一单元 测验的目标分析 第二单元 测题的编写 第三单元 测验的编排和组织 第一单元 测验的目标分析 * 30 第一单元 测验的目标分析 * 31 一、测验的对象 编制测验前,首先明确要测量的对象。. 在我国,农村、城市在文化教育上差异较大, 编制测验、制定常模一定要考虑文化因素。 龚耀先修订韦氏量表时,将长期生活、工作或 学习在县属集镇以上的人口,称之为城
13、镇人口 ,用城市式;长期生活、工作或学习于农村的 称农村人口,用农村式。 第一单元 测验的目标分析 * 32 二、测验的用途 所编制的测验是对被试做描述,还是做诊断、 选拔、预测,应该事先确定。 一般来说,测验可以分为两类:显示性测验、 预测性测验。 第一单元 测验的目标分析 * 33 (一)显示性测验,是指测验题目和所要测量的 心理特征相似的测验。如成就测验。 古德纳夫把显示性测验分为:样本测验、标记 测验。 题目取自一个很明确的总体的测验就是样本测验。测量学生混 合运算能力,从四则混合运算题目总体中选一组题目作为样本 的测量。 题目取自一个全开放的总体的测验就是标记测验。智力测验。 如果测
14、验成绩高的被试,实际上也很聪明,那么这个智力测验 就是智力很好的标记。 第一单元 测验的目标分析 * 34 (二)预测性测验:是指预测一些没被测量的行为的测验 。 对测验的兴趣,主要在于测验分数能在多大程度上预测 行为。 GRE中的词汇测验,不是对词汇感兴趣。而是用这个分 数预测被试将来在大学的表现。 注意: 显示性测验和预测性测验,不是绝对的,有时是统一的 。比如高考。题目来自教材,属于显示性测验的样本测 验,考试分数可以预测大学的学习成绩,又是预测测验 。 * 35 三、测验的目标 测验的目标是指,编制的测验是测什么的,即用来 测量什么样的心理变量或行为特征。 要明确测验的目标,还要对测验目标加以分析。将 其转换成可操作的术语,这个过程叫目标分析过程 。 目标分析包括:工作分析、对特定概念下定义、确 定测验具体内容。 第一单元 测验的目标分析 * 36 工作分析:对于选拔和预测用的预测性测验,要 对所预测的行为活动作具体分析。包括:(1)确 定哪些心理特征和行为可以使要预测的活动达到成功, 进而确定题目;(2)建立衡量被试是否成功的标准,即 效标。 对特定概念下定义:对所测的东西进行界定。比 如,创