《效度和项目分析》由会员分享，可在线阅读，更多相关《效度和项目分析（31页珍藏版）》请在金锄头文库上搜索。
1、效度和项目分析效度和项目分析Jie Zhong Ph.D J课程目标课程目标?掌握：掌握：?效度定义和性质；效度定义和性质；?信度和效度的关系；信度和效度的关系；?效度的类型效度的类型?项目分析：难度、鉴别度指数、项目特征曲线项目分析：难度、鉴别度指数、项目特征曲线(ICC) ?理解：理解：?效度的影响因素；效度的影响因素；?项目反应理论；项目反应理论； ?了解：了解：?效度的应用；效度的应用；?项目分析的特殊问题；项目分析的特殊问题；Validity?测验测量什么？测验测量什么？?一个测验是否测量了它所希望测量的东西？一个测验是否测量了它所希望测量的东西？?测量精确性：测量精确性：?测验的分
2、数是否精确？测验的分数是否精确？?有效性和真实性：有效性和真实性：?从测验分数中可以推论出什么？从测验分数中可以推论出什么？ ?The Standards for Educational and Psychological Testing (1999) characterized validity referring to the “appropriateness, meaningfulness, and usefulness of the specific inferences made from test scores.”测验总分测验总分Validity?定义：定义：“与与测量目标有关的测
3、量目标有关的真实分数方差与总 分方差的比率，是测验结果的准确性程度。真实分数方差与总 分方差的比率，是测验结果的准确性程度。”DefinitionDefinition信度信度效度效度总分的方差 随机误差分数 的方差真实 分数的方差总分的方差 随机误差分数 的方差真实 分数的方差总分的方差随机误 差分数的方差系统 误差的方差 与测量目标有关的 真实分数方差总分的方差随机误 差分数的方差系统 误差的方差 与测量目标有关的 真实分数方差随机误差系统误差系统误差效度包括效度包括?转化效度转化效度(Translation validity )?表面效度（表面效度（ Face validity ）?内容效
4、度（内容效度（Content Validity）?效标关联效度（效标关联效度（Criterion Validity）?同时效度（同时效度（Concurrent validity）?预测效度（预测效度（Predictive validity ）?构想效度（构想效度（Construct Validity）?汇聚效度（汇聚效度（Convergent validity ）?区分效度（区分效度（Discriminant validity ）Face validity?In face validity, you look at the operationalization and see whether
5、“on its face“ it seems like a good translation of the construct. ?This is probably the weakest way to try to demonstrate construct validity，its up to you subjective feeling.?For example, What is Mental Health?Content Validity?测量行为范围明确且取样有代表性：测量行为范围明确且取样有代表性：?Is the coverage of testing material an ad
6、equate sample of the construct of interest?Have to cover everything?行为样本（条目）结构与行为总体的结构一致行为样本（条目）结构与行为总体的结构一致?Structure of test should be the same as the construct?Factor analysis?测验成绩是否受到无关因素的影响测验成绩是否受到无关因素的影响Content Validity?直接指标?专家评定直接指标?专家评定?间接指标：间接指标：?评定者信度评定者信度?复本信度复本信度Example: Padua Inventory(
7、PI)?意大利研究者意大利研究者Sanavio（1988）认为强迫症 （）认为强迫症 （OCD）量表不仅应该评估干扰性思维、怀 疑、反复检查、洗涤等行为，同时也应关注于 被试）量表不仅应该评估干扰性思维、怀 疑、反复检查、洗涤等行为，同时也应关注于 被试无意义的紧迫感、对低危险的反复思虑无意义的紧迫感、对低危险的反复思虑 等，因此发展了等，因此发展了PI。?例如：例如： 11、当我感到怀疑和担忧时，我无法平息直到自 己向一位可靠的人反复诉说以后。（没有、当我感到怀疑和担忧时，我无法平息直到自 己向一位可靠的人反复诉说以后。（没有0，轻 度，轻 度1，中度，中度2，重度，重度3，极重，极重4）
8、36、我想象我所犯的小错误或者心不在焉会导致 灾难性的后果 。（、我想象我所犯的小错误或者心不在焉会导致 灾难性的后果 。（0，1，2，3，4）Criterion related Validity?Can a test predict a criterion that is external to the test?Concurrent validity?Can the test predict criteria measured at roughly the same time?Predictive validity?Can the test predict criteria measure
9、d after the test was taken?Concurrent validity Example: PI and Y-BOCS?“金标准金标准”的效标：的效标：Yale-Brown强迫量表是美 国强迫量表是美 国Goodman等人根据等人根据DSM-R诊断标准而制 定的专门测定诊断标准而制 定的专门测定OCD严重程度的量表，是标准化 的严重程度的量表，是标准化 的OCD测评工具，其应用范围涉及对测评工具，其应用范围涉及对OCD状 程度的评估以及对治疗效果的评定。状 程度的评估以及对治疗效果的评定。?同时测定同时测定PI与与Y-BOCS，看二者的相关性。，看二者的相关性。Predic
10、tive validity Example ?Macleod and Hagan (1992) ?reported that threat-relevant interference on a masked Stroop task, where neutral and negative words can not be consciously perceived, is positively correlated with the trait anxiety and emotional vulnerability to stressful life events. ?Subjects: 31
11、Women awaiting colposcopy (15 women who later received a diagnosis of cervical pathology) ?Assessment：Threat Interference on the Masked (Modified) Stroop (TIMS) ?Results：They found the single best predictor of seriousness of emotional distress was TIMS.（Behaviour Research and Therapy, 30,151-161）Con
12、struct Validity?构想效度关注心理测验编制过程中理论的作 用和效度分析过程能否正式假设。构想效度关注心理测验编制过程中理论的作 用和效度分析过程能否正式假设。 ?Determines the appropriateness of inferences about a construct ?What is part of the construct?汇聚效度（汇聚效度（Convergent validity ）?What other constructs is it related to?区分效度（区分效度（Discriminant validity ）?What other co
13、nstructs is it NOT related to?Construct Validation?An ongoing process?Interplay between hypothesis generation, data collection, and refining the construct?No “construct validation index” no single value that summarizes a tests construct validityDiscriminant validity Example: PI and PI-WSUR?PI 的缺陷的缺陷
14、: 担心（担心（worry）因素混淆其中！）因素混淆其中！?修订版本修订版本PI-WSUR的目标：区分强迫症状和的目标：区分强迫症状和 worry。?PI-WSUR与与Penn州忧虑问卷（州忧虑问卷（Penn State worry Questionnaire）只有）只有12的共同方 差，而原版本则有的共同方 差，而原版本则有34，该结果表明了修订版 本比原始版本在区分效度上的优势，该结果表明了修订版 本比原始版本在区分效度上的优势。Evidence of Construct Validity?Group (mean) differences?Correlations?Factor analy
15、sis?Studies of internal structure?Studies of process (experimental manipulations)Factor analysis ?因素分析是分析行为样本内部关系的一种统计 方法，目的是找到心理学上的特质（或潜在的 共同因素），适合用于构想效度的研究。因素分析是分析行为样本内部关系的一种统计 方法，目的是找到心理学上的特质（或潜在的 共同因素），适合用于构想效度的研究。?探索性因素分析（探索性因素分析（EFA）?验证性因素分析（验证性因素分析（CFA）合心意感到满足理想使我快慰有意义讨厌浪费时间难以忍受带来痛苦差e1e4e5e6e
16、7e2e3e8e9e10positivenegative.52.87.59.77.69.76.61.53.65.72.20CFA工作满意度工作满意度简介简介:项目分析项目分析?项目难度的计算项目难度的计算?通过率（用顺序量表表示难度）通过率（用顺序量表表示难度）?等距量表的难度指数等距量表的难度指数?项目鉴别度指数的计算项目鉴别度指数的计算?项目特征曲线（项目特征曲线（ICC）项目难度的计算：通过率项目难度的计算：通过率)(21 2LLHHLH NR NRPPP+=+=?通过率（基本公式通过率（基本公式1）：）：?二分法项目难度计算：二分法项目难度计算：%100=NRP通过率校正通过率校正?可用于比较不同选择数目的试题之间的难度比 较。可用于比较不同选择数目的试题之间的难度比 较。11 =KKPCPCP：校正后的通过率；：校正后的通过率；K：选项数目；：选项数目；P：实际通
