《《人事测量》自考笔记(五).doc》由会员分享，可在线阅读，更多相关《《人事测量》自考笔记(五).doc（6页珍藏版）》请在金锄头文库上搜索。
1、第五章 人事测量工具的评价指标第一节 人事测量的信度人事测量时，最重要的心理测量学指标之一就是信度。任何一项好的测量都必须有良好的信度，这是人事测评的中心问题，同时它也是标准化测评的一项基本要求和原则。一、信度的定义信度指的是测量数据和结果的一致性或可靠性程度，它用于分析测量工具测量的前后一致性水平，并以这种一致性的程度来判断测量工具或测量方法的可靠性。二、信度与误差一个好的测评工具必须稳定，即每次测量的结果要保持一致，对于一个好的测评工具来说，它也会有误差，而且不同类型的误差对信度的影响是不尽相同的。人事测量时，信度是指测验分数未受测量误差影响的程度。测量误差指由与测量目的无关的因素产生的不
2、准确或不一致的效应。测量误差愈小，测量结果愈可靠；测量误差通常包括两种不同类型的误差，即系统误差和随机误差，系统误差是由与测量目的无关的因素引起一种恒定而有规律的效应，它稳定地存在于每一次测量中，此时虽然每次的测量值具有一致性，但不正确。随机误差是由与测量目的无关的偶然因素引起而不易控制的误差，这类误差的方向和大小的变化完全是随机的，无规律可循。信度就是对随机误差的一种测量，随机误差越小，信度就越高。此外我们可以用信度系数来表示信度的大小。信度系数是同一样本或个体在两种不同时间，不同情境条件下的测量结果之间的相关系数。通过计算信度系数，可以衡量人才测评结果的可靠性。信度系数越大，说明测量工具或
3、评价方法的可信度越强；信度系数是指一组测验分数的真实分数方差与测量方差的比率，它是一种特殊的相关。三、信度的作用信度系数的作用是可以解释测量分数中有多少的比例是真正反映被试者真实分数的部分。信度系数大于0.90的测评被认为是可靠的，系数0.80左右的信度也认为是比较可靠的，而信度系数低于0.70则认为可靠性比较低。被试间比较而言，当系数小于0.70时，不能用测评结果对个人之间评价，也不能在团体间做比较；当信度系数大于0.85时，测验间才能应用个人之间的比较和评价。一般能力与团体智力测验的信度系数在0. 90以上；标准化成就测验一般在0.85以上；人格兴趣等测评的信度系数通常在0. 80-0.
4、85之间；对于个性和价值观等方面测验，非标准化的多项选择或问卷信度系数要介于0.75-0.85之间；对于0.65用于投射测量则是较低信度。四、信度的类型l、重测信度(1)含义：又称稳定性信度，它是根据信度的定义而来的，是指用同一种测量工具或测评方法在不同的时间对同样的被试或被试群体施测两次所得结果之间的相关关系。(2)适用情境和注意事项适用情境：第一，只能在允许重测的情况下才能进行；其次，测量的心理特质必须是稳定的：第三，练习要与遗忘的影响相互抵消；第四，要尽量保证两次测验的条件相同，尤其是容易受环境影响的心理特质，以减少随机误差；最后，所选取的样本应该具有代表性，且样本量要够大。注意事项：第
5、一，两次测量的时间间隔必须适度。通常对于人格测评重测时间在两周到6个月之间比较合适；智力测验的间隔时间一般是6个月左右。第二，第一次的测量可能会改变测量对象的特征。第三，同样的测量工具由于重测的时间不同得到的重测信度可以是不同的。第四，重测信度系数可能会由于被测项目自身之间的相关而偏高。第五，重测信度一般只反映由随机因素导致的变化，而不反映被试行为的长久变化，而且不同的行为受随机误差的影响不同。另外，重测信度的优点是能够提供测量数据随时间变化而改变的结果，为预测被试将来的行为提供依据。缺点则容易受第一次测验的影响，练习和记忆的效应比较大。2、复本信度含义：复本信度是用两个平行的测验来测量同一群
6、体，然后求得被试在这两个测验上得分的相关系数，这个相关系数就称为复本系数。如果两份测验是同时连续施测，则这时求出来的相关系数称为等值系数；若两份测验不是同时实施，即间隔一段时间在再施测，这样得出来的相关关系系数为稳定性与等值性系数。复本信度的高低反映了这两个测验复本在内容上的等值性程度。注意事项和优缺点：注意事项：首先要注意的是为了抵消测验的顺序效应，一般可以先用量表对随机抽取的一半人进行测定，然后再用复本进行测定；相应的另一半人则先用复本测验，再用原测验进行评定。另外还需注意的是，在计算稳定性与等值性系数时，它也是在间隔一段时间后测量，所以在报告时也应说明两次测量间隔的具体时间，还有被试在这
7、段时间内特殊的经历。复本信度的优点：1)它是测量信度的一种好办法，能够考察信度在不同时间和不同内容上的结果：2)能够避免重测信度的一些问题，如记忆效果和练习效应等；3)适用于进行长期追踪研究或研究某些干涉变量对测量结果的影响；4)减少了作弊的机会；复本信度的局限性：1)如果测量行为易受练习、记忆、成长的影响，则复本信度能减少而不能消除这种影响；2)有些测验的性质会由于重复而发生改变：3)编制测验复本相当困难；不但费时而且费钱，而且也很难构造出内容上完全等价的量表；4)测量误差的相关性比重测法低。3、内部一致性信度内部一致性信度主要反映的是测验内部题目之间的关系，考察测验的各个题目是否测量了相同
8、的内容或特质。它是把一个测验的项目分成不同的样本，计算样本间的相关系数。内部一致性信度包括分半信度和同质性信度。(1)分半信度含义：分半信度是测量内部一致性的简单方法，也是最早的指标。分半信度是通过将测验的项目分成对等的两半，计算这两半测验之间的相关系数而获得的，这两半测验相关系数高，则说明量表内部一致性高。计算方法：用斯皮尔曼一布朗公式进行校正。注意事项第一，分半信度会受到分半法的影响，划分分半的方法不同，得到的信度系数也不同。第二，分半信度系数的估计要求两半都是等值的，如果两半不等值就会产生估计的偏差，等值性越低，偏差越大，因此当一个测验不能分成等值的两部分时不能选用分半信度。第三，对测验
9、进行分半时，如遇到上下有联系的题目时，应该把这些题目放在同一半测验中，这样可以避免高估信度值。第四，测验为速度型测验或题目中有任选题时，不适合选用分半法评估信度。(2)同质性信度含义：同质性信度是指测验内部的各题目在多大程度上考察了同一内容或特质，反映的是测题内的一致性。计算方法：K-R20和K-R20公式，克朗巴赫提出了适用各种记分情况的a系数来估计内部一致性系数，作为信度的指标。4、评分者信度含义：是指不同评分者对同一组对象进行评定时的一致性程度，这种信度分析主要用于通过面试与观察评定等主观性的测评方法获得的结果的可靠性分析。计算方法：采用斯皮尔曼等级相关方法，得到的结果超过0.9则认为评
10、分的客观的。如果评分者多于2人，采用的是等级评分的方式，这时可以用肯德尔和谐系数或W系数来进行信度估计。五、信度的影响因素影响信度的因素有很多，主要包括：1、主试的因素首先，实施测验时主试必须事先熟悉测评工具、理解测评的标准、了解测评对象的特征等。其次，主试的个人素质，如认真负责的态度、公道与否、情绪状态、测评经验等都会影响到信度。再者，评分者也会对结果产生影响。2、测评工具影响测评工具质量高低的因素主要有测验长度或题目数量、测验难度、区分度、测题的范围、题目的取样、测评工具的选用等。3、被试因素首先从单位被试来说，被试的动机、注意力、态度、身体状况、疲劳等都会导致误差。测量对象的样本特征也会
11、对信度的高低产生一定的影响，团体导质性，信度就高，样本团体的平均能力水平不同信度也就不同。第二节 人事测量的效度效度指测量的有效性，即能够测量到所要测量目标的程度。它是人事测量中另一个重要的评价指标。一、效度的内涵效度从心理测量理论角度来讲，可以定义为“与测量目标有关的真实分数的方差与总分方差的比率”。测验的信度高，并不一定能够保证测验的效度也高；测验的效度高，则信度一定高。测验的信度是效度的必要条件而非充分条件。信度与效度的差别在于所考虑的误差不同。信度考虑的是随机误差的影响；效度的误差则还包括系统误差。效度是指“测量结果的效度”，是指测量结果的准确性程度，而不是测验本身。另外，效度具有连续
12、性，效度高低只是程度上的差异而已，不是“全”或“无”的变量。二、效度的类型与评估方法1、内容效度(1)定义：内容效度是检查内容是否是所要测量的行为领域的代表性取样的指标。内容效度的主要特性：范围的特定性；时间的特定性；容易与表面效度混淆。要确定内容效度有两个前提条件：一是内容范围明确，二是取样有代表性。其中最有效的方法是编制双向细目表，它是以目标为横轴、以内容为纵轴的细目表、把所有要测量的内容包括专业领域、目的目标、内容与目标之间的关系、内容及行为目标在题目上所占的比例等都反映出来。(2)评估方法(1)、通常是由专家根据测验题目和假设的内容范围做系统的比较判断。(2)、内容效度的确定还可以采用
13、经验分析方法。(3)、除描述性评估方法之外，内容效度的确定也可以采用一些统计分析的方法，计算两个评分者之间评定的一致性，即考虑评分者信度；复本信度来作数量上的估计。2、效标关联效度(1)定义：效标关联效度，也称效标效度，反映的是测验分数与外在标准的相关程度，即测验分数对个体效标行为表现进行预测的有效性程度。效标效度主要考察的是测验分数与效标之间的关系。根据效标材料收集时间的不同，可以将效标效度进一步区分为预测效度和同时效度。预测效度的效标材料往往是测量结束后一段时间才获得，它反映的是由测验分数对任一时间间隔后被试行为表现的预测程度。同时效度的效标材料可以和测验分数同时收集。同时效度和预测效度差
14、异根源并不是收集效标资料的时间，而是在于测验目的的不同，同时效度多用于诊断现在的状态，而预测效度多是用于预测未来的结果。(2)常用的效标学术成就；特殊训练成绩；实际工作表现；团体对照；等级评定；先前有效的测验。3、构想效度构想效度是指测验能够测量到理论上的构想或特质的程度。(1)确定构想效度的方法和步骤确定构想效度的方法包括：测验内部的方法：使用测量内部效度、内部一致性等指标；测验间的方法：使用测验内容效度、区分效度和会聚效度等指标；效标关联效度法：使用测量发展变化等指标；实验和观察方法。确定构想效度的步骤包括：建立理论框架，以解释被试在测验中的表现；根据理论框架，推演出各种有关测验成绩的假设
15、；用逻辑和实证的方法来验证假设。(2)确定构想效度的指标与同质同类测验高度相关。因素分析。会聚效度和区分效度。会聚效度是指测验与测量相同特质构想等理论上有关的变量存在高相关。区分效度是指测验结果与测量不同特质或构想的变量存在低相关。三、效度的影响因素1、测验的因素测验题目的质量；测验实施中的干扰因素；被试的因素；测验的长度。2、样本团体的性质效度系数也会受到取样团体分数分布的影响，如果其他条件相同，样本越同质，其效度越低；反之，样本异质性越大，效度越高。3、效标的性质如果在其他条件相等时，所测量的行为与效标行为越相似，则效度系数就越高。另外，效标与测验分数的关系类型也直接影响效度系数。4、信度的影响效度系数的最大值与信度的高低直接相关，即一个测验的效度不会超过其信度的平方根，信度是效度的必须要非充分条件。如果增加测验的总方差，即增加题目或选取异质样本团体，对于效度的影响来说是不确定的。第三节 人事测量的项目分析项目分析是根据被试的反应对组成测验的各个题目即项目进行分析评价、调整和完善。它包括定性分析和定量分析，而定性分析有包括分析内容效应、题目编写的恰当性和有效性等，定量分析则主要是测量题目的难度
