信度信度信度主要是指测量结果的可靠性、一致性和稳定性,即测验结果是否反映了被测者的稳定的、一贯性的真实特征信度系数大部分信度指标都以相关系数(r)表示,即用同一样本所得到的两组资料的相关系数作为测量一致性的指标,成为信度系数信度系数高表明测量的一致性程度高,测量误差少理想的状态是:r=1一般来说,信度系大于等于0.8,即可认为该测量是达到了足够的信度1一一.重测信度重测信度同一种试验,对同一群受试者,前后测试两次,再根据受试者两次测验分数计算其相关系数,即得出再测信度重测信度所考察的误差来源是时间的变化所带来的随机影响在评估重测信度时,必须注意重测间隔的时间对于人格测验,重测间隔在两周到6个月之间比较合适在进行重测信度的评估时,还应注意以下两个重要问题:⑴重测信度一般只反映由随机因素导致的变化,而不反映被试行为的长久变化⑵不同的行为受随机误差影响不同2案例案例某空间性向测验有20题单选题,分别在十月与第二年四月施测同一组10名学生,以下是测验结果:PersonABCDEFGHIJOct18165131516125810Apr181861617161457113Spss操作操作 1.将数据导入spss先将数据输入excel,打开spss,【文件】→【打开文本数据】42. 按按【【Analyze】】→【【Correlate】】→【【Bivariate…】】53. 将左边两变项选入右边「将左边两变项选入右边「Variables」内,在「」内,在「Correlation Coefficients」方盒内选取「」方盒内选取「□□Pearson」;在「」;在「Test of Significance」方盒内选取「」方盒内选取「□□Two-tailed」;勾选最下面的「」;勾选最下面的「□□Flag significant correlations」」64.输出结果输出结果从表格可以看出,信度系数为0.972,远大于0.8,说明该量表信度高7二、复本信度二、复本信度如果一套测验有两种以上的复本,则可交替使用,根据一个受试者接受两种复本测验的得分计算其相关系数,即可得复本信度。
复本类似于考试中得A、B卷,如果一个人在A卷和B卷的得分相同,就说明考题具有信度;如果两者差异很大,则缺乏信度复本信度的主要优点在于:⑴能够避免重测信度的一些问题,如记忆效果、练习效应等;⑵适用于进行长期追踪研究或调查某些干涉变量对测验成绩影响;⑶减少了或作弊的可能性☆复本信度的局限性在于:⑴如果测量的行为易受练习的影响,则复本信度只能减少而不能消除这种影响;⑵有些测验的性质会由于重复而发生改变;⑶有些测验很难找到合适的复本8案例案例某自我概念量表,有20题是非题,题本A与B 分别施测同一组10个人,分数愈高表示愈具有正向自我概念,以下是施测结果:PersonABCDEFGHIJForm A161214109111391612Form B15121510101214916139Spss操作(与重测信度操作相同)操作(与重测信度操作相同)1. 将数据导入spss2. 按【分析】→【相关】→【双变量】3.将左边两变项选入右边「变量」内,在「相关系数」方盒内选取「□Pearson」;在「显著性检验」方盒内选取「□双尾检验」;勾选最下面的「□标记显著性相关」4.输出结果10从表格可以看出,信度系数为从表格可以看出,信度系数为0.963,远大于,远大于0.8,反映了这两个测验复本,反映了这两个测验复本A、、B在内容上的在内容上的等值性程度高。
等值性程度高11三、折半信度三、折半信度折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度折半信度属于内在一致性系数,测量的是两半题项得分间的一致性这种方法一般不适用于事实式问卷(如年龄与性别无法相比),常用于态度、意见式问卷的信度分析在问卷调查中,态度测量最常见的形式是5级李克特(Likert)量表进行折半信度分析时,如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以保证各题项得分方向的一致性,然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数12案例案例6题的随堂测验施测5位学生, Y表示答对,N表示答错,以下是测验结果:PersonItem 1Item 2Item 3Item 4Item 5Item 6JoeYYYYNYSamYNNYNYSueYYNYYYPegNYNNYNGilNYNNYY13Spss操作操作1.输入数据将Y用1替换,N用0替换142. 计算奇数题与偶数题的和计算奇数题与偶数题的和 按按【【转换转换】】→【【计算变量计算变量】】图为奇数和,偶数和亦然15结束后便会在结束后便会在spss Data Editor对话框中出现奇数题和偶数题对话框中出现奇数题和偶数题的和。
的和163.按按【【分析分析】】→【【相关相关】】→【【双变量双变量】】174.输出结果输出结果18或是在输入数据后,或是在输入数据后,按按【【分析分析】】→【【度量度量】】→【【可靠性分析可靠性分析】】19输出结果输出结果20四、一致性信度四、一致性信度21案例数据案例数据22Spss操作过程操作过程1.计算α系数【分析】 【度量】 【可靠性分析】23输出结果输出结果结果 该案例的α值为0.731,严格说来α值要在0.8以上,那么就需要进行调试,试着让问卷的信度更高24分析 度量 可靠性分析25结果结果在第二个表格的最后一列,数值代表如果删除这个问题,剩余问题的α值 当该值不降反增,就意味着这个问题是没有信度的,可以上去,从而增加问卷的信度 可以从表中看出第1、8、10项对应的值不降反增,即大于0.731,所以可以删去这三项26删除无信度的删除无信度的1 、、8、、10项后,再次计算项后,再次计算α值值27结果结果 当删除了第1 、8 、10这3项后,α系数已经达到0.8了,这说明该问卷的信度已经足够高了。
虽然从第二个表格的最后一列数据来看,还有改进的空间,但是已不需要再删除项了28效度效度效度即有效性,它是指测量工具或手段能够准确测出所需测量的事物的程度测量结果与要考察的内容越吻合,则效度越高;反之,则效度越低效度分为三种类型:内容效度、准则效度和结构效度29一、内容效度一、内容效度内容效度又称表面效度或逻辑效度,它是指所设计的题项能否代表所要测量的内容或主题对内容效度常采用逻辑分析与统计分析相结合的方法进行评价逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求统计分析主要采用单项与总和相关分析法获得评价结果,即计算每个题项得分与题项总分的相关系数,根据相关是否显著判断是否有效若量表中有反意题项,应将其逆向处理后再计算总分30二、准则效度二、准则效度 准则效度又称为效标效度或预测效度准则效度分析是根据已经得到确定的某种理论,选择一种指标或测量工具作为准则(效标),分析问卷题项与准则的联系若二者相关显著,或者问卷题项对准则的不同取值、特性表现出显著差异,则为有效的题项评价准则效度的方法是相关分析或差异显著性检验。
在调查问卷的效度分析中,选择一个合适的准则往往十分困难,使这种方法的应用受到一定限制31 三、结构效度三、结构效度结构效度是指测量结果体现出来的某种结构与测值之间的对应程度结构效度分析所采用的方法是因子分析有的学者认为,效度分析最理想的方法是利用因子分析测量量表或整个问卷的结构效度因子分析的主要功能是从量表全部变量(题项)中提取一些公因子,各公因子分别与某一群特定变量高度关联,这些公因子即代表了量表的基本结构通过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种结构在因子分析的结果中,用于评价结构效度的主要指标有累积贡献率、共同度和因子负荷累积贡献率反映公因子对量表或问卷的累积有效程度,共同度反映由公因子解释原变量的有效程度,因子载荷反映原变量与某个公因子的相关程度32Spss操作操作1.沿用一致性信度分析里的数据,将没有信度的Q1、Q8、Q10三个变量删去2.按【分析】→【降维】→【因子分析】33因子分析因子分析34因子分析因子分析353.结果结果 因子分析之前,首先对原始数据进行KMO检验和barlett球形检验,KMO值>0.5,(barlett球形检验的统计量的显著性概率)p值<0.05,问卷才有结构效度,才能进行因子分析。
从表中数据可以看出,p值=0.02<0.05,KMO值=0.672>0.5,通过了检验36结果结果 我们原始的数据有7个指标,因为指标毕竟不是完全相同的,我们把不完全相同的指标强行归为一类,必然会造成一些信息损失 在对数据的7个指标归类之后,对于Q2这个指标的提取度,由原来的100%变为50.1%,意味着损失了49.9%的信息 一般认为所有指标的信息损失在40%以下,因子分析的效果才较好37结果结果理论上所有主成分的累积方差贡献率要达到85%以上,意味着主成分就包含了原始数据85%以上的信息,信息损失少在这个案例中,按照特征值大于1的原则,我们可以提取出两个主成分,累积方差贡献率为64.734%,38结果结果在旋转元件矩阵当中,本应该没有空白,但因为设置了载荷大于0.6的才显示,所以载荷比较小的就被屏蔽了由表中数据可看出,成分1在Q6、Q5、Q4、Q3上的载荷大于0.6,说明这4个指标可以归为一类,以此推类,Q7、Q8这两个指标可以归为另一类,而Q9在两个成分的载荷都小于0.6,所以可以说它是没有效度的。