...wd...调查问卷的信度效度分析方法问卷调查法是教育研究中广泛采用的一种调查方法,根据调查目的设计的调查问卷是问卷调查法获取讯息的工具,其质量上下对调查结果的真实性、适用性等具有决定性的作用为了保证问卷具有较高的可靠性和有效性,在形成正式问卷之前,应当对问卷进展试测,并对试测结果进展信度和效度分析,根据分析结果筛选问卷题项,调整问卷架构,从而提升问卷的信度和效度信度和效度分析的方法包括逻辑分析和统计分析,本文主要讨论后者一、信度分析信度〔Reliability〕即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度信度指标多以相关系数来表示:大致可分为三类:稳定系数〔跨时间的一致性〕、等值系数〔跨形式的一致性〕和内在一致性系数〔跨工程的一致性〕假设以信度系数来表示信度的大小信度系数越大,表示测量的可信程度越大终究信度系数要多少才算有高的信度学者DeVellis(1991)认为,0.60~0.65〔最好不要〕;0.65~0.70〔最小可承受值〕;0.70~0.80〔相当好〕;0.80~0.90〔非常好〕。
由此,一份信度系数好的量表或问卷,最好在0.80以上,0.70至0.80之间还算是可以承受的范围;分量表最好在0.70以上,0.60至0.70之间可以承受假设分量表的内部一致性系数在0.60以下或者总量表的信度系数在0.80以下,应考虑重新修订量表或增删题项信度分析的方法主要有以下四种︰1、重测信度法这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测,计算两次施测结果的相关系数显然,重测信度属于稳定系数重测信度法特别适用于事实式问卷,如性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十清楚显的变化如果没有突发事件导致被调查者的态度、意见突变,这种方法也适用于态度、意见式问卷由于重测信度法需要对同一样本试测两次,被调查者容易受到各种事件、活动和他人的影响,而且间隔时间长短也有一定限制,因此在实施中有一定困难2、复本信度法复本信度法是让同一组被调查者一次填答两份问卷复本,计算两个复本的相关系数复本信度属于等值系数复本信度法要求两个复本除表述模式不同外,在内容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调查问卷到达这种要求,因此采用这种方法者较少。
3、折半信度法折半信度法是将调查工程分为两半,计算两半得分的相关系数,进而估计整个量表的信度折半信度属于内在一致性系数,测量的是两半题项得分间的一致性这种方法一般不适用于事实式问卷〔如年龄与性别无法相比〕,常用于态度、意见式问卷的信度分析在问卷调查中,态度测量最常见的形式是5级李克特〔Likert〕量表进展折半信度分析时,如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以确保各题项得分方向的一致性,然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数〔rhh,即半个量表的信度系数〕,最后用斯皮尔曼-布朗〔Spearman-Brown〕公式︰ru=2rhh/(1+rhh)求出整个量表的信度系数〔ru〕4、α信度系数法Cronbachα信度系数是目前最常用的信度系数,其公式为︰α=(n/n-1)*(1-(∑Si2)/ST2)其中,n为量表中题项的总数,Si2为第i题得分的题内方差,ST2为全部题项总得分的方差从公式中可以看出,α系数评价的是量表中各题项得分间的一致性,属于内在一致性系数这种方法适用于态度、意见式问卷〔量表〕的信度分析二、效度分析效度〔Validity〕即有效性,它是指测量工具或手段能够准确测出所需测量的事物的程度。
效度分为三种类型︰内容效度〔Face Validity)、准则效度(Criterion Validity)和架构效度Construct Validity)效度分析有多种方法,其测量结果反映效度的不同方面常用于调查问卷效度分析的方法主要有以下几种1、单项与总和相关效度分析这种方法用于测量量表的内容效度内容效度又称外表效度或逻辑效度,它是指所设计的题项能否代表所要测量的内容或主题对内容效度常采用逻辑分析与统计分析相结合的方法进展评价逻辑分析一般由研究者或专家评判所选题项是否“看上去〞符合测量的目的和要求统计分析主要采用单项与总和相关分析法获得评价结果,即计算每个题项得分与题项总分的相关系数,根据相关是否显著判断是否有效假设量表中有反意题项,应将其逆向处理后再计算总分2、准则效度分析准则效度又称为效标效度或预测效度准则效度分析是根据已经得到确定的某种理论,选择一种指标或测量工具作为准则〔效标〕,分析问卷题项与准则的联系,假设二者相关显著,或者问卷题项对准则的不同取值、特性表现出显著差异,则为有效的题项评价准则效度的方法是相关分析或差异显著性检验在调查问卷的效度分析中,选择一个适宜的准则往往十分困难,使这种方法的应用受到一定限制。
3、构造效度分析构造效度是指测量结果表达出来的某种构造与测值之间的对应程度架构效度分析所采用的方法是因子分析有的学者认为,效度分析最理想的方法是利用因子分析测量量表或整个问卷的架构效度因子分析的主要功能是从量表全部变量〔题项〕中提取一些公因子,各公因子分别与某一群特定变量高度关联,这些公因子即代表了量表的 根本架构透过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种架构在因子分析的结果中,用于评价架构效度的主要指标有累积奉献率、共同度和因子负荷累积奉献率反映公因子对量表或问卷的累积有效程度,共同度反映由公因子解释原变量的有效程度,因子负荷反映原变量与某个公因子的相关程度为了提升调查问卷的质量,进而提升整个研究的价值,问卷的信度和效度分析绝非赘疣蛇足,而是研究过程中必不可少的重要环节Cronbachα系数柯隆巴哈〔Cronbach 1951〕提出计算一个测量系统〔问卷或测验〕的信度称为Cronbachα系数〔简称α系数〕,是目前社会科会研究最常使用的信度当一个研究主题〔或构面〕由很多工程组合,每个问项都与主题相关,由总分的变异数与问项的变异数做为评量信度的指标即为α系数01. Cronbach α系数的定义利用各问项变异数之和与整份量表分数的变异数的比值,可用来估计一份量表的信度,柯隆巴哈〔Cronbach〕提出α系数为:此式为最常作为信度指标,其中s2i表示第i个问项xi的变异数,s2H表所有问项总和〔H= x1+x2+ ...+xn〕的变异数〔即整份测验分数的变异数〕,n是问项个数。
02. Cronbach α系数的实施技巧要做信度分析需先检查每个问项是否都是同方向的〔即都是正面问法,也就是题间的相关系数都是正的〕,如有一题与其它题相关系数都是负的,应考虑将此题先“变号〞或“删除〞后再进展计算α系数如有受测者乱答,可将它的数据删除后再算α值对问卷调查当有题目与其它题目是负相关时须注意是否反向问法如是,则应先将得分反向,再计算α信度或是删除该题假设为测验,则不能做反向处理,只能做删除题目03.标准化 Cronbach α系数的定义假设一份量表有n题,题间的平均相关系数为r,则此量表的标准化α系数为04.利用SPSS进展信度分析在SPSS中,专门用来进展测验信度分析的模块为Scale下的Reliability Analysis;使用Data Reduction之下的Factor模块Reliability Analysis模块主要功能是检验测验的信度,主要用来检验折半信度、库李及a系数以及Hoyt信度系数值至于重测信度和复本信度,只需将样本在二次〔份〕测验的分数的数据合并到同一数据文件之后,利用Correlate之下的Bivariate求其相关系数,即为重测或复本信度;而评分者信度则使用的Spearman等级相关及Kendall和谐系数。
表1 Reliability Analysis模块的Model选项的参数术语关键词功 能AlphaCronbach a系数Split-half折半信度,n是第二份量表的题数GuttmanGuttman最低下限真实信度法Parallel各题目变异数同质时的最大概率〔maximum-likelihood〕信度Strict parallel各题目平均数与变异数均同质时的最大概率信度表2 Reliability Analysis模块的Statistics局部选项的参数术语关键词功 能F testHoyt信度系数Friedman ChiFriedman等级变异数分析及Kendall和谐系数Cochran ChiCochran’s Q检验,适用于答案为二分〔如是非题〕的量表Hotelling’s THotelling’s T2 检验Tukey’sTukey的可加性检验Intraclass量表内各题目平均数相关系数建议进展因素分析之样本数宜大于330份论文:A first course in factor analysis出处:New York: Academic Press, 1973.Comrey, A. L.在因素分析前先以「KMO抽样适合性衡量」 (Kaiser Meyer Olkin)和「巴列特球型检定」(Bartlett’s Test of Sphericity) ,当KMO值愈大时,表示变项间的共同因素愈多,愈适合进展因素分析,根据学者Kaiser(1974)观点,如果KMO的值小于0.5时,较不宜进展因素分析Kaiser, H. F. “An Index of Factorial Simplicity,〞 Psychometrika (39), 1974, pp. 31-36.KMO是做主成分分析的效度检验指标之一,以前的文献中写说,KMO在0.9以上,非常适合做因子分析;在0.8-0.9之间,很适合;在0.7-0.8之间,适合;在0.6-0.7之间,尚可;在0.5-0.6之间,表示很差;在0.5以下应该放弃.量表题之处理量表题的运用,通常是因为用一题无法完整测量某一个变量,因而需要使用数道题目来表示一个变量,然而这些题目真的能有效并一致地指涉同一个变项吗这时我们便需要透过因素分析与信度分析来检视量表的信、效度。
因素分析量表题组是否具有效度,这组题目是否测量同一面向〔或同一因素〕,其能解释的变异量又有多高,便需要靠因素分析来检验1. 选择分析、数据缩减下之因子2. 将量表题组〔请注意,只能同时放一组量表,如同侪关系量表,切勿将多组量表或所有的题目一起点选进去〕点选至右边之窗格3. 按下描述性统计量,勾选KMO与Bartlett球形检定4. 萃取选择「主成分」分析,并选择「陡坡图」5. 至选项内勾选「依据因素负荷排序」全都选完后,即可按下确定1. KMO与Bartlett检定,是在检定量表题组之间的相关1) Bartlett:量表题组是用来测量一个变项,因此应具有一定的相关程度,当Bartlett检定达显著〔显著性=.000〕,即表示此题组具有共同之因素〔一或数个因素〕2) KMO:然而题组间的相关程度假设太高,则会造成多重共线性的问题,也就是说相关程度特别高的题目,事实上就是同一题拆成数题,如此便不符合设计量表题的原意,也会造成重复解释、过度膨胀解释力的后果,因此接着要看KMO取样适切性量数,KMO必须要在0.6以上,KMO越接近1,表示量表题目间的相关情形良好,越适合进展因素分析2. 讲解总变异量,在此会从题组中采用主成分分析法选择出数个。