《量表的信度和效度分析计算专题培训课件》由会员分享，可在线阅读，更多相关《量表的信度和效度分析计算专题培训课件（46页珍藏版）》请在金锄头文库上搜索。
1、量表的信度和效度分析计量表的信度和效度分析计算算一、信度（一、信度（reliability）定义）定义若重复进行测量，产生相同结果的准确程度若重复进行测量，产生相同结果的准确程度 测量的可靠性、稳定性和预测性测量的可靠性、稳定性和预测性 测量的精确度测量的精确度 反复测量结果的稳定性或一致性可能很高反复测量结果的稳定性或一致性可能很高 但却可能是不准确的但却可能是不准确的 用零点没有调整在中心的秤来测量重量用零点没有调整在中心的秤来测量重量 采用有明显导向性的问答题组成的量表测量态度采用有明显导向性的问答题组成的量表测量态度二、效度（二、效度（validity）定义）定义 所测量的是不是研究者
2、所想要的所测量的是不是研究者所想要的 在多大程度上给出了他在多大程度上给出了他/她所想要的她所想要的例如，研究者希望测量电视广告的传播效果例如，研究者希望测量电视广告的传播效果目的：目的：了解广告能否引起目标消费群的购买欲望了解广告能否引起目标消费群的购买欲望 消费者的购物决策是否与观看的电视广告相关消费者的购物决策是否与观看的电视广告相关如果：如果：最终测得的不是广告对消费者购物决策的影响最终测得的不是广告对消费者购物决策的影响 而主要是消费者对广告艺术感染力的评价而主要是消费者对广告艺术感染力的评价结论：结论：所用量表是无效的或是效度很低的所用量表是无效的或是效度很低的 信度高时效度不一定
3、高信度高时效度不一定高 但效度高时信度一定高但效度高时信度一定高从三个方面来分析测量的信度从三个方面来分析测量的信度 稳定性稳定性 (stability) 内在一致性内在一致性 (internal consistency) 等价性等价性 (equivalency)三、信度评价三、信度评价1、稳定性分析、稳定性分析 也叫做测验也叫做测验-再测验法再测验法目的：目的： 考察对于同样的问答题（或测试）考察对于同样的问答题（或测试） 对同一组被访者或受测试者对同一组被访者或受测试者 前后两次测量的结果是否基本一致前后两次测量的结果是否基本一致1、稳定性分析、稳定性分析方法：方法： 用用“再测信度再测信
4、度”来测量稳定性来测量稳定性再测信度：再测信度：两次测量结果间的相关系数两次测量结果间的相关系数 相关系数越接近相关系数越接近 1，表示稳定性越好，表示稳定性越好1、稳定性分析、稳定性分析缺点：缺点：一般应用中很难真正实现一般应用中很难真正实现（人力、财力、时间）（人力、财力、时间）再测信度的应用有局限性再测信度的应用有局限性 第一次的测量可能会影响到第二次第一次的测量可能会影响到第二次（信度偏高）（信度偏高） 两次测量间客观的情况可能有变化两次测量间客观的情况可能有变化（信度偏低）（信度偏低）2、内在一致性分析、内在一致性分析 目的：目的：检验多项目量表中各个项目的一致性检验多项目量表中各个
5、项目的一致性 可信的量表的项目必须具有内在一致性可信的量表的项目必须具有内在一致性2、内在一致性分析、内在一致性分析方法之一：折半法方法之一：折半法 (split-half technique) 将量表中的项目分成两半将量表中的项目分成两半 计算这两部分的总得分的相关系数计算这两部分的总得分的相关系数rh 如果量表具有较高的内在一致性如果量表具有较高的内在一致性 那么这两部分应该是高度相关的那么这两部分应该是高度相关的2、内在一致性分析、内在一致性分析方法之一：折半法方法之一：折半法 (split-half technique)优点：不需要重复的测量优点：不需要重复的测量常用分法：按项目号的前
6、后顺序分常用分法：按项目号的前后顺序分 或按项目号的奇偶性分或按项目号的奇偶性分计算公式：计算公式： ru = 2rh / (1 + rh)2、内在一致性分析、内在一致性分析方法之一：折半法方法之一：折半法 (split-half technique)注意：需先将量表中的反意题作逆向处理注意：需先将量表中的反意题作逆向处理 再分别计算两部分的总得分再分别计算两部分的总得分前提假设：前提假设：两半题项得分方差大致相等两半题项得分方差大致相等 否则可能会低估信度系数否则可能会低估信度系数2、内在一致性分析、内在一致性分析方法之二：方法之二：alpha信度系数法信度系数法 克朗巴哈提出用克朗巴哈提出
7、用系数来测量累加量表的信度系数来测量累加量表的信度 = K (1 - i2/T2)/(K-1) K K 量表中题（项目）的总数量表中题（项目）的总数 i i2 2 第第i i个题（项目）得分的题内方差个题（项目）得分的题内方差 i i2 2 K K个题项的方差之和个题项的方差之和 T T2 2 总得分（所有题项得分之和）的方差总得分（所有题项得分之和）的方差信度系数是评估量表内部一致性的比较常用系数信度系数是评估量表内部一致性的比较常用系数2、内在一致性分析、内在一致性分析方法之三：平均相关系数法方法之三：平均相关系数法缺点：偏重于项目之间的相关缺点：偏重于项目之间的相关 而不是整个量表的信度
8、而不是整个量表的信度 项目越多，平均相关系数就可能越高项目越多，平均相关系数就可能越高提高信度的方法之一：提高信度的方法之一： 增加量表中的测量项目增加量表中的测量项目 因为各个项目的随机误差可能会相互抵消因为各个项目的随机误差可能会相互抵消 2、内在一致性分析、内在一致性分析小结：小结： 信度的高低既依赖于项目的内在一致性信度的高低既依赖于项目的内在一致性 也依赖于量表的长度也依赖于量表的长度因此：因此： 一方面尽量设计内在相关性更高的项目一方面尽量设计内在相关性更高的项目 另一方面也可以考虑适当增加项目的数量另一方面也可以考虑适当增加项目的数量3、等价性分析、等价性分析A 当当使使用用两两
9、种种不不同同的的量量表表去去测测量量同同一一概概念念时时，这这两种量表是否等价？两种量表是否等价？ 方方法法：在在同同一一时时段段中中，让让同同一一组组被被访访者者接接受受两两种种量量表表的的测试；计算两组得分之间的相关，用于评价信度测试；计算两组得分之间的相关，用于评价信度B 当当两两个个评评分分者者（或或编编码码员员）判判断断同同一一现现象象时时，评价结果是否一致？评价结果是否一致？ 方方法法：计计算算两两个个评评分分者者评评分分之之间间的的相相关关；或或计计算算两两个个编编码员编码结果一致的比例，用于评价信度码员编码结果一致的比例，用于评价信度3、等价性分析、等价性分析 前前一一种种应应
10、用用A比比较较少少见见（构构造造等等价价的的量量表表非非常困难）常困难） 后一种应用后一种应用B比较常见，也称为比较常见，也称为 评分者内在信度评分者内在信度 (inter-rater reliability) 编码员间信度编码员间信度 (inter-coder reliability)3、等价性分析、等价性分析在内容分析中，要评价编码员间信度在内容分析中，要评价编码员间信度 编码：编码：将分析单位（如单词、符号、主题等）将分析单位（如单词、符号、主题等） 置于各种内容类别中置于各种内容类别中 不同的编码者独立地编码不同的编码者独立地编码 如果能得到比较一致的结果如果能得到比较一致的结果 则信
11、度较高则信度较高3、等价性分析、等价性分析-编码者间信度的计算公式编码者间信度的计算公式霍斯提霍斯提(Holsti)公式公式 假假定定两两个个编编码码员员分分别别同同时时做做了了m1和和m2个个单位的编码，其中一致的编码数为单位的编码，其中一致的编码数为m，则，则 编码者间信度编码者间信度 = 2m / (m1 + m2) 3、等价性分析、等价性分析-编码者间信度的计算公式编码者间信度的计算公式霍斯提霍斯提(Holsti)公式公式优点：计算简单、易于操作优点：计算简单、易于操作缺点：信度的大小可能与编码时所用的类别的数目有关缺点：信度的大小可能与编码时所用的类别的数目有关 类别的数目越少，由于
12、偶然性而造成一致的可能性就越大类别的数目越少，由于偶然性而造成一致的可能性就越大 编码问题都是两个类别时，随机的编码也可能有编码问题都是两个类别时，随机的编码也可能有50%的信度的信度 在五个类别的情况，随机的编码就只可能有在五个类别的情况，随机的编码就只可能有20%左右的信度左右的信度3、等价性分析、等价性分析-编码者间信度的计算公式编码者间信度的计算公式史考特史考特(Scott)指数指数编码员间信度编码员间信度 = (o - e)/(1 - e) = (o - e)/(1 - e) oo：观测到的观测到的一致性或叫实际一致性（一致性或叫实际一致性（用用霍斯提公式霍斯提公式计算）计算）ee：
13、纯粹由于纯粹由于偶然性偶然性而造成的一致性或叫期望一致性而造成的一致性或叫期望一致性 （等于每个类别出现的相对频率的平方和）等于每个类别出现的相对频率的平方和） 3、等价性分析、等价性分析-编码者间信度的计算公式编码者间信度的计算公式 利用霍斯特公式计算时，一般信度在利用霍斯特公式计算时，一般信度在90%90%或以上或以上 利用史考特公式计算时，信度大都是利用史考特公式计算时，信度大都是75%75%或以上或以上考察编码员内考察编码员内(intra-coder)(intra-coder)信度时信度时 让同一个编码员在不同的时间内对同一个资料编码两次让同一个编码员在不同的时间内对同一个资料编码两次
14、 然后借助以上公式计算编码然后借助以上公式计算编码- -再编码信度再编码信度 将上式中对应两个编码员的数据，将上式中对应两个编码员的数据， 改为同一编码员的两次数据改为同一编码员的两次数据 例例 在在一一项项少少儿儿电电视视节节目目内内容容分分析析的的编编码码表表中中，两两个个编编码码员员分分别别同同时时独独立立地地将将100100个个少少儿儿节节目目分分配配到到如如下下三三个个类类别别中中：1 1、单单本本剧剧 2 2、连连续续剧剧 3 3、系系列列剧剧。已已知知编编码码不不一一致致的的节节目目共共计计8 8个个；这这三三个个类类别别的的节节目目数数分分别别占占30%30%、45%45%和和
15、25%25%。试试分分别别利用霍斯提和史考特公式，评价这两个编码员编码的等价性。利用霍斯提和史考特公式，评价这两个编码员编码的等价性。解：解： m1= m2 =100, m = 100-8 = 92霍斯提信度霍斯提信度 = 2m/(m1 + m2)=2(92)/(100+100)=0.92 o = 0.92, e = (0.30) o = 0.92, e = (0.30)2 2+(0.45)+(0.45)2 2+(0.25)+(0.25)2 2=0.355=0.355史考特信度史考特信度 = (o - e)/(1 - e) = (o - e)/(1 - e) = (0.92-0.355)/(1
16、-0.355) = 0.876= (0.92-0.355)/(1-0.355) = 0.876效度主要有三种类型：效度主要有三种类型： 内容效度内容效度 (content validity) 效标效度效标效度 (criterion validity) 结构效度结构效度 (construct validity)四、效度评价四、效度评价1、内容效度、内容效度 也叫做表面效度也叫做表面效度(face validity) 用最简单的也是最基本的主观判断的方法用最简单的也是最基本的主观判断的方法 一般根据测量量表所选的题项来判断一般根据测量量表所选的题项来判断 仅从表面上来观察判断其是否能够代表想仅从表面上来观察判断其是否能够代表想 要测量的内容或主题要测量的内容或主题1、内容效度、内容效度 尽量收集和阅读与测量内容有关的资料尽量收集和阅读与测量内容有关的资料 除了研究人员的主观判断之外除了研究人员的主观判断之外 最好再请一些专家来帮助判断最好再请一些专家来帮助判断1、内容效度、内容效度单项与总和相关效度分析法单项与总和相关效度分析法 确定各个具体的题项对整个量表的效度是否确定各个具体的题项对整
