《11.素质测评效果分析》由会员分享，可在线阅读，更多相关《11.素质测评效果分析（37页珍藏版）》请在金锄头文库上搜索。
1、素质测评效果分析1n误差分析n信度分析n效度分析误差分析n误差：测量中与目的无关的变因所引起的不准确或不一致的效应。n随机误差n系统误差随机误差n又称可变误差n由与测量目的无关的偶然因素引起而不易控制的误差，它使多次测量产生不一致的结果n误差的方向和大小的变化完全是随机的，无规律可循。n随机误差既影响准确性又影响一致性。系统误差n又称常定误差n由与测量目的无关的变因引起的一种恒定而有规律的效应。n稳定地存在于每一次测量中，此时虽然测值一致，但不正确。n系统误差只影响测值的准确性。素质测评误差类型n测评工具本身的误差n测评实施过程的误差n测评实施者的误差n应试者的误差测评工具误差n测评工具所测评
2、的素质特征与目标上欲测评的素质特征之间不一致n测评指标不能完全代表测评目标，测题抽样不能完全代表测题总体。n测验的题型和用词n测验难度（影响测验的甄别力）n天花板效应和地板效应n测验长度：测验包含题目的数量。测评过程误差n环境干扰n温度、通风、噪音、照明n测评纪律的控制不好n作弊、代考、抄袭、相互交流、泄题n错误操作n误读指导语、错误理解指导语、误答记录错误、记分错误。n噪音、光照变化、温度变化、疲劳因素、情绪因素等测评实施者误差n施测者的资格：双盲测试n定势心理n专业化心理n优势心理n偏好心理n宽容定势（Leniency set）n首因效应n晕轮效应应试者误差n应试动机n测验焦虑n反应定势n
3、测验经验和练习效应n生理因素n皮革马力翁效应信度分析n信度（Credibility）： 指测量结果的可靠性或一致性。n测量结果的可靠性与误差的大小密切相关。n误差越大，分数的可靠性就越低n信度便是说明测量的可靠性或一致性的指标。真分数模型测评分数测评分数=真分数真分数要测量的特征要测量的特征随机误差随机误差不一致不一致+信度系数n信度系数（reliability efficient） 真实分数标准差与实得分数标准差的比率。衡量信度高低的指标。 只是理论上假设的值，不可能实际测到，因此我们不可能实际得到信度系数。信度的作用n解释真实分数与实得分数的相关。一个人的获得分数与“真实分数”之间的接近程
4、度如何。n信度可以解释总的方差中有多少比例是由真实分数的方差决定的，即测量分数的变化中有多少是真实反映了被试分数的变化。重测信度ntest-retest reliability, 又称稳定性系数。n用来估计测评跨时间的一致性程度跨时间的一致性程度。n即在两个不同时间里进行测评所获得结果的一致性程度。n对同一组被试进行相同的测评一次；间隔一段时间后再对同一组被试用相同的测评工具测评一次；计算两次测评获得的分数的相关；所得相关系数即为：重测信度复本信度nalternative-form reliability, 又称等值系数。n它是以两个测验复本（功能等值但题目内容不同）来测量同一群体，然后求得应
5、试者在这两个测验上得分的相关系数等值系数。n“复本”：在内容、数量、格式、难度、平均数、标准差等方面与原测评相同的测评。复本信度的优势n重测信度反映测评跨时间跨时间上的一致性。而复本信度（等值系数）的高低既反映测评跨型式跨型式上的一致性，又可以反映测评跨时间上的一致性。n能避免重测信度的记忆效果、练习效应等。n适用于进行长期追踪研究内在一致性信度nConsistency reliabilityn反映同一测评内部各测评题目之间的一致性。考察测验的各个题目之间是否具有同质性。n同质性：指所有题目测量的只是单一内容或特质，表同质性：指所有题目测量的只是单一内容或特质，表现为现为测评同一特性的各个题目
6、的得分呈正相关。内在一致性-分半信度nSplit-half reliabilityn在一个测验实施后，把测验分为等值的两半，并计算每位被试在两半测验上的得分，获得两个分数。n计算两半分数之间的相关系数。n一般采用的分半方法是：奇偶分半法。奇偶分半法。n遇到一组相互关联的测题，则要把这一组题目全部归入一半内。否则会高估信度。内在一致性-同质性信度n同质性：指所有题目测量的只是单一内容或特质，同质性：指所有题目测量的只是单一内容或特质，表现为所有测验题目的一致性。n“11？”； “23？”；“59？”n人格测验中的“乐群性”和“交际性”n管理技能测验中的“预测”和“决策”，“监督”与“控制”内在一
7、致性-同质性信度nHomogeneity reliabilityn测验内部的各题目在多大程度上考察了同一内容。n同质性信度低，则说明测验测量了不止一种特质。n如果要在一个测验中测量不同特质，则应该将测验设计为几个分测验。如卡特尔16PF就包涵了16个分量表。评分者信度nRaters reliabilityn指不同评分者对同样对象进行评定时的一致性。n随机抽取若干分答卷，由两个独立的评分者打分，再求每份答卷两个评判分数的相关系数。这时，可以采用前述定距或定序相关系数。信度系数误差来源 信度系数类型误差来源重测信度时间取样复本信度型式取样分半信度内容取样同质性信度内容的异质性评分者信度评分者间的差
8、异影响信度系数的因素n测验长度测验长度n在其他条件相等的情况下，测验长度越长，信度越高。n被试样组的分数分布情况被试样组的分数分布情况n在其他条件不变的情况下，被试样组的分数分布范围越大，变异性越大，信度系数就越高。n测验难度测验难度n只有测验的难度水平能使测验分数分布范围最大时，测验信度才较理想。效度分析n效度（Validity）：n指测量的有效性。即能测量到所要测量的目标的程度。效度的理论模型测评分数测评分数=真分数真分数要测量要测量的特征的特征随机误差随机误差不一致不一致+系统误差系统误差与所测特征与所测特征无关的特征无关的特征+效度与信度的关系n信度考察具有偶然性、不稳定性的随机误差的
9、大小；效度考察稳定的、有规律的系统误差的大小。n一般而言，效度的作用比信度的作用更为重要。n信度高的测试不一定效度高。但效度高的测验往往它的信度也较高。效度的性质n测验的效度 n测量结果的效度：测量结果的准确性程度，而非测验本身。n效度是连续性的，效度高低只是程度上的差别，不是“全有”，“全无”的变量。避免评价某某一测评的结果为“有效”和“无效”。内容效度nContent Validityn测验的行为样组能代表所测量的特质的程度。n也即采用的测评工具能够测量到某些特质的程度。构思效度nConstruct validity，指测验能测量到的理论上的构思或特质的程度。n构思（construct）：
10、抽象的假设性的概念。如智力、创造力、言语流畅性、焦虑等。n构思不能直接测量，需要借助测评工具。构思效度n“构思”的特点n抽象性n和具体的可观察的事件相联系n确定“构思”的步骤（理论模型的建立）：n明确那些和测量的构思相关的行为样组；n明确该构思和其他一些构思是否相关；n明确其他构思相关的行为样组。构思效度成就动机成就动机 树立有一定挑战性 的目标； 冒适当的风险 对自己的行为负责 喜欢反馈 努力做某件事，直 到达到目标做事有事先安排独立完成工作积极主动与客户沟通主动性创新性分析能力人际能力/效标关联效度nCriterion-related validity 也称效标效度（criterion v
11、alidity）n反映测验分数与外在标准（效标）的相关程度。或言之，用测验分数对个体的效标行为表现进行预测的有效性程度。n效标关联效度常用于预测性测验，用于甄选决策。何谓“效标”？n效标：考察测验效度的外在参考标准，或言之，被预测的行为水平。它是用来检验效度的标竿。n一个机械能力倾向测验，其效标可以是成为机械师后的工作表现；n对于一个管理技能测验而言，其效标可以是将来管理工作的绩效。n“明星员工”可以作为员工选拔的效标；n“学业成功”可以作为大学生入学考试的效标常用的效标n学术成就n特殊训练成绩n实际工作表现n团体对照n等级评定n先前有效的测验预测效度n其效标资料往往是测量结束后隔一段时间才获得。它反映的是由测验分数对任一段时间间隔后被试行为表现的预测程度。n理想的评估效度的方法，但不合实际。同时效度n其效标材料和测验分数差不多同时搜集。n同时效度的评估不需要长期追踪，所以应用比较普遍n同时效度和预测效度的差异根源不在与收集效标的时间，而是在于测验目的的不同。前者在于诊断现在的状态，后者多预测未来的结果。n“某人成功了吗？”“某人会成功吗？”
