计算机模拟病例考试重复使用的可靠性研究

《计算机模拟病例考试重复使用的可靠性研究》由会员分享，可在线阅读，更多相关《计算机模拟病例考试重复使用的可靠性研究（4页珍藏版）》请在金锄头文库上搜索。

1、1计算机模拟病例考试重复使用的可靠性研究计算机模拟病例考试重复使用的可靠性研究毕洪然，左天明，孙宝志（中国医科大学医学教育研究中心，辽宁 沈阳 110001）摘要摘要中国医科大学是首个在国内开发并使用计算机模拟病例（Computer-based Case Simulation, CCS）这种考试方式的，由于考生数目较大，开发病例也比较复杂，所以考试病例往往重复使用。本研究验证了在中国医科大学 CCS 考试中重复使用病例，并未对考试的客观性和公正性产生显著影响，CCS 考试具有较高的客观性、公正性以及可靠性。关键词关键词 CCS 考试；重复；可靠性 计算机模拟病例考试（Computer-base

2、d Case Simulation, CCS）是一个动态的、人机交 互的对患者疾病状况的模拟1。病例一开始，在屏幕上会呈现患者的病情简介和来诊时的 病例信息，考生可以通过采集病史、体格检查、制定医嘱来完成对患者进行的诊断和治疗。中国医科大学自 2001 年开始进行 CCS 考试系统的开发，学习和借鉴国外 CCS 经验， 独立研究开发了适合我国国情的 CCS 考试系统。自 2002 年开始，中国医科大学就一直应 用 CCS 考试，它是中国医科大学临床专业毕业生毕业综合考试的重要组成部分。 CCS 考试这种基于表现的评价法是很复杂的2，而且很难开发，需要很多人力与物力 方面的支持，而中国医科大学每

3、年考生较多，计算机病例开发的复杂性导致新病例的开发 速度远远赶不上考生的数量，所以在每次的 CCS 考试中，病例往往是重复使用的，这样就 有可能对整个考试的客观性和公正性产生质疑，本研究旨在验证 CCS 考试的重复使用的可 靠性。 一、对象与方法一、对象与方法 （一）研究对象 本研究以中国医科大学 2010 年参加毕业综合考试的 2005 级五年制临床医学专业本科 考生作为研究对象，共 471 人。 （二）研究方法 1.考试方法 学校在于考试前 2 个月将考试的形式和内容，以及演示说明发布在教务处网站上，供 考生了解和练习。CCS 考试共有两站，第一站为公共病例，即所有考生都要测试的病例， 第

4、二站为随机病例，即考生在我们所设置的几个病例中随机抽取一个进行作答。在本次考 试中，共应用了 9 个模拟病例，其中 1 个为公共病例。 考试时间共持续 16 天，每日共有上午、下午和晚上 3 组考生参加考试，每组 10 人， 即每天 30 名考生参加考试。考试顺序是按照实习地点随机分组的。 2.统计方法 考生的 CCS 考试成绩最后导入 Excel 数据表中，调查问卷采用 Epidate 建立数据库， 输入数据，并用双录入方法对数据库进行核查。所有数据录采用 SPSS13.0 软件进行统计分 析。 3.质量控制 考试顺序是根据实习地点的不同随机分组的，为减少系统误差，监考老师严肃考场纪 律，严

5、格监考，以保证考生独立完成考试题目。调查问卷经过专家论证。CCS 考试的评分 为计算机程序自动评分，准确性极高，由此产生的系统误差极小。本研究样本量足够，且 各样本独立。 二、结果二、结果2（一）CCS 考试的基本情况 在 2010 年五年制 CCS 考试中应用的 9 个病例包括 3 个内科病例，4 个外科病例，2 个 妇科病例，2 个儿科病例，9 个病例编号分别为公共病例 2305 号，随机病例 1107 号、1110 号、2303 号、2304 号、2324 号、2404 号、2415 号、2416 号。由于考虑到样本量关系，在 对考试成绩进行统计分析时，公共病例和随机病例均按考试顺序每四

6、天一组。 （二）CCS 考试成绩分析 每个病例得分均由计算机程序自动计算，CCS 考试的总分、各病例分数都以百分制计，CCS 总分是将考生所考的两个病例的百分制总分所得平均数，见表 1。表1，CCS考试总分95% 可信区间 分组人数平均分标准差 下限上限最低分最高分112047.5411.4145.4849.6022.5074.00212049.5710.4147.6951.4521.0072.00311950.7712.8548.4453.1118.0078.00411247.538.7245.9049.1622.5070.00总计47148.8711.0347.8749.8718.0078

7、.00*P0.05（三）分别对 CCS 总成绩，以及各个病例分数进行方差分析，结果如表 2， CCS 总 成绩、1107 号病例、1110 号病例、2303 号病例、2304 号病例、2324 号病例、2404 号病例、 2415 号病例平均分数在各组之间均显示无显著性差异；公共病例和 2416 号病例方差分析 显示有显著性差异。根据方差分析的结果，进一步对公共病例和 2416 号病例进行 Scheffe 检验，结果显示公共病例第三组成绩明显低于第四组，2416 号病例第四组成绩明显低于其 他三组。3表 2， CCS 考试各组比较结果组平均分1234方差分析P 值Scheffe 检验CCS 总

8、成绩47.5449.5750.7747.530.059公共病例51.9252.3256.4550.740.012*431107 病例55.3155.5356.6754.290.9711110 病例28.2932.7327.4433.000.6432303 病例47.2044.2942.0747.570.5982304 病例42.3346.5049.6751.000.4112324 病例29.4031.8138.3330.790.0902404 病例65.0767.8761.2962.290.2882415 病例43.3347.7342.4343.710.4712416 病例43.1342.00

9、40.0033.790.039*41,2,3*P0.05分别各病例考试顺序与考试得分进行相关分析，得到相关系数如表 12 所示，除 2416号病例外，其他各组病例考试分数与考试顺序均显示无相关关系。表 12，CCS 考试中各病例成绩与考试顺序的相关分析结果公共病例1107病例1110病例2303病例2304病例2324病例2404病例2415病例2416病例与考试顺序的相关系数-0.006-0.0020.072-0.0300.1970.073-0.144-0.073-0.271*P0.05三、讨论三、讨论 利用 CCS 考试形式来评价学生的临床诊疗能力3，是中国医科大学引进与探索的新型 评价方

10、式，在 2010 年五年制临床专业毕业生 CCS 考试可以看出，考生分数普遍较低， CCS 考试难度较高，另外还有考生对这种形式的计算机模拟考试陌生、计算机操作不熟练、 考试紧张、临床知识有限等原因造成的。学生们在平时的临床课的学习中，尤其是在教学 医院的实习中没有充分重视对临床技能及临床思维能力的培养，所以在进行这方面内容的 考查时造成成绩的不理想。因此我们今后应该注意发挥考试的功能，在教学中，特别是临 床实习的教学中，充分注重对学生的临床技能和临床思维能力的培养。 在 16 天的考试中， CCS 总分的平均分数并没有显示显著性差异，也没有出现按照时 间顺序有序增长的趋势。从 CCS 总分按

11、时间顺序绘制的散点图中可以看出，各病例得分并4没有呈现出一定的变化规律。同样，当对每个模拟病例的分数单独评价时也可以看出，只 有两个随机病例的四组平均分数之间显示不同，但是都为时间顺序靠前的组别平均分数反 而低于考试顺序靠后的组别，并不能说明时间顺序对于考生的成绩产生了影响，是由于考 生之间能力水平的差异所引起的某些组别的平均分数有显著差异。其他病例，即 1 个公共 病例和 7 个随机病例的组平均分和考试时间显示无相关性。 无论是病例重复次数较多的公共病例，还是重复次数相对较少的随机病例，从不同层 面分析重复使用对考试成绩的影响，都可以发现考试的先后顺序并不影响考生的成绩。 CCS 考试侧重于

12、评价考生解决临床问题（包括诊断、治疗和监护）的临床诊疗思维和决策 能力，即在较为逼真的临床情境下考查学生处理病人全过程的能力，它注重考生重点病史 采集、体格检查、必要的实验室检查、做出正确诊断、实施必要的措施、药物治疗及其他 在诊断治疗整个过程中的考察，并不像多选题考试那样测试考生的基础知识，也不像标准 化病人考试那样测试医学生问诊查体以及与患者交流能力4。这些内容是现有的其它考试 形式所不能完全替代的。CCS 这种评价能力的模式是对一个临床模拟病例的未痊愈的管理， 这个评价工具评价考生对诊断过程和治疗干预的选择和排序。 从以上研究中我们可以看出，中国医科大学 CCS 考试虽然历时长，考试病例

13、数量有限， 但并没有影响到 CCS 考察考生能力的要求。2007 年我国医师资格考试临床技能考试加试 了（CCS）考试，并首次在北京、河北、四川、青海等四省市进行临床执业医师试点考试， 这使得对于 CCS 考试的研究对完善临床技能考试系统有着重要更有意义，我们要结合本国 的实际，使这项技术最大限度地发挥作用。参考文献参考文献1左天明. 医学计算机模拟病例考试系统的初步建设和应用. 医学教育探索. 2003,3:46-47.2Thomas G. Lynch, MD , Robert J. Zadalis, MD. Repeated Use of Computerized Case Simulat

14、ions in a Test Format Does Not Present Security Risk. The American Journal of Surgery.3Janice Dowd Scheuneman. An Investigation of the Difficulty of Computer-based Case Simulations. Medical Education, 1999;32 (4):150-157.4Scheuneman, Janice. An Evaluation of Gender Differences in Computer-Based Case

15、 Simulation, May,1997收稿日期 2011-8 作者简介 毕洪然，女，助教，研究方向：医学教育研究 通讯作者：孙宝志，E- mail： A Research on the Reliability of Repeated Use of Computer-based Case Simulation（CCS） BI Hong-ran, ZUO Tian-ming, SUN Bao-zhi （Research center for medical education, China Medical University. Shenyang 110001, Liaoning, China

16、） AbstractAbstract： China Medical University is the first institution which developing and using computer-based case simulations in China.In China Medical University, there are many students who take part in this exam each year. Because of the complexity of the cases development, the number of new cases can not able to catch the number of students. So the case are often been repeated used in many exam. This study testified the ob