《大会报告为高等教育寻找有意义的绩效评估方法》由会员分享，可在线阅读，更多相关《大会报告为高等教育寻找有意义的绩效评估方法（51页珍藏版）》请在金锄头文库上搜索。
1、为高等教育寻找有意义的绩效评估方法,岳卫平汤森路透2011年11,提纲,高校科研绩效评估的重要意义 引文分析相关理论和问题 建立科研绩效评估分析的动态管理平台 汤森路透简介 小结,2,提纲,高校科研绩效评估的重要意义 引文分析相关理论和问题 建立科研绩效评估分析的动态管理平台 汤森路透简介 小结,3,中国在过去12年的高等教育改革方面取得了巨大成就,1998年北京大学百年华诞之时，江泽民主席提出了中国高等教育的宏伟计划（985工程） 2006年，全国高等教育经费投入占 GDP的比重提高到1.5%，是十年前 的3倍； 2009年，全国高等教育机构招生 数量已经达到600多万，是1997年 的6倍
2、多； 近5年，高校获国家科技三大奖 的比例全面超过了50%。,4,国家教育十二五规划纲要,加快建设一流大学和一流学科。以重点学科建设为基础，继续实施“985工程”和优势学科创新平台建设，继续实施“211工程”和启动特色重点学科项目。改进管理模式，引入竞争机制，实行绩效评估，进行动态管理。鼓励学校优势学科面向世界，支持参与和设立国际学术合作组织、国际科学计划，支持与境外高水平教育、科研机构建立联合研发基地。,5,为高等教育寻找有意义的绩效评估方法,如何更好的收集、分析、呈现和诠释大学在学生、教员、教学项目和研究绩效方面的现状与发展趋势，以更好的为管理层提供决策的情报和依据已经成为全球科研管理人员
3、共同关心和探索的问题。,6,汤森路透对高等教育机构管理部门的调查 2008年,7,卓越大学的评价与形成,斯坦福大学曾经用五个指标来衡量“卓越”： 教职员工的论文产出率； 研究的影响； 奖项和同行评估； 学生的质量； 教学质量,8,Source: Jonathan R. Cole, The Great American University: Its Rise to Preeminence, Its Indispensable National Role, Why It Must Be Protected,世界一流大学的特点与构成要素,9,Jamil Salmi (2009). The Chal
4、lenge of Establishing World-Class Universities, Proceedings of3rd International Conference on World Class Universities, p7.,人才,资源,管理,优秀的人才,顶尖的 研究成果,有效 技术 转移,英国泰晤士高等教育大学排名,10,上海交通大学：世界大学排名,11,“如果你可以度量”,“如果你能够度量你所描述的事物,而且能够将其用数字表达出来，那么可以说你是了解该事物的；但是如果你不能够度量它，那么你所掌握的知识则是不充分且不具有说服力的” William Thomson, Lo
5、rd Kelvin 英国物理学家、工程师，热力学之父,12,定量分析大学的科研产出和影响力,定量分析的特点: 相对客观 数据的透明度 可重复性 可比性 缺乏同行评议的深度,13,提纲,高校科研绩效评估的重要意义 引文分析相关理论和问题 建立科研绩效评估分析的动态管理平台 汤森路透简介 小结,14,Eugene Garfield 信息科学领域的开拓者 引文索引的创始人,科学引文索引,15,16,2004,Cited References,1993,1991,1995,1980,2003,Times Cited,Related Records,2003,2004,1999,2002,1994,20
6、04, Citing ,从一篇高质量的文献出发 沿着科学研究的发展道路,Cited References 越查越深 Times Cited 越查越新 Related Records 越查越广,1998,分析： 学科分布、发展趋势、机构/作者等,引文索引：信息检索和分析,一种新的科技信息检索方法，在此之前应用于法律文档中(谢泼得引文) 克服了信息索引和检索中与词汇处理相关的问题 使得人们可以沿着文献发表的年代向前追溯 揭示了研究人员之间的社会认知联系，以及科学体系的组织结构和层次 能够辅助进行研究机构的定量评估与描述“将科学研究的工具用于科学本身” Derek de Solla Price (1
7、963) Eugene Garfield, “Citation indexes for science: a new dimension in documentation through association of ideas,” Science 122(3159):108-11, 15 July 1955,17,引文用于绩效评估的原理,引文是科学系统中用来偿还研究债务的货币。论文的被引用次数较高表明它同同行那里赢得了较高的“信用”。 科学出版物的正规形式和出于学术道德必须引用他人研究成果的要求 其他一些理论，包括将引文作为修辞工具、建构主义理论Robert K. Merton, (1910
8、-2003), sociologist of science, Columbia University. Normative theory,18,实证研究：被引频次和同行认可程度之间的相关性,大量研究发现, 二者的相关系数r = 0.7 0.9,Smith and Eysenck, comparing 1996 and 2001 RAE scores given to psychologists at 38 UK universities (peer review) with their citation counts, concluded: “The two approaches measu
9、re broadly the same thing.”,19,研究绩效定量评价基础指标与思路,20,总体影响力 即机构发表论文的总被引频次,相对影响力 即机构发表论文的篇均被引频次与全球论文篇均被引频次的比值,论文产出 即在高影响力、同行评议国际学术期刊所发表的论文数量,学科领域分析,相对影响力对比,相关机构对比,高被引论文,机构百分位排名,标杆分析（Benchmarking）的必要性与意义,对于高等院校 揭示本机构的研究绩效并识别需要优先发展的研究领域； 监测科技政策对研究绩效的推动作用； 展示机构研究实力，吸引顶尖的研究人员、优秀的学生以及更多的研究经费 对于基金管理机构 识别需要优先资助
10、的研究领域， 优化基金资助体系； 监测并评估基金资助项目的 投入产出效率,21,引文分析和研究绩效评估: 从国家到个人,基本准则基础研究优于应用研究整体优于个体长期优于短期相对指标优于绝对指标多指标优于单指标总的来说：同类对比，而非“拿苹果与橘子比较”Henk F. Moed, Citation Analysis in Research Evaluation, (Springer 2005),22,定量分析与同行评议,“科学计量学指标并不是要取代专家(评议)，而是为了能够对研究工作进行观察和评论，从而使专家掌握足够的信息，形成根据更充分的意见，并在更高的信息集成水平上更具权威性。” Dr. R
11、onald Rousseau, “评价科研机构的文献计量学和经济计量学指标”，科研评价与指标，红旗出版社，第17页，2000年,23,同行评议,相互补充,定量分析,Web of Science全球权威学术信息,严格遵循50多年来一贯的选刊标准，遴选全球最具学术影响力的高质量期刊 完整收录每一篇文章的全部信息，包括全面的引文信息 前所未有的回溯深度，包含1900年至今的共4900多万条文献和7亿多条参考文献,24,布拉德福定律：80%的重要科技文献集中在20%的出版物中,ESSENTIAL SCIENCE INDICATORS 全球学术成果定量评价基准,来自于 Web of Science 的1
12、0年滚动数据，基于22个学科； 总影响力（总引用次数）进入全球前1%的科学家、研究机构（或大学）排名；进入全球前50%的国家（或地区）及学术期刊排名 高被引论文、热点论文和研究前沿分析,25,全球权威学术信息,主流文献计量方法,INCITES 机构研究绩效综合分析工具,来自于 Web of Science 的30年数据，提供更灵活的学科分类体系； 基于全球基准数据，深入分析机构单篇论文、作者、学科、科研合作及研究影响力 对全球170多个国家与地区的2,000多所研究机构的产出和影响力进行多角度比较与分析,26,全球权威学术信息,主流文献计量方法,全球范围内使用Web of Science进行研
13、究绩效评估的机构,27,5,000+,1,300+,全球利用Web of Science数据进行科研绩效评估的机构与报告,28,US, NSF: biennial Science Higher Education Funding CouncilCanada, NSERC, FRSQ (Quebec), Alberta Research CouncilFrance, Min. de la Recherch, OST - Paris, CNRSItaly, CRUI (University Rectors) MURST (Ministry of Research, CNRSpain, CSIC (
14、Spanish Science Agency), CIRIT (Catalonia) Japan, National Institute of Informatics, Ministry of Education, Ministry of Economy, Trade & IndustryPeoples Republic of China, ISTIC, Chinese Academy of Sciences, Shanghai Jiao Tong University, Wuhan University Korea, Korea Research Foundation, Korea Adva
15、nced Inst. Of S&T Australia, Australian Academy of Science, govt lab CSIRO New Zealand, S. Africa, Portugal, Ireland, Switzerland, Austria, Poland, Czech Republic, Singapore, Malaysia, Thailand, Sweden, Norway, Denmark, Finland, Mexico, Brazil, Chile, Argentina, Uruguay, Russia and more!,28,提纲,高校科研绩
16、效评估的重要意义 引文分析相关理论和问题 建立科研绩效评估分析的动态管理平台 汤森路透简介 小结,29,学校整体科研绩效仪表盘(以某高校为例),分析仪表板中的四个引文指标能够从不同角度衡量该机构的学术影响力与全球平均水平相比下的健康状况， 指针在绿色区域表示相对影响力较高， 指针在黄色区域表示在中等水平， 指针在红色区域则表示相对影响力较低。,30,明确机构全球定位,31,北京大学,C9高校,985高校,中国大陆,以全球论文篇均被引频次为基准，北京大学已经在2007年超过全球平均水平，并均超过中国大陆、985高校和C9高校的水平,揭示机构学科优势,1,北京大学进入全球前1%的学科数量在中国高校中位列第一，其他C9高校数据见右表,32,数据来源：Essential Science Indicators 数据收集日：2011. 7. 28,深入了解学科布局,33,化学,物理,临床医学,化学和物理占机构总体产出比较有所下降； 临床医学保持着稳步增长的比例,透视学科相对影响力,34,优势学科背后的高绩效团队（以某高校为例）,
