ﻩ高校科研成果定量评价的难点与方法创新 王永红 (重庆城市管理职业学院重庆401331)ﻭ 摘ﻭ 要高校科研活动的特殊性决定了科研成果的形式多样性,这些成果已经和定量评价结合起来,成为科研评价的一个重要内容,但目前高校科研成果计量评价中还存在着许多难点,如学科之间的定量评价、科研成果之间的权重取值、科研成果计量评价体系的构建,针对这些问题,进行方法上的创新成为关键,如运用文献计量对学科间的科研成果进行评价、构建科研计量评价模型等通过方法上的创新为构建高校科研成果定量评价体系提供借鉴ﻭ 关键词:高校 科研成果ﻭ 定量评价 随着网络计量学、情报计量学、文献计量学等学科的日益发展以及文献数据库建设的不断完善,对高校科研成果进行科学、有效地评价已经成为可能,尤其对成果的定量评价提供了条件高校采取定量方式对科研成果进行科学评价成为高校科研量化管理的主要内容,但是定量评价存在着许多难点,针对这些难点进行方法上的创新有助于构建科学的科研成果定量评价体系ﻭ 一、高校科研成果的形式与定量评价高校科研成果的主要表现形式为著作、论文、科研项目、专利等。
这些成果发表后的“数”与“量”成为衡量一所高校科学研究能力的一项重要指标因此,高校科研管理中不断更新评价手段,不但要对科研成果的“质”进行定性评价,而且也要对科研成果的“量”进行定量评价,这里所说的“量”即是指科研成果的产出力,所说的“质”即是科研成果的影响力高校目前对科研成果的评价都是从这个方面入手进行对科研成果定量评价不是简直地将科研成果累计作加法运算,它应该根据成果的主要形式确定定量的标准与方法,然后再进行评价,主要表现在以下几个方面 (一)著作定量评价高校科研成果的著作主要可分为学术专著、基础理论著作、技术著作和教材类或工具书等,其署名分别有著、编著、编等形式这些成果的级别是按从高至低的顺序排列,如学术专著是作者在某一学科领域的最新研究成果,基础理论著作则是将某学科的新理论汇集整理成系统的基础理论,其署名分别为著和编著,虽然教材及其工具书有较大的实用价值,但不代表其科研成果的尖端水平,所以只能以编的形式出现很显然,学术专著比基础理论的含金量要多,著比编著的级别要高,著是作者在某个领域学术水平的最高体现,编则强调其发行量,所以应该给予著以较高的权重在同一本著作中,根据其署名进行评价,同时也根据获奖的情况给予适当的权重加值。
ﻭ (二)论文定量评价公开发表的论文是科研成果的主要表现形式,目前,ﻭ 对于论文的定量评价较为成熟,除了以国际或国内优秀的同行专家参加定性评价外,还有相对较为完备的论文定量评价标准,国内对论文成果的定量评价主要参考sci、ei、istp、a&hci、cscd、ssci、cssci、《中国人文社会科学核心期刊要览》、《全国中文核心期刊总览》、《中文社会科学引文索引》等作为论文、研究报告等成果的定量评价标准在这个基础上,论文定量评价根据期刊的影响因子及其论文成果的引用次数给予权重而对于论文的权重的定量数据主要是参考中国科学引文数据库出版的《中国科技期刊引证报告》和美国科学信息研究所出版的《期刊引证报告》(jcr),这些基本上可以涵盖高校论文形式的科研成果的定量评价情况ﻭ (三)科研项目定量评价科研项目的定量评价目前已经形成了约定俗成的标准,一般是按照项目的管理者级别或经费数额来定量的第一种情况,是按照项目管理者的级别可以分为国家级、省级、市厅级、校级等国家级项目的管理者一般是国家的职能部门,如全国哲学社会科学规划办公室、全国自然科学基金委员会、教育部、国家古籍委员会等,他们管理的项目有国家社科基金项目、国家自然科学基金项目、教育部重大教学研究项目、教育部社会科学研究重大课题攻关项目、国家古委会项目等。
省级、市级项目主要由省、市教育厅(局)、科技厅(局)、管理的项目,如省教育厅教学改革研究项目、省教育科学规划项目、市州科技计划项目及其它市厅局级项目等以此为基础,在完成情况项目及其获得奖励级再加权处理 (四)专利及其他成果的定量评价对于专利可以分为发明、实用新型和外观设计三种,其中发明专利是技术含量较高的一种,它是指对产品、方法或者改进所提出的新的技术方案,而它的申请量和授权量标志着一个地区技术发明的能力和水平仅仅依靠专利的种类无法对整个专利分区定量评价,目前,国家主要采取国际专利和国家专利大体区分专利的级别,并给予一定的权重,专利的标准不同于期刊,实际上不能严格区分专利间的差别,这是目前专利成果定量评价的现状对于其他形式的科研成果定量评价,几乎是以奖励的方式进行加权,因为科研形成成果的标志即是公开发表,无论什么形式的发表途径,如刊载期刊,出版专著、提交会议报告或会议论文等,最终是要社会公认的,所以其他成果基本包含于以上科研成果之中,需要补充地是有些成果是通过评选奖励、开发利用等形式表现出来的对于这些成果一般都有最为基本的定量标准 二、高校科研成果计量评价的难点ﻭ 高校科研活动的特点决定的科研成果的形式与定量评价的现状,随着高校教育的改革与发展,高校科研被提上日程。
如何细化科研成果定量评价成为高校科研量化管理工作的重中之重,首先要理清科研成果量化评价的难点,其主要表现在以下几个方面ﻭ (一)学科之间的定量评价高校科研量化评价研究最大的技术难点是不同学科之间的相互比较,不解决这个技术难点,量化评价就没有科学性[1]以相同计量方法去评价不同学科科研成果的水平显然是不科学的目前所用的定量评 价标准不但将自然科学、社会科学各自内部小学科之间揉杂在一起,而且也将两大学科也混合在一起尤其是自然学科和社会科学是科学研究的两大分支之间由于存在着各自的学科体系和特殊性,以计量的方法将两者比较,违背了社会科学与自然科学不可直接的对比性原则如目前高校所采用的国外四大检索系统(sci、ei、istp、isr)在计量评价研究存在厚理薄文现象,国际上这些检索工具大都偏重自然科学,且由于文化形态与中国的不同,对国内社会科学方面论文收录甚少,如果这样评价,则无法均衡自然科学与社会科学科研成果评价显然造成高校之间由于文理偏重引发的科研定量评价的不公正性,从而对学科的发展产生不利的影响,自然或社会科学内部的小学科之间虽然有同行评议的定性评价作为定量评价的补充,但是对于定量评价也没有统一的标准,不能体现学科之间的差异性。
ﻭ (二)科研成果之间的权重取值从目前的现状来看,科研成果的定量评价似乎走上了正规的道路,而且由于计量学科的发展,这种评价的科学性更加令人信服如科研论文成果评价指标已经发展到国外和四大检索系统和中国的cscd论文和引文,对于其他的成果,如专著、科研项目和专利等,也有相应的评价指标,如专著、编著、实用新型专利、外观专利、国家级奖励、省级奖励等多个指标,计量评价指标变得愈来愈多完备了但是在量化的细节上尚不成熟,如对学术论文、著作、科研项目、专利等不同形式的科研成果,或者对同一形式的不同级别的科研成果的权重取值是不统一的对不同形式的科研成果,权重取值有所差别是可以的,但却没有统一的标准,对同一形式的不同级别的科研成果虽然有相应的标准,但实践操作中却没有形成统一的量化标准,从而导致了评价过程的混乱和评价结果的不统一如何统一科研成果之间的权重取值成为高校科研成果计量评价的又一难点 (三)科研成果计量评价体系的构建ﻭ 科研成果评价体系的构建是一个系统的工程,它包括量化主体、量化标准、量化方式的选择及其量化指标的选择与处理等内容实际上目前对科研成果计量评价尚无完备的评价体系这主要表现以下几个方面,第一,计量评价的主体缺乏权威性。
科研管理者将计量的过程行政化,他们成为计量评价标准与方法的制定者,同时又是执行者,这些人员将学科专家剥夺了学科专家为计量提供参考的主体地位,造成科研计量主体权威性弱化不能正确地反映科研成果计量的科学性与公正性第二,计量评价的标准、方式及其指标的选择上参差不齐虽然在计量评价科研成果的标准、方式及其指标的选择上有很多尝试,如借有国内国际的科研成果的检索系统、科研项目的行政级别等、并且以科研成果的数量、价值等加权取值,但是在许多细节问题上还不能统一标准,难以构建完备的科研成果计量评价体系,如在选择科研计量评价的指标上,只重视研究成果,忽略了其它方面(如科研环境、课题经费等)对科研成果产出的影响的指标;在论著文献计量中,只重视价值论文,而忽视专著及其学术会议的成果影响;论著被引次数计量中,存在着过分自引,或恶性自引的现象,却无法在计量评价中妥善处理ﻭ 这些方面,尤其是计量主体、计量论著的数量、被引次数及其学术期刊的影响因子等细节严重影响着计量评价体系的构建,成为高校科研成果计量评价的一个难点ﻭ 三、高校科研成果计量评价的方法创新ﻭ (一)运用文献计量对学科间的科研成果进行评价。
学科评价方法有定性方法、定量方法、定性与定量方法相结合三类,对于本文所探讨的定量方法,可运用文献计量来进行学科之间科研成果的评价文献计量方法用于学科之间的评价可以弥补定性评价在内容上的局限,并为学科领域组织性、结构性提供较强的描述数据虽然文献计量方法对于社会科学与自然科学之间以及跨学科评价并不合适,但可以适当调整量化指标来补充评价的缺陷因此,设计制定计量指标对于合理使用文献计量进行学科评价显得十分必要目前,高校科研评价中主要是针对项目、机构的评价国家科研管理部门也应该制定规章制度,规范多头评价,制定各类学科评价的参照模版,高校科研管理部门在制定量化指标时,根据国家相关规章制度,为评价者提供可靠的学科差异及学科评价的相关信息,提高学科评价的规范性、可信性和可用性ﻭ 目前,国内学科评价还处于起步阶段,而以文献计量方法对学科之间科研成果进行评价是学科评价发展的重要阶段,在要方法上创新,解决这个难点,首先要以(cscd)、(cssci)等大型综合引文数据库和《中国数学文摘》、《中国物理文摘》等专业数据库为主,建立数据来源基础其次,制定合理的计量评价指标,如可以参考学科评价中代表性文献计量指标,制定本学科的计量评价指标。
如已有用于学科评价的较为成熟的cwts,它“旨在通过文献科学做的基于映射的文献计量研究这些指标已经深入研究学科的子学科和子领域[2]此外还有,比利时的mec(比利时政府用文献计量方法评估比利时微电子中心),这套指标是指向机构,同时也是指向微电子学科,主要特色是内容分析、聚类分析等高级文献计量指标;美国isi公司推出科学计量指标数据库(esi),“它分22个学科领域对国家、机构、期刊、科学家、论文进行了文献统计分析和排序[2]esi的学科评价的计量指标主要衡量学科内科学产出的数量与质量我们可以将这些指标综合起来参照,寻找适合自身学科计量的标准ﻭ (二)构建科研计量评价模型、解决科研成果计量评价的加权取值难的问题对个体科研业绩计量评价是高校科研评价的重要内容可借鉴国内外科研评价的经验,对科研成果的计量评价中,可以采用当量折算法,将个体的科研成果计算出来,使高校内部的计量评价标准统一起来,各个高校可根据自身的特点制定适合自己科研管理的评价模型,不能照搬其他科研机构或高校的评价模型因为不同形式的科研成果之间或者同一形式的不同级别的科研成果之间的加权是不同的造成计量过程的混乱,这种模型通过对个体科研成果的计量评价,反映个体科研业绩。
如构建以下的计量评价模型,计算公式:h=Σmi·α+Σji+Σmi·li·β在这个计算公式中,h代表某教师的科研成果计量评估的总分;mi代表某教师的标准科研经费;α代表科研经费折算系数;ji代ﻭ 表某教师科研成果奖励形式的评估分;mi、li代表某教师发表的论文数和相应的论文级别系数;β代表论文业绩折算系数; 。