关于文章评价的另类探讨

《关于文章评价的另类探讨》由会员分享，可在线阅读，更多相关《关于文章评价的另类探讨（1页珍藏版）》请在金锄头文库上搜索。

1、32012 年 7 月 3 日星期二Tel押 （010） 62569455主编： 张其瑶 校对： 么辰E-mail押网 谈影 响 因 子 评 价 与 学 术 评 价姻 肖 建 华今天 （6 月 29 日） 凌晨 1 点， 2012 JCR （2011 年期刊引证报告， SCI 期刊影响因子编者 注） 新鲜出炉， 我大概浏览了一下， 发现上周我 预测的几个杂志的影响因子基本准确，错误范 围都没有超过 6%。随后就收到一些杂志的影响 因子告知信。说明杂志目前对这个指标是非常 重视的。 学术界都十分清楚的是， 杂志影响因子和具 体某篇论文没有直接关系， 但自从影响因子问世 后， 随着名气的增加， 影

2、响因子这个笼罩在科研 人员心灵空间的心魔一直在影响着科研人员的 投稿取向。我们从一些杂志的影响因子现象中， 可以隐约看见这个无形的影响力。 作为一个普通 的科研人员， 你可以不关心影响因子， 但影响因 子会影响到你的行为。 最近我作了一个初步的网 络调查， 发现绝大部分人尽管不是非常但都比较 关心影响因子， 无论是主动还是被动。 由于杂志主办者都非常清楚影响因子的重 要性，必然有一些杂志善意或恶意地炒作影响 因子， 其中合法或半合法手段包括以下这些。 一、 大量发表综述。几乎所有以发表综述为主的杂志影响因子都比较高，其原因是综述本 身属于次级文献，一篇综述中所涉及的问题一 般都会远远超过论著，

3、除非像 Cell、 Nature Med 这样的著名杂志上的论著也会是非常系统全面 的工作，一般杂志上论著都无法和综述所论述 的问题比拟。单从参考文献引用的数量就可以 明显区分。另外参考文献数量也会影响被引用 几率， 一般来讲， 作者很习惯和关注那些引用自 己论文的其他论文，也更容易引用曾经引用自 己文章的文献。简单地说， 一篇文章的参考文献 越多， 越容易被其他作者引用。 二、 大量发表 Letter。 计算影响因子的时候， Letter 类文章可以贡献引用次数， 但不作为文章 数量计算， 因此如果一个杂志大量发表 Letter 类 文章， 必然导致影响因子的大幅度提高。这种情 况在 Nat

4、ure、 Science 和 Nature 系列期刊中广泛 采用。例如 Nature Medicine 杂志 2011 年发表的 论著和综述论文总数量为 221 篇，而 Letter283 篇， 2012 年该杂志的引用总次数为 1546， 其中论 著综述类论文的引用次数为 1348，超过 15%是 非论著综述类论文的贡献。不过这也不能怪这些杂志， 在影响因子出名以前， 他们的前辈一直 是这种发行模式。 三、 强制引用。就是杂志给作者一个硬性规 定， 或者暗示作者多引用自己杂志的文章， 这显 然可以把引用次数提高上去。 四、 名声效应。如果说前面一些手段大家过 去讨论的比较多，这种名声效应似乎

5、没有很多 讨论。 这方面的例子其实很多， 例如 Nature 系列 杂志， 几乎每个新的杂志都会受到学者的追捧， 影响因子都节节高升。2010 年才发行的 Nature Communications 杂志， 2012 年影响因子已经超 过 7。当然这些著名的出版集团， 对论文的审核 也足够严格严谨，这也是这些杂志影响因子比 较高的重要原因。 影响因子本身已经成为一个不可忽视的重 要影响因素， 可以这么说， 同样档次的杂志， 如 果影响因子比较高，作者投稿的意愿会增强， 这成为该杂志提高内在质量的重要前提。 有一 个 非 常 有 名 的 杂 志 INTERNATIONAL JOURNAL OF

6、CARDIOLOGY， 甚至被认为是 影响因子绝对的恶意炒作高手。 但是你又不得不承认， 该杂志的影响因子逐年增加， 也就是 说， 正是因为影响因子影响到投稿质量， 可以 说这个杂志通过这样的手段抬高了自己的身 价， 获得了成功。 这 个 曾 经 被 广 泛 声 讨 的 INTERNA- TIONAL JOURNAL OF CARDIOLOGY 杂 志， 其影响因子 2006 年后分别是 2.234、 2.878、 3.121、 3.469，随后迅速提升到 2010 年的 6.8， 2011 年的 7.078。如此短的时间内， 这个杂志的 影响因子可在合法的情况下突飞猛进， 上述手段 几乎都被

7、充分使用。 杂志本身对影响因子也十分在意， 例如笔者 前几天就收到一封来信， 描述自己杂志 Antioxi- dants & Redox Signaling 分数连年攀升的好消息。 并为一本新杂志被加入数据库而高兴。 所以大家出来混， 多是图热闹， 杂志和生意 一样， 没有人气就没有生意。这个杂志至少用生 动的事实给大家上了一堂生动的影响因子喜剧。 因此说，我等俗人千万别拿影响因子不当回事。 它影响着你我他， 全世界学术领域均无例外。 （http:/ 孙学军）本期关键词： 影响因子无论是用 SCI、 EI 还是用 影响因子等计量性指标来进行 学术成就的评价， 如果只是就其 本身的合理性来争论，

8、 可能不会 有任何结果。 就外行决策来看，对投资 方而言， 如要对某个研究项目投 资，他当然关心有关人员的 SCI、 EI、影响因子等计量性指 标。如果有多个可供选择的群 体， 一般地说是选在指标上有优 势的群体。 这是无可厚非的选择。因 而， 就外行决策来看， 对投资方 而言， 这是合理的决策。 因而也就不难理解，无论 科技界如何批评这类办法， 这种 评价还是在进行。 就内行决策来看，如要对 某个研究项目开展研究， 最一般 的选择是采用“专家评论” ， 或 “同行评议” ，或其他类似的办 法。 这两类评判方法各有优 势。 但都有大的缺陷。 因而， 很多 情况下是分别进行。 在我国，出现的主要

9、问题 是：“专家评论” 本身采用的方法 也是用 SCI、 EI、影响因子等计 量性指标来下结论。 这样，独立于计量性指标 评价的 “专家评论” 或其类似的 “同行评议”办法在本质上并没 有实行。 我想，这才是真正的缺陷 所在。 就推动国家的科学进步而 言，“专家评论” 或 “同行评议” 在 研究项目决策和研究项目投资上并没有发挥其应 有的作用， 而是用 “专家评论” 或 “同行评议” 的名义 搞基于 SCI、 EI、 影响因子等计量性指标的评价。 大家批评的应是这类问题。 我关心的论题是：出于各位专家对各自所在 单位的利益的考虑，出于各位专家对各自所在地 区的利益的考虑，出于各位专家对各自所在

10、学科 地位的考虑， 这样的 “专家评论” 或 “同行评议” 能否 为研究项目决策和研究项目投资决策作出客观的 评价。 事实上， 对很多单位、 许多行业， 能否有效地 组织和实现 “专家评论” 或 “同行评议” 已经成为一 个很现实的问题。 （http:/ 肖建华）18DALU 没搞错吧， 投资方关心 SCI和 EI？ 投资产品项 目关心 SCI？ 别侮辱人家投资人的智力！ 只有花国 家的钱投资 “重点” 实验室才会关心一下吧？ 应该是不学无术的官员们行政管理的需要 吧， 尤其是不需动脑筋的简单化管理的需要吧。也 就是拿来做评估排名用、 汇报政绩用。15yl 有些人为发 SCI 论文， 不惜重金

11、， 把国家有限 的科研经费浪费在谋个人名利，把科研的目标定 在发文章。10liuliu 现在的同行评议很难公平、 公正， 客观的量化 评价还合理一些。9杜江平 评价只是一个方面而已。7徐耀阳 作者写得好。 我觉得嘛， 要是 SCI文章毕竟通 过国际评审， 相对比较公平。专家评审， 在国内要 么同行相轻； 要么就是利益集体， 相互保护， 很难 做到客观的评价。6许浚远 国内 “专家评论” 不独立是因为没有水平或心 态， 或两者兼而有之。5陆建飞 引用率， H-index 就是在国外也是很讲究的， 也被认为是衡量科研及科研项目水平的非常重要 的标志。 但国外对影响因子强调得不多。 在国内目 前的学

12、术腐败情形下，唯一的途径就是弱化专家 评议， 强调客观的引用率和 H-index。目前引用率 和 H-index 在国内是讲得太少了，这为各种学术 腐败提供了方便， 可以说， 引用率 （非华人引用率） 和 H-index 是真专家和伪专家的试金石。每年 6 月底， 科研工作者都对新的 SCI 影响 因子 （IF） 充满期待， 期待自己所发表论文的杂志 影响因子有大幅度上升。 评奖、 评职称和年底总结的时候， 大家都要 在统计 SCI 论文上花费不少功夫。有些统计看 得人眼花缭乱。比如， 有些单位需要将年度发表 的所有 SCI 论文的影响因子加和，更有甚者还 要求将论文被引用杂志的影响因子加和，

13、不知 道这后一种统计方式想说明什么问题。 不同学科在用 SCI 的影响因子进行比较 时， 发现可比性很差， 于是中国科学院文献情报 中心按年度和学科根据影响因子对刊物进行了 4 个等级的划分， 这就是 JCR 期刊影响因子及分 区表 。分区表本质上仍然是杂志影响因子的简 单归类，只是因为在不同学科之间进行区分， 所 以显得更 “合理” 一些。但是， 不管是影响因子还 是分区， 都是对杂志影响力 （被引用频率） 所进行 的评价， 与作者个人发表论文的水平有何相干？ 也许有人争论说，在高影响因子杂志上发 表论文， 难度要大一些。也许总体上是这样， 但 有时候我们也见到许多反例（许多人都有类似 的经

14、历） ，投稿一个低影响因子的杂志没有中， 而转投高影响因子的杂志却被录用了。所以在 后面的探讨中， 为了便于说明问题， 将排除 Sci- ence、 Nature、 PNAS 等这类与具体专业无关的高级科普杂志。 尽管文章水平与杂志的影响因子有一定的 关联， 但这种关联并非那么强烈。一个杂志的影 响因子是一定时期内其所有发表论文受到关注 程度的整体体现， 这在统计学上用于说明杂志的 水平是非常有意义的。但如果评价单篇论文水 平， 简单地用杂志的水平来代替显然是错误的。 现在有许多人建议，用单篇论文的引用率 （引用次数） 来进行评价。不得不说， 这在评价上 是一个巨大的进步。为了排除一些作者为了

15、人 为增加这个数值而疯狂自引的情况，许多评价 体系中规定只统计他引的次数。如果割裂开其 他的因素， 仅仅谈引用次数， 看似也并不合理， 因为有许多因素会影响这个数据。 （1）与杂志本身被其他同行和作者获取的 程度有关。容易获取的杂志， 相对被引用的可能 性增加； 高影响因子的杂志， 得到关注的可能性 增加， 被引用的机会也增加。影响因子高， 有多 方面的原因， 特别是现在， 杂志在后台的一些非 法或者合法的商业运作也是一个非常重要的因 素，有时候甚至与主编的办刊思想有很大的关 联。无论如何， 发表在这些高影响因子杂志上， 作者的研究会受到更多关注，也有了与更多同 行进行交流的机会，因此应该鼓励

16、大家尽量在 高影响因子杂志上发表论文。（2） 与论文发表的时间有关。对于一些热门 的研究， 文章早一期出来与晚一期出来是有很大 差别的。论文发表被引用一般存在一定的时滞和 变化规律， 一般刚开始的引用率增加很慢， 随之 是一个高速增长过程， 然后维持这个速度一段时 间 （可长可短） ， 或者之后进入下降阶段。在不同 时间阶段统计， 这个差别是很大的。因此， 仅仅统 计年度引用次数进行比较是不太精确的。 （3）与杂志是否采用电子版并优先发表有 关。有些杂志， 只要接受了， 就采用电子版的方 式将稿件发表出来；有些要生成最终出版样式 的 PDF 文件，以 Advance Access 的方式发表出 来；还有些杂志要实物杂志出版印刷后才发布 电子版， 或者完全没有电子版。 要消除这些无法公平比较的问题，我想到 了一个 “另类” 评价法： 先对作者发表的每篇文 章与本刊物同期发表的所有论文的均引用数进 行比较， 获得评分， 然后将