同行评议有效吗基于有效市场假说的探究 张光耀 邵文君谢维熙姜春林王贤文（1.大连理工大学科学学与科技管理研究所暨WISE实验室，大连，116024；2. 荷兰马斯特里赫特科技创新经济研究院（UNU-MERIT），马斯特里赫特,6211AX；3.南京大学社会学院,南京,210046）同行评议没有确保完美，也不能确保完美：科学期刊记录的是已被完成的工作，不是记录被发现的真理如果荒谬地坚持高标准，科学受到的损害比得到的收获更多，这是以创新潜力为代价换取可靠性[1]——British Medical Journal前编辑 Stephen Lock1 引言同行评议有着悠久的历史，其主要是指某一或若干领域的专家采用具有普遍性的、客观的评价标准，共同对涉及相关领域的一项事物进行评价的活动[2-3]，其目的在于考察研究的可靠性，评估研究的创新性和重要性具体而言，同行评议一方面能够评估稿件与期刊的匹配度[4]，在文章质量掌控[5]、学术交流[6]中扮演着关键角色；另一方面则扮演着实现期刊审核程序正当性，结果的客观性的“黄金标准”的角色[7]因此，同行评议不仅关系到作者、期刊、乃至于整个科学领域的发展，甚至会在一定程度上影响社会的整体性发展[8]。
基于同行评议在科学评估和发展进程中的重要作用，其一直是学界关注的焦点与此同时，在期刊论文评审规范性不足、各类乱象频发的社会现实语境之中，同行评议作为国家科研评价改革的重要内容，对其的关注和研究有着重要的现实意义[9]就政策层面而言，在近年来颁布实施的中共中央办公厅、国务院办公厅《关于深化项目评审、人才评价、机构评估改革的意见》，科技部《关于破除科技评价中 “唯论文”不良导向的若干措施（试行）》，教育部和科技部《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》中，同行评议的作用被反复强调[10]在这一大背景下，探讨同行评议的有效性，对于同行评议制度的完善发展和公正有效的评议体系的运行有着重要的理论和现实意义有效性对于同行评议至关重要，然而回到学术视域中，长期以来，已有研究对于同行评议的有效性存在明显的争议[11]尽管有效性已经被部分经验研究所关注[12–14]，但是这一话题下的研究仍然集中在数据驱动，缺乏理论层面的探讨因此，在这一背景之下，作为同领域的研究者不得不去在现有研究中开展进一步的反思，探讨研究是否能够走出已有研究的争论与桎梏，并试图从一个更为系统性的视角出发，来重新检视和思考同行评议的有效性。
基于此，本研究试图从默顿的普遍主义出发，探讨同行评议有效性的来源，在梳理同行评议有效性相关研究的基础上，通过引入有效市场假说，尝试搭建有效同行评议假说，并进一步提出有效同行评议的三种形式一方面，本研究整合既有文献，搭建同行评议与文献计量内在关系的桥梁，并为未来研究提供参考另一方面，有效同行评议框架的构建有助于识别同行评议中的偏见，提升同行评议的公平和可靠性，旨在促进评议体系的完善发展此外，同行评议涉及人才项目、期刊论文等多个方面，已有的大量关于同行评议的争论主要集中在同行评议的有效性、评审专家的审稿成本与感受、同行评议的成本和延误[4]，而本研究将集中关注期刊论文同行评议有效性这一议题总体而言，本研究的核心观点是，同行评议的有效性是同行评议制度作用发挥的基础，而对于同行评议有效性的评价，需要从多元的视角出发而非局限于单一维度与此同时，研究不能够将同行评议的有效与无效放置在光谱的两端，以一种二分且对立的视角出发，从而掩盖了同行评议的作用机制发挥的复杂性特别是同行评议中广泛存在的各种特殊主义因素，包括审稿人的非理性、人情关系、审稿人的非共识等，都需要被纳入同行评议有效性何以实现的审视因素中。
2 文献述评2.1 同行评议无效论已有研究指出，针对同行评议有效性的质疑很大程度上源自审稿人的主观性，更确切地说是偏好[15]同行评议本身容易伴随偏见[16]，Shatz认为偏见主要包括个人偏见、从属关系偏见和思想偏见[15]，Lee将偏见来源归为对论文质量的误判、作者的社会特征、审稿人的社会特征以及论文的内容四类[17]总体而言，可以从外部的影响因素与关乎于文章自身的内在影响因素两个视角来审视同行评议的有效性为何难以实现从外在影响因素来看，首先，已有不少实证研究发现，科学家声誉对审稿存在潜在影响，一方面，即使在工作质量相同的情况下，顶级期刊的同行评审过程也有利于著名学者[18]，另一方面，当著名学者的文章遇到负面的审稿评价时，被编辑拒稿的概率与非著名学者相比更低[19]；其次，在性别和机构方面，审稿人可能会倾向于给男性作者的研究更高的评价[20]，例如Smart和Waldfogel进一步讨论了编辑部在论文发表中可能存在的“性别主义”现象，即编辑会优先发表男性作者的论文，尽管这些论文质量可能比不上女性作者的论文，在计量指标层面具体表现为男性作者论文的引文量显著低于女性作者的论文[21]。
同时，已有研究也捕捉到拒绝来自非一流机构的论文的倾向[22]，即名校效应此外，基于F1000 Research的公开同行评议数据的研究显示，审稿人也存在地域偏好[23]审稿人还会明显偏好网络（co-authorship network）中与自己更接近的作者[24]针对已有研究所揭示的影响同行评议有效性的外部因素，有学者认为双盲审稿在理论层面拥有默顿规范的支持[25]，在实证层面也不断地被检验[6,26]，因此，双盲评审被认为可以在一定程度上减少对作者个人和机构的偏好[22]但是，由于双盲评审一方面实施起来较为困难[27]，另一方面实际效果并不理想，因此这一先行的实验性解决方案也备受争议[28-29]从内在影响因素来看，思维层面的偏见通常是同行评议中最难以避免也影响最为显著的因素之一，已有研究发现，审稿人会对与自身观点相反的稿件产生强烈的偏见[30]，这一偏见被称为“确认偏误”[31]，持有偏见的审稿人缺乏认真了解文章研究逻辑的动机[32]，这导致部分创新型研究被扼杀，进一步导致同行评议面临着大量的批评[33-34]，同行评议的有效性受损更为重要的是，关于同行评议是否能够对论文的内容进行客观评价这一议题也存在争议[11,35]。
当前，期刊的拒稿原因常常集中于文章缺乏创新性、重要性不足、贡献有限、方法缺陷、文献综述不充分以及写作水平[36-37]等方面但同行评议仍难以实现高效的质量控制[38]，主要在研究中表现为并未成功筛选出存在明显缺憾、低质量的文章，也不能保证已发表论文的结果可以被重复[39-40]，即使是已经发表的论文重新投稿，也仍有可能被拒稿[41]与此同时，同行评议的筛选制度也难以实现论文重要性与期刊水平之间的最优匹配，虽然审稿人能在一定程度上识别研究价值，但也容易拒绝具有高学术贡献的文章[13]具体而言，已有研究证明，发表在非一流期刊上的论文可能获得更高的引文量[42]，被一流期刊拒稿的论文有可能在其他期刊获得更高引文量，如阿克洛夫和格兰诺维特极具影响力的研究都曾被学科内顶级期刊拒稿[43-44]对同行评议的争议也和科学整体发展水平有关，被期刊拒绝的诺贝尔奖级的发现凸显了学界的保守主义[45]，也从更为隐晦的视角反映了同行评议制度本身的有效性的存疑虽然，这种情况可能源自概率错判[46]，但却由于其影响深远给学界留下了深刻且持久的负面印象2.2 同行评议有效论对同行评议制度持乐观态度的研究者认为，与其他的替代性手段相比[6,47-48]，同行评议是最优的科学评估体系[49]。
已有研究基于大量的数据调查显示，一方面，同行评议可以在一定程度上确保文章的质量和可读性[50]，另一方面还能够检验研究结果的准确性、方法的适用性、结论的创新性以及与期刊的契合度[51]因此，同行评议被认为至少是“最不坏”的制度[52-53]，即在当前的科学评价体系中的最优选反之，如果期刊缺乏同行评议体系发挥对文章质量的把控的作用，该期刊将会对整体性的学术发展产生负面的影响[54]已经有不少实证研究证实了同行评议的有效性在早期的研究中，默顿基于对《物理学评论》的量化考察，发现同行评议基本上是遵循普遍主义规范的，其表现为审稿人所遵守的评审标准是相同的，并未受到作者的外在特征影响[55-56]与此同时，在更为宏观的数据分析中，Agha基于美国国立卫生研究院1980-2008年的13万个研究项目的评审分数，并进一步追踪了每个研究项目在受资助五年后的论文发表、被引与专利数据，发现被资助的项目评分每降低一个标准差，其被引减少15%，论文减少7%，高影响力论文减少19%，相关专利减少14%[14]，研究项目的初始评估水平与后期的研究成果及其影响呈现高度的一致性，从而论证评估体系的科学与有效性针对更为细化的研究议题的结论显示，研究领域、审稿人的性别对审稿意见的话语特征没有明显影响，即同行评议具有内在的稳健性[57]。
从单一的期刊维度来审视，已有研究调查了被JASSS（Journal of Artificial Societies and Social Simulation）拒稿的456篇文章的最终发表情况，发现只有10%的被拒稿件最终在被Web of Science索引的其他期刊发表，由此可见，学界的评审标准具有普遍性和客观性，同行评议能够形成较为有效的筛选机制，从而实现稿件质量总体性提升[58]与此同时，研究者也发现，在被NDT（Nephrology Dialysis Transplantation）直接拒稿的论文和经过评审后被拒稿的论文中，分别有59% 和61% 被其他期刊接受，但是，分别仅有4篇和7篇论文发表在影响因子高于NDT的期刊上[59]在针对引文量的比较研究上，在Anaesthesia上发表的文章的引文量显著高于被该期刊拒稿后在其他期刊发表的文章[60]基于Journal of General Internal Medicine的评审和被引数据的分析显示，引文量高的文章经过同行评议后更大程度上被保留下来，引文量较低的文章会被筛选掉，而且随着审稿人数量增加，评审准确度呈上升趋势[61]。
2.3 默顿规范与普遍主义默顿以经验研究为基础，将科学的核心规范总结为：“普遍主义”“公有性”“无私利性”与“有组织的怀疑”[55]其中，普遍主义与同行评议所具有的内在意涵非常贴近普遍主义强调科学面前人人平等，科研成果应根据其内在价值来衡量，应避免参与主体的个人感情和有关社会因素的干扰虽然科学家们认可普遍主义规范的价值，但是遵守和践行规范与在思想和态度层面认可这一规范之间存在着鸿沟[62]不仅于此，在时代流变之中，对于科学评价体系的透明度的需要日益提升在这一背景之下，长期以来如“黑箱”一般存在的同行评议体系如今不断面临着研究者的探究，研究所产生的对同行评议有效性的质疑也在不断冲击着普遍主义然而，默顿科学规范的理论立意依旧具有浓烈的结构功能主义色彩，其认为科学的运行逻辑恰如一个社会系统，在科学领域之中，存在着对于已有结构和体系的部分性偏离，然而，这种偏离被视为是一种偶然和特殊现象，科学的社会结构和功能基本上保持稳定[63]正是在这个意义上，虽然实践中不乏对于科学实践与规范的背离现象，但却难以推翻科学规范在全景视角下的适用性[63]与此同时，面对科学的不断进步与时代的变迁，默顿本人也承认：“不会坚持科学规范是一成不变的”[64]。
从更为建构主义的视角审视，科学规范的内在意涵取决于在社会变迁的背景之下，科学场域之中的行为者在互动与博弈之中对于规范的践行与阐释，因此，规范具有偶发性、情境性和权宜性[65]因此，本研究将在坚持普遍主义规范的核心意涵，即在对科学真理和客观性的探寻与坚持的基础之上，着眼于通过梳理当前同行评议研究的最新进展和趋势，试图以更为多元和复杂的视野，来重构同行评议的有效性假说2.4 同行评议与文献。