《浅析提高科技计划项目评审公正性的途径》由会员分享,可在线阅读,更多相关《浅析提高科技计划项目评审公正性的途径(2页珍藏版)》请在金锄头文库上搜索。
1、残斫 南 越 甄鱼 科技论坛 正性的逾径 科技计划项目评审是遵循一定的原则、程序和 标准运用科学、可行的方法,对科技计划项目的科 学性、可行性和经济性所进行的专业化咨询和评判 活动为决策提供参考意见。 科学性即符合科学技术发展的客观规律有 较高的科技水平研发风险与预期收益相匹配。可 行性,即符合当时当地的经济、社会条件,具备实施 该项科技项目的内部条件和外部环境。经济性是对 科技计划项目的经济效益和社会效益进行预测(事 先评估1或实际效益进行评价并进行投入效益分 析。 科技计划项目评审的特殊性 首先科技评审对象涉及较高的专业技术,因 此需要相应专业的评审专家才能给出专业性的评 价判断 而且由于
2、技术的快速发展,各研究方向不 断深入使得不同研究方向的专家之间难以正确了 解其他研究方向的细节。 其次科技计划项目的技术水平、研发风险及 预期效益等关键评审点都难以量化因此总体评 估还是以定性评估为主,定量为辅。一般能进行量 化的技术指标有专利数量、论文数量、研发人员及 获奖情况等经济指标包括固定资产、研发设备原 值、经费投入、产值及利税等。 科技计划项目评估的一般做法 将计划项目按行业分成若干组别根据各组行 业配备相应的专家(一般要求外地专家有一定比 例)。专家根据评审指标表。对计划项目进行评分。 评审组织形式包括网络评审、本地会议评审及异地 评审。 一般项目采用网上评审(医疗项目考虑熟悉者
3、 回避,采取异地评审方式),每组配备专家57人。 重大项目主要进行会议评审一般配备专家7-9 人。 专业分组和配备专家是评审组织工作的重点 彭顺昌 其科学与否对评审结果有一定的影响。 影响科技计划项目评估准确性的 关键因素分析 1不同组别之间专家的评分严格程度不一 专业的评审专家能有效区分出本组内各个项 目的等次这是对评审专家最基本的要求。也是整 个评估的基础。我们确信评审专家能做到这点。但 对于两个不同专业的项目组,由不同的专家组来评 审,其评审的严格程度很可能有不同。因此,可能出 现有些组得分都较高有些组得分都较低。 2同一组别中不同专家对项目中具体专业技 术了解程度不同 现今科技发展日新
4、月异交叉学科层出不穷 隔行如隔山的情形越发严重每个专家只可能精通 一两个专业方向其他专业方向只能做到一般了 解 在科技计划项目分组中,考虑到成本和可操作 性每一组一般要评估10个左右的项目具体专业 方向会有所不同。比如“射频识别”的分组中,就可 能包括射频识别芯片、软件、设备制造及产品应用 等多个专业方向 因此一般情况下也只能做到一 个专业方向配备有一两个精通此专业方向的专家 精通的专家和一般了解的专家所做的评分明显是 有不同的。 3评估过程中必然带有的主观性和偶然性 科技发展的突飞猛进和学科不断交又、渗透, 使得专家评议更趋困难对学术性和专业性很强的 科技计划项目评估来说尤其困难。即使处事公
5、正的 专家限于自身研究方向与评估对象内容的差异,以 及对评价准则的心理把握尺度不同做出判断难免 存在偏差。另外由于经费、同行专家数量等客观因 素的制约对同一科技计划项目评议的同行专家人 数有限。同时,存在个别专家评审不够认真等。因 此,出现个别异常评审数据等偶然现象并不少见。 科技论坛 而异常数据对评审结果会产生较大的影响必须予 以剔除 提高科技计划项目准确性的探讨 1降低组别之间的整体差别 理论上讲,全体项目的评分分布接近正态分 布,每个专业组的评分分布也是接近正太分布每 个组的平均分应该等于全体项目的平均分 从科技 管理角度看每个专业组就是一个科技拟予支持的 专业领域,评估就是为了选出每组
6、中将给予支持的 优秀项目,因此,一个组中得分第一的项目哪怕其 得分少于另一组的第二名,也应该先予以支持 类 似高考的分区域招生 因此,计算每组的平均数 和标准差仃每个 项目的得分换算为 组+n水 计算全体项目的平均数 所得替代上 式 然后换算各个项目最后得分 这样就将各 组的分数放在同一标准上使得全体项目的排名和 划定立项分数线更为合理 另外一种方法则是评估前先划分各组优秀、良 好、一般、较差的比例。并对各个级别的分数段进行 限定,比如90分以上为优秀。这样在评估前就对 各组的平均分有了一个大致的约束、也可以降低组 间的整体差别 2提高评审专家对其对口专业方向项目的评 分权重 一个专业分组中的
7、某个具体专业方向项目一 般只有12个专业对口的评审专家其他专家只 是一般了解。因此,对某一具体项目评审专家的评 分的重要性是不一样的 另外现在各地科技计划 评审大都采用网上操作评审专家之间没有互动 因此专业对口专家对其具体专业方向项目的评分 影响力降低了 为此。有必要提升专业对口专家对其具体专业 方向项目的评分的权重 科技评估组织单位在配备 专家的时候必须深入了解专业组内每个项目的专 业方向和评审专家的研究方向明确每个具体项目 的专业对口专家。在评估结束后计算项目得分时 提高专业对口专家的评分权重。比如一个项目专 业对口专家评分X,其他专家评分 :, 则得分 : -, 1et为权重、 根据每组
8、专家数量不同,调整适合的权重值。5 人的专家组其权重可取2。 3 除异常数据 对某个项目专家组的评分分别为 一,- (1)计算均值 也可以采用“去除最高分和最低分”的办法。求 得n一2个有效评价的均值。 (2)计算每位专家评分的标准差 和偏离差v 偏离差 选取准确度模型f(y)为正态分布。 )=去e ! 每位专家评价的准确度为 Ill, Pi=e 2一 (3)根据每位专家的准确度计算专家评价值 的加权平均 以各位专家评价的准确度为权重因子 计算加权平均值 实际工作中可以将偏离差v2或2或2的数值仅占总 数据量的46可以也必须予以剔除 结束语 本文从数据处理角度对科技计划项目评估提 出了改进途径还需要实际丁作中的总结和研究分 析。在具体工作中,还有很多方法用于提高评审的 科学性比如建立定量评估和定性评估结合的评价 指标体系、更多采用异地专家、重大项目评审视频 答辩、完善专家库,并建立专家信用数据库等。 科技评估方法口是评估活动所借助的基本手 段,现在更加注重的是评估与管理的有效衔接和有 效服务 所谓“面向结果的评估”才是科技评估的最 终追求 因此加强科技管理部门的宏观管理和指 导。才能使得科技资金更多投入到本市继续发展的 技术领域从而推动相关产业的发展,实现科技经 济的全面发展 (作者单位:厦门市科学信息研究院)