别再唯论文论:科研成果的综合绩效评价到底该怎么落地
前阵子去参加南方某高校的科研成果评审会,坐我旁边的退休老教授翻完手里的评分规则,直接把钢笔“啪”地按在桌上,嘴里嘟囔了一句。什么狗屁综合绩效评价。
我凑过去一看,哦,原来他们单位新改的评价体系,把成果分成了论文、专利、课题、转化、社会效益五个维度,每个维度分三六九等打满分,加起来排序。可那栏“社会效益”,满分二十分,评分标准只写了“由评审专家组酌情给分”。说白了,就是给领导留的操作空间。
去年山东一位做作物育种的青年学者,把自己培育的高抗高产小麦品种推广了近三百万亩,给农户增收超过两个亿,成果转化一分不少拿,结果就是因为发的论文影响因子不够高,总分排在申报名额之外,连答辩的机会都没捞着。换你你服气吗?
太坑了。
科研单位传统综合绩效评价打印打分表
这样的评价体系,能评出什么好东西?年轻人都学精了,要拿高分就得多水论文,多凑专利,谁愿意沉下心花三五年做一个没人能保证出成果的应用研究?说实话,换我我也不干嘛。
中科院科研分类综合绩效评价指标框架
基础前沿类就看有没有重大原创成果,同行评议占七成以上,不数论文数。战略高技术类就看有没有突破卡脖子核心技术,有没有给国家重大工程做支撑。成果转化类就看转化收入和产业带动效应,顶刊论文再多没用,出不来效益就是不合格。
改完之后效果有多明显?去年我去中科院深圳先进院调研,所里做转化的年轻人,现在根本不用抽时间水论文,大部分时间都泡在合作企业的车间里调参数,前年一年的成果转化到账收入就突破了十个亿,比改之前翻了一倍还多。这才是综合绩效评价该起的作用啊。
不过话说回来,分类说起来容易,落实起来难。很多单位领导就怕分类之后有人说不公平,说为什么他的指标跟我的不一样,干脆搞一套统一打分表,谁分高谁上,看起来公平公正,其实就是懒政。对吧?你连分类的勇气都没有,还谈什么改革评价体系?
落地综合绩效评价,这三个坑一定要绕开
这些年我接触过不少科研院所改评价体系,踩过的坑一抓一大把,挑三个最常见的给大家提个醒。
第一个坑,就是过度量化,所有价值都要换算成可计算的分数。很多管理者就喜欢量化,觉得看得见的数字才公平,可真正有价值的成果很多时候是没法量化的。一篇开辟了新研究方向的论文,比十篇跟风灌水的顶刊价值大一万倍,你按影响因子加总,灌水的反而分更高,这不就是颠倒黑白吗?
第二个坑,不敢放权,同行评议永远是陪衬。很多单位改体系,嘴上说要发挥同行作用,结果同行评议的权重只占百分之二三十,大头还是量化指标,怕同行偏心,怕有人找关系,可你不让懂行的人说话,外行人拿着打分表能算出什么好坏?
第三个坑,只看最终结果,不承认过程的价值。很多重大科研项目,五到十年才能出成果,前几年根本拿不出像样的成品,要是每年都按结果打绩效,谁还敢碰这种长周期的大项目?我前两年认识一个做航空发动机高温叶片材料的团队,整整十二年才拿出符合国家标准的合格样品,前面十一年的年度绩效全都是“合格”,从来没拿过“优秀”,团队里熬不住走了三个青年博士,想想都觉得可惜。
其实绕开这三个坑说难也不难,核心就是把评价的权力还给懂行的人,把价值判断还给对应领域的规则,不要为了管理方便,牺牲评价本身的准确性。
广东这两年给省属科研院所放权,允许院所根据自己的研究领域定评价规则,只要公开公示没问题,上级主管部门不干预,这两年出了好几个解决卡脖子问题的成果,转化率比原来涨了快四十个百分点。你看,只要路走对了,效果自然就出来了。
现在整个科研圈都在转风向,从追数量到拼质量,从论文导向到贡献导向,综合绩效评价本来是用来纠正歪风的好工具,别让懒政和旧思维把经念歪了。真要想产出好成果,就得先有能评出好成果的评价体系,不是吗?
很多单位的综合绩效评价,本质是换皮的旧KPI
现在从上到下都喊着要破“五唯”,原来唯论文那套说出去不好听,很多单位就换了个壳,攒出个“综合绩效评价”。听起来高大上,实际上还是换汤不换药。原来按论文数排名,现在把论文、专利、项目这些东西各自给个权重加起来,还是按分数卡人。甚至比原来更麻烦。 你要真综合也就算了,很多单位所谓的“综合”,就是把不好量化的软指标随便写上去,最后权重还是向能数得清的论文课题倾斜,本质还是原来那套味道。
科研单位传统综合绩效评价打印打分表
这样的评价体系,能评出什么好东西?年轻人都学精了,要拿高分就得多水论文,多凑专利,谁愿意沉下心花三五年做一个没人能保证出成果的应用研究?说实话,换我我也不干嘛。
真正的综合绩效评价,核心是分类,不是加权求和
不少做科研管理研究的人早就说透了,综合绩效评价这六个字,重点在“综合”,错不在综合,错在大家理解错了综合的意思。很多人以为综合就是把所有指标加起来,不对。 真正的“综合”,是综合区分不同成果的价值属性,分类评价,不是把所有价值都折合成统一分数相加。 做基础研究的,人家本来就是坐冷板凳搞原创,你非要拿转化效益卡人家,这不胡闹吗?做应用研究的,就是给企业解决实际问题,能帮企业省下几百万成本,多出好几个亿的营收,你非要拿影响因子挤兑人,这不有病吗? 今年年初科技部重新明确了科研评价的导向,核心就是分类分层,突出实际贡献。国内现在走得比较靠前的就是中科院,早在两三年前就把全院的研究所分成了四类:基础前沿类、战略高技术类、社会公益类、成果转化类,每一类的评价逻辑完全不一样。
中科院科研分类综合绩效评价指标框架
基础前沿类就看有没有重大原创成果,同行评议占七成以上,不数论文数。战略高技术类就看有没有突破卡脖子核心技术,有没有给国家重大工程做支撑。成果转化类就看转化收入和产业带动效应,顶刊论文再多没用,出不来效益就是不合格。
改完之后效果有多明显?去年我去中科院深圳先进院调研,所里做转化的年轻人,现在根本不用抽时间水论文,大部分时间都泡在合作企业的车间里调参数,前年一年的成果转化到账收入就突破了十个亿,比改之前翻了一倍还多。这才是综合绩效评价该起的作用啊。
不过话说回来,分类说起来容易,落实起来难。很多单位领导就怕分类之后有人说不公平,说为什么他的指标跟我的不一样,干脆搞一套统一打分表,谁分高谁上,看起来公平公正,其实就是懒政。对吧?你连分类的勇气都没有,还谈什么改革评价体系?
落地综合绩效评价,这三个坑一定要绕开
落地综合绩效评价,这三个坑一定要绕开
这些年我接触过不少科研院所改评价体系,踩过的坑一抓一大把,挑三个最常见的给大家提个醒。
第一个坑,就是过度量化,所有价值都要换算成可计算的分数。很多管理者就喜欢量化,觉得看得见的数字才公平,可真正有价值的成果很多时候是没法量化的。一篇开辟了新研究方向的论文,比十篇跟风灌水的顶刊价值大一万倍,你按影响因子加总,灌水的反而分更高,这不就是颠倒黑白吗?
第二个坑,不敢放权,同行评议永远是陪衬。很多单位改体系,嘴上说要发挥同行作用,结果同行评议的权重只占百分之二三十,大头还是量化指标,怕同行偏心,怕有人找关系,可你不让懂行的人说话,外行人拿着打分表能算出什么好坏?
第三个坑,只看最终结果,不承认过程的价值。很多重大科研项目,五到十年才能出成果,前几年根本拿不出像样的成品,要是每年都按结果打绩效,谁还敢碰这种长周期的大项目?我前两年认识一个做航空发动机高温叶片材料的团队,整整十二年才拿出符合国家标准的合格样品,前面十一年的年度绩效全都是“合格”,从来没拿过“优秀”,团队里熬不住走了三个青年博士,想想都觉得可惜。
其实绕开这三个坑说难也不难,核心就是把评价的权力还给懂行的人,把价值判断还给对应领域的规则,不要为了管理方便,牺牲评价本身的准确性。
广东这两年给省属科研院所放权,允许院所根据自己的研究领域定评价规则,只要公开公示没问题,上级主管部门不干预,这两年出了好几个解决卡脖子问题的成果,转化率比原来涨了快四十个百分点。你看,只要路走对了,效果自然就出来了。
现在整个科研圈都在转风向,从追数量到拼质量,从论文导向到贡献导向,综合绩效评价本来是用来纠正歪风的好工具,别让懒政和旧思维把经念歪了。真要想产出好成果,就得先有能评出好成果的评价体系,不是吗?