当前位置:首页 > 科研成果库

科研影响力评估:被引了四十二次的那篇论文,可能一次都没被读懂

2026-11-19 22:21:31小研科研成果库27

凌晨一点四十,仙林的风把梧桐叶吹了一地。我盯着屏幕上那张表——三千两百多篇论文,每篇后面挂着一个数字,标签写着“影响力分”。

需求方上一条消息是“能不能给个分数”,下一条是“这分数怎么算出来的”。说实话,后面那句才要命。

分数谁都能给,掷个骰子也叫分数。难的是让它经得起追问。表里有一篇,被引四十二次,我点开引用它的那些文章看了一圈,真正用上它方法的,大概三篇。

数引用,是这套活儿里到处是坑的一步

很多人对科研影响力评估的印象就停在一步:看被引次数。谁被引得多,谁的活儿就硬。这个直觉不算错,只是太糙。

糙在哪?引用发生的语境被整个丢掉了。

打个比方。引用这件事,像一个人在会议里被提到的次数。有人是正经介绍你的方法;有人只是顺嘴一提“某某那套我们也试过,跑不通”;还有人纯粹为了凑一段背景,把五篇文献堆在一句话后面。这些在文本上长得一模一样——被人形统计器一数,都是一次。

我们做数据清洗的时候,扒过一批参考文献的上下文句子,带明显批评倾向的引用句占比超过一成。这个数因领域而异,但反正不是零。也就是说,你数的那个数字里,混着一批“负号”。

更麻烦的是互引。几个人私下商量好,你的文章里塞我的,我的里塞你的。这玩法在文本上完全合法——引用没有真假,只有存在与否。所以单看次数,是在给一个可以被制造的东西打分。

学术论文参考文献引用上下文语义分类标注界面学术论文参考文献引用上下文语义分类标注界面

时间这根轴,比你想的难缠

再问一句:一篇2024年的论文被引五次,和一篇2015年的论文被引五次,是一回事吗。

当然不是。写作的人越年轻、文章越新,被读到的概率天然越高。所以像样的算法都会挂一个时间衰减项:越近的引用,权重越高。

那衰减函数选哪个?

指数衰减干净,好算,工程上特别好实现。但它忘得太快——十年之后基本归零。可学术史里偏偏有种东西叫“睡美人”。

意思是,一篇论文发表后长期没人搭理,过了一二十年,突然被大量引用。孟德尔那套遗传学的手稿,躺了三十多年才被人重新翻出来。物理、数学里这种例子一抓一把:某个公式比它的时代早太多,大家当时看不懂,等同行们追上来,才回头把它捧起来。

指数衰减遇上睡美人,等于直接判死刑。所以现实里更常见的是幂律衰减,尾巴拖得很长,慢一点,但不会把老文章一刀切掉。我在系统里最后用的是带截断的幂律——很老的引用还留一点权重,但不至于让二十年前的经典把所有新人压死。

工程上还有一堆琐碎事。同一个作者换过机构、改过拼写、甚至改过姓;引文的时间戳有错,有的录成了投稿年份;预印本和正式版算一次还是两次。这些不清干净,上面的算法再漂亮都是沙上塔。

睡美人文献被引次数随时间缓慢上升曲线图睡美人文献被引次数随时间缓慢上升曲线图

领域不同,尺子也得换

生物医学的论文引得快,两年之内就能看出苗头。数学不一样,一篇定理性的文章可能五年后才慢慢有人读、有人用。

拿一套绝对阈值去横切所有学科,等于用体重的标准去衡量身高。

做法是按学科、按发表年份做归一化:不看绝对次数,看它在同领域同年度那批论文里处在什么位置。听着挺简单,落地的时候学科分类本身就是个吵架的源头——一篇做类脑芯片的论文,算电子,还是算神经科学?两边归一化的结果能差出一截。

我们后来干脆允许一篇论文挂多个学科标签,按权重分摊。麻烦,但比硬塞一个类别诚实。

换个信号:脚印不止留在参考文献里

引文有个硬伤——慢。

从投稿到被引,中间隔着审稿、出版、再被别人读到、再被别人写进自己的文章,一两年是常态,三五年不稀奇。你拿它评估一个刚起步的团队,基本等于用去年的天气预报指导明天的婚礼。

所以这几年代替性计量被拉进来补位:下载量、收藏、新闻提及、政策文件引用、专利引用、临床指南采纳……这些信号快、杂、噪声大,但能填上引文滞后的那段空白。

别把它们当成更硬的证据。下载量高,很可能只是标题起得好;一条微博转发破千,也说明不了任何学术问题。

真正有分量的补充是专利引用和政策、指南层面的采纳。那意味着有人拿这个东西去用了,而不只是看见了。被看见和被使用,中间隔着一条河。

科研评估替代计量指标数据监测面板截图科研评估替代计量指标数据监测面板截图

说到底,它是个脚印计数器,不是体重秤

说到底,它是个脚印计数器,不是体重秤说到底,它是个脚印计数器,不是体重秤

有个绕不开的老问题。指标一旦变成目标,它就不再是好指标。

为了刷引用,有人组引用联盟;有期刊编辑在审稿意见里明示作者“建议补引本刊近期文章”;甚至有团队专门写综述去喂自己的引用池。这些手法不难识别,但识别成本高,而且总有人愿意付这个成本。

还有个更朴素的边界:影响力不等于质量。

一个有影响力的错误结论,引用数一样能上去,甚至更高——因为大家要反驳它。这时候数字反映的是“争议度”,不是“正确度”。

所以我现在做科研影响力评估,心里那根弦一直绷着:我是在拿一个代理变量,去猜一个看不见摸不着的东西。代理变量天生带噪声,而且噪声的分布还不均匀——冷门领域、非英语写作、早期研究者,天生吃亏。

工程师能做的不是把噪声消除,那消不掉。能做的是把噪声有多大、在哪儿大,老老实实写进文档,写进那个数字旁边的注释里。

天快亮的时候,我把报告开头加了一句话:此分数只反映引用行为,不代表研究质量。

需求方大概不爱看这句。

但这句话,比分数本身重要。