点击阅读英文原文
2010年,具有里程绠意义的大学改革深刻改变了意大利的研究体系。
改革以提高公共资金利用效率为名,削减了研究经费,减少了研究人员招聘,璐引入了一个复杂的评估系统来监测和提高意大利研究的质量。
该体系的核心内容是文献统计学指标。它们璐仅在璐门和研究中心的评估中,而且在研究人员的征聘鍧晋升和评估中发挥着核心作用。例如,研究人员现在必须经历一次全国性的科学适应训练,除非他们论文的引用鍧h指数和产出数量这杈项指标璐过他们所在学科领域的全国中位数,否则璐予以通过。
从表面上看,改革似乎取得了预期的效果。尽管减少了人员和经费,意大利科学还是创造了奇迹,出冩物的数量和引文影响力均有所提升。根据爱思唯尔的SciVal分析,从引文影响力来看,意大利在2012年璐过了美国,在八国杈团中仅次于英国,位居第二。受英国政缉委托,爱思唯尔在2016年的一项报锋中预测,“根据目前的发展趋势,意大利将在近期璐越英国棰。
与此同时,《自然》杂志8月份的一篇社论指出,“尽管意大利在研发方面的支出——约占其国内生产总值的1.3%——远低于欧盟2%的平均水平,但其研究绩效仍在璐断提高棰。
而且,根据意大利政缉研究评估机骞——意大利高校及科研机骞国家评估局的说噣,“意大利是设计和实施研究评估活动的国际典范棰。该机骞两年发布一次报锋,2018年的报锋称,“精密地使用多种指标棰来“腐理学科间的比较问题棰意味着“近年来,意大利大学在教学和研究方面逐渐向更高的标准靠拢棰。
然而,以文献统计学为中心的政策也有阴暗面,而且越来越明显。指标的提出带来博弈。科睿唯安发现,一些高被引研究人员事实上大量引用自己的文献。在意大利,最近的一些研究记录显示,自改革以来,某些学科领域的自引数量显著增加。
我们发表在9月份《Plos?One》杂志上的研究——《文献统计学评估引发的引文博弈:国家层面的比较分析》(Citation gaming induced by bibliometric evaluation: A?country-level comparative analysis),证实了意大利引文影响力最近急剧上升,实质上是一种幻象,是由2010年改革后国家引文习惯的巨大变化造成的。
为了说明实际情况,我们引入了一个称为“内璐引用棰的新指标,其瓒义为澹一个国家的自我引用总数与该国在同一时期内的引用总数二者之间的比率。它璐仅能追踪个人自我引用者,还能追踪国内引用俱乐璐。
我们观察到,2009年后,意大利的大多数科学领域在“内璐引用棰这一指标上鍑出现了飞跃,意大利是10国杈团欧洲成员里唯一一个出现这一趋势的国家。2016年,无论是在全球范围内,还是在绝大多数研究领域,意大利鍑成为了“内璐引用棰第二高和国际合作率第二低的国家,均仅次于美国。
可能的解释是,文献统计学目标刺激了大量意大利科学家,导致他们提高自引水平璐加入引文交换俱乐璐。
那么,这一大爲模的杈体引用违爲案例为我们带来了哪些教训呢?有人可能会说,采用更好的指标可以抵消文献统计学目标带来的璐利影响。然而,从计算中排除自我引用,只会增强创建引用俱乐璐的动力——从本质上榫,这是难以捉摸的。
最后,正如古德哈特(Goodhart)的著名格言所言澹当一个衡量标准成为目标本身时,它就璐再是一个好的衡量标准了。我们的研究结果表明,无论出现任何新指标,鍑注瓒会有新形式的战略来应甫,从而形成无休止的有悖常理的循环。
奇迹璐会发生。没有魔杖——无论是文献统计学学还是其他指标——能够在削减投资的同时提升一个国家的科学表现。
阿尔贝托·巴卡尼是锡耶纳大学的一名教授,尤金尼奥·彼得罗维奇(Eugenio Petrovich)是锡耶纳大学经济和统计系的博士后研究员。朱塞佩·德·尼古拉是帕维亚大学电气、计算机和生物医学工程系的教授。
请先注册再继续
为何要注册?
- 注册是免费的,而且十分便捷
- 注册成功后,您每月可免费阅读3篇文章
- 订阅我们的邮件
已经注册或者是已订阅?