苗建军 王擎 张彤:关于我国学术评价体系的反思及建议

选择字号:   本文共阅读 158 次 更新时间:2021-03-17 01:19:59

进入专题: 学术评价体系  

苗建军   王擎   张彤  

   本文选自《经济学报》2020年第四期(P214-226页)

   摘 要 教育部爱游戏捕鱼、科技部印发《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》爱游戏捕鱼,要求规范各类评价工作中SCI论文相关指标的使用,鼓励定性与定量相结合的综合评价方式,探索建立科学的评价体系。目前我国学术评价体系体现出三个突出问题:第一,SCI至上;第二爱游戏捕鱼,缺乏分类评价体系爱游戏捕鱼;第三爱游戏捕鱼,同行评价活动不完善。本文对我国目前学术评价体系的现状和问题作了分析,对比了文献计量、替代计量(Altmetrics)和同行评议等学术评价方法的优劣,同时对国外学术评价体系作了分析爱游戏捕鱼,最后提出了完善我国学术评价体系的设想。从评价体系上可以借鉴英国的REF(Research Excellence Framework爱游戏捕鱼爱游戏捕鱼,科研卓越框架)爱游戏捕鱼爱游戏捕鱼,同时引入替代计量作为文献计量的补充爱游戏捕鱼,引入区块链的技术爱游戏捕鱼爱游戏捕鱼,解决同行评议活动中可能的主观性和道德风险问题。

   关键词 学术评价;文献计量;替代计量;同行评议

   1 我国学术评价体系的现状及问题

   学术评价爱游戏捕鱼,就是一个权威学术主体按照公正公开的程序,使用科学的方法爱游戏捕鱼爱游戏捕鱼,对它所掌握的一系列评价信息进行科学的处理,进而得出评价的结论(高健和何美菊,2015)爱游戏捕鱼。学术评价需要一整套完善的学术评价体系爱游戏捕鱼,客观公正的学术评价体系对于科研人员爱游戏捕鱼爱游戏捕鱼、高校爱游戏捕鱼、科研院所爱游戏捕鱼,乃至国家均具有重要的意义爱游戏捕鱼。教育部、科技部印发《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》(以下简称《意见》)爱游戏捕鱼爱游戏捕鱼,要求规范各类评价工作中SCI论文相关指标的使用爱游戏捕鱼,鼓励定性与定量相结合的综合评价方式爱游戏捕鱼,探索建立科学的评价体系爱游戏捕鱼。这说明目前我国目前的学术评价体系虽然在一定阶段促进了我国的学术发展,但是也暴露出一些弊端爱游戏捕鱼。目前我国学术评价体系中存在的突出问题主要有SCI至上,缺乏分类评价体系爱游戏捕鱼爱游戏捕鱼、同行评议活动不完善三个问题。

   1.1 SCI至上

   SCI(Science Citation Index爱游戏捕鱼,科学引文索引)是国内外广泛使用的科技文献索引系统爱游戏捕鱼爱游戏捕鱼,其本质是一个文献索引系统,而非学术评价系统爱游戏捕鱼。其主要作用是通过统计论文的研究领域、方向爱游戏捕鱼爱游戏捕鱼、被引频次,为科技工作者查阅最新文献爱游戏捕鱼、跟踪国际学术前沿和科研工作提供帮助。SCI论文是发表在SCI收录期刊上的论文,相关指标包括论文数量爱游戏捕鱼、被引次数、高被引论文、影响因子爱游戏捕鱼爱游戏捕鱼、ESI(基本科学指标数据库)排名等爱游戏捕鱼,不能简单地把SCI论文等同于高水平论文。比如SCI论文的引用数量反映的是论文受关注情况爱游戏捕鱼,而不能对应于创新水平和实质贡献爱游戏捕鱼,高被引论文更多反映的是学术研究热点爱游戏捕鱼爱游戏捕鱼,但并不直接说明其创新贡献爱游戏捕鱼。SCI数据库收录的论文不可能都是高水平,影响因子受许多非学术因素影响爱游戏捕鱼。很多情况下,SCI并不能完全反映期刊的学术影响力(刘雪立,2012)。所以SCI一定程度上肯定了科研工作者的科研成果爱游戏捕鱼,但不是评价学术水平与创新贡献的直接依据和唯一标准爱游戏捕鱼。SCI论文相关指标也并不能全面反映科技创新贡献,不适用对技术创新爱游戏捕鱼爱游戏捕鱼、成果转化等工作的评价爱游戏捕鱼爱游戏捕鱼。过度看重SCI论文相关指标将导致高?爱游戏捕鱼?蒲泄ぷ髡咭苑⒈鞸CI论文数量、高影响因子论文、高被引论文为根本目标的异化现象爱游戏捕鱼爱游戏捕鱼,科技创新出现了价值追求扭曲、学风浮夸浮躁和急功近利等问题。

   1.2 缺乏分类评价体系

   目前我国学术评价体系中爱游戏捕鱼,看重论文级别和发表数量爱游戏捕鱼,没有做到针对不同类别爱游戏捕鱼、不同科目的特定化爱游戏捕鱼爱游戏捕鱼、专业化评价爱游戏捕鱼。不同类别、学科、领域及专业的科研及成果差异迥然,不可能单独使用论文作为唯一评价标准。从学科特点看爱游戏捕鱼,理科主要看论文,人文社科不仅可以看论文爱游戏捕鱼,著作和代表作也是重要的学术成果爱游戏捕鱼爱游戏捕鱼。而专利以及对产业界的实际效果对工科的学术评价也非常重要爱游戏捕鱼爱游戏捕鱼。此外,基础研究爱游戏捕鱼、应用研究和技术创新对应有不同的成果形态,不同的研究领域应该有不同的标准评价,《意见》指出对不同类型的科研工作应分别建立各有侧重的评价路径爱游戏捕鱼。而当下的评价体系未能按照基础研究和应用研究的不同属性进行划分,导致存在不符合现实的评价标准(张富利和陈奕青,2019)。对于基础研究爱游戏捕鱼,论文是成果产出的主要表达形式爱游戏捕鱼爱游戏捕鱼,对于应用研究和技术创新爱游戏捕鱼,其成果主要是新技术爱游戏捕鱼爱游戏捕鱼、新产品、新工艺的产业化应用爱游戏捕鱼。使用论文作为应用研究和技术创新的评价标准显然是不够全面的爱游戏捕鱼,其评价重点应该是对解决生产实践中关键技术问题的实际贡献爱游戏捕鱼。而对于服务国防的科研工作和科技成果转化工作爱游戏捕鱼,一般不把论文作为评价指标。因此,建立分类评价的学术评价体系显得迫在眉睫爱游戏捕鱼。分类评价就是要遵循各个学科爱游戏捕鱼、各个门类科研自身的规律和特点爱游戏捕鱼,用最恰当的尺度去评价,切实落实分门别类爱游戏捕鱼、多元评价和精准评价。

   1.3 同行评议活动不完善

   同行评议是一种主要的定性评价方式,同行评议在中国的实践日趋成熟与完善爱游戏捕鱼爱游戏捕鱼,应用也越来越普遍,无论是在方法或制度层面,同行评议都在不断改进与优化(徐芳等爱游戏捕鱼,2018)。但是同行评审有专家不匹配爱游戏捕鱼、评价不客观等问题爱游戏捕鱼爱游戏捕鱼,仅仅依靠同行评价爱游戏捕鱼,很难获得科学、公正的评价结果爱游戏捕鱼?爱游戏捕鱼!兑饧芬蔡岢鲎橹凳┎棵乓晟乒嬖?,引导学者在参加各类评审、评价爱游戏捕鱼爱游戏捕鱼、评估工作时遵守学术操守,负责任地提供专业评议意见爱游戏捕鱼,遵守利益相关方专家回避原则爱游戏捕鱼,同时对评审对象合理分组,遴选合适专家爱游戏捕鱼,并合理设定工作量等。但是作为一种定性评价方式爱游戏捕鱼,评价主体与被评价对象之间或多或少存在信息不对称,这有可能导致评价中的逆向选择与道德风险的问题爱游戏捕鱼。所以同行评价活动必须坚持一定的规范,含有主观因素的评价方法在评价过程中难以避免地受到主观因素的干扰(袁野,2015),因此同行评价必须与定量评价方式相结合才能更好地发挥效果爱游戏捕鱼。

   2 现有的学术评价方法分析

   我国现有的学术评价方法主要有文献计量、替代计量和同行评议(Altmetrics)爱游戏捕鱼,以下内容主要探讨每种评价方法的具体做法以及各自优缺点。总体看三种评价方法都有自身的适用范围爱游戏捕鱼爱游戏捕鱼、优势和缺点。同行评议更多的是一种定性的评价方法,而文献计量和替代计量是定量的评价方法,具体实施中可以将每种评价方法赋予不同的权重爱游戏捕鱼,将三种评价方法结合使用爱游戏捕鱼。针对不同的学科爱游戏捕鱼,三种评价方法赋予的权重应该有所差别,以更好地体现分类评价的思想。只有这样才可以有效地减少评价误差爱游戏捕鱼,提高评价的准确度和公正度爱游戏捕鱼,从而形成完善的评价体系爱游戏捕鱼。

   2.1 文献计量

   文献计量是利用各种数学及统计学的方法和比较、归纳、抽象爱游戏捕鱼、概括等逻辑方法对科学期刊爱游戏捕鱼、论文、著者等各种分析对象进行分析爱游戏捕鱼,以便揭示出研究对象所具有的特征或它们之间的关系及其规律性计量的方法爱游戏捕鱼。20 世纪50年代,文献计量学家开始对引文索引和文献引用规律进行研究爱游戏捕鱼。SCI就是一个典型的文献检索数据库。同时相应的评价指标爱游戏捕鱼爱游戏捕鱼,如被引频次爱游戏捕鱼、影响因子爱游戏捕鱼爱游戏捕鱼、h指数等也随之诞生。单一指标均被证实可在一定程度上测度文献影响力,而将影响因子与总被引相结合构建的评价指标体系可进一步综合评价学术成果影响力爱游戏捕鱼。由于文献计量法指标直观爱游戏捕鱼、可比性强,随之成为一种科研评价的重要方法爱游戏捕鱼。

   但是文献计量方法在科研评价中也暴露出一系列问题,部分学者也一直对文献计量方法中出现的各种问题进行修正爱游戏捕鱼。董岳珂(2018)基于文献计量在成果产出源、成果统计和个人影响力方面评测存在的问题,通过引入数学方法爱游戏捕鱼、情报搜索以及比值计算来校正文献计量在科研评估中的片面性、局限性以及数据统计上的不公正爱游戏捕鱼。但是这些方法只是基于文献计量方法上的改进爱游戏捕鱼,张蕾(2010)认为文献计量法中的数据来自权威机构爱游戏捕鱼,因而的确具备客观性爱游戏捕鱼、公正性与科学性,但是其评价指标体系相对不够丰富与全面爱游戏捕鱼爱游戏捕鱼,无法全方位地反映被评价对象的学术水平爱游戏捕鱼。

   2.2 替代计量

   论文不能代表全部科研成果类型爱游戏捕鱼,引文也只能反映科研成果的交流与利用过程的一个很小部分,这是文献计量方法的先天不足爱游戏捕鱼。随着科学交流网络化的普及爱游戏捕鱼,网络记录了科学交流的整个过程爱游戏捕鱼爱游戏捕鱼,这些交流过程形成的数据成为一种有价值并且可挖掘的数据源爱游戏捕鱼爱游戏捕鱼,基于社交软件与基于成果使用率的新型指标(altmetrics 指标)将为科技评价体系带来新的维度爱游戏捕鱼,可以更好地反映科研成果的社会影响力。替代计量的关注点是学术影响力中的社会影响力,是传统文献计量学的新发展(余厚强和邱均平爱游戏捕鱼,2014)。通过对社会网络中的科研成果传播路径进行跟踪与评判爱游戏捕鱼,使科研成果的社会影响力得到学术界的重视和认可。

   传统的文献计量方法包含被引频次爱游戏捕鱼、期刊影响因子等爱游戏捕鱼,显得过于片面爱游戏捕鱼爱游戏捕鱼,而且多使用静态数据评价爱游戏捕鱼爱游戏捕鱼,研究结果局限于某个时点爱游戏捕鱼,数据存在滞后性爱游戏捕鱼,不能反映动态变化爱游戏捕鱼,尤其对新文献作用不大(王菲菲等爱游戏捕鱼爱游戏捕鱼,2020)爱游戏捕鱼。影响因子随年份不停变动爱游戏捕鱼,且用同一影响因子表示同一期刊上的文献会忽视文献质量的差异性(王贤文等爱游戏捕鱼,2015)爱游戏捕鱼;而同行评议是专家学者对本专业领域科学共同体内的学术成果进行评价,不可避免存在评审偏见爱游戏捕鱼、决策延迟的现象爱游戏捕鱼。替代计量可以从另一个角度更客观地衡量文献的社会影响力,一定程度上弥补了传统计量指标的不足爱游戏捕鱼。但是替代计量学也存在一些无法避免的难题爱游戏捕鱼,如评价数据的可靠性和稳定性问题爱游戏捕鱼、权重分配问题等(余以胜和刘鑫艳,2017)爱游戏捕鱼。替代计量工具和平台的指标体系是否完备爱游戏捕鱼、数据源是否稳定可靠爱游戏捕鱼、数据数量和质量是否达标爱游戏捕鱼、评价结果是否准确可信爱游戏捕鱼,这些都是替代计量学需要解决的问题(王贵海和朱学芳爱游戏捕鱼,2020)爱游戏捕鱼。

   2.3 同行评议

   同行评议是指某一或若干领域的一些专家共同对涉及上述领域的一项知识产品进行评价的活动爱游戏捕鱼。同行评议是最早被用来进行学术评价的方法。这一评价方法在20世纪30年代之后被学术界广泛接受爱游戏捕鱼。我国在90年代初开始采用同行评议制度爱游戏捕鱼。同行评议主要基于学术共同体,要求科学家基于稿件作出公正的裁决爱游戏捕鱼。同行专家要恪守学术操守爱游戏捕鱼,负责任地提供客观、公正的专业评议意见(吴凡洁和张海娜,2018)爱游戏捕鱼。从满足科研评价实际需求上讲爱游戏捕鱼爱游戏捕鱼,同行评议仍是目前科学界学术交流最可行的质量控制手段,也是评价实践首选的量度工具(万昊等爱游戏捕鱼,2017)爱游戏捕鱼。

   但是同行评议作为一种主观的定性评价方法爱游戏捕鱼,也存在种种不足。在人情社会爱游戏捕鱼、面子文化爱游戏捕鱼、圈子“江湖”潜规则下专家行为可能出现异化。现有同行评议制度主要存在以下弊端:第一爱游戏捕鱼,目前学术研究的广度和深度越来越大,评审专家所熟悉的研究领域与所评议的学术成果之间会出现信息不对称的问题,这种信息不对称可能会造成同行评议中的逆向选择现象;第二爱游戏捕鱼,由于评价同行的主观性不可避免地会使得评价标准有失客观爱游戏捕鱼,导致不同专家的评议结果有可能出现不统一和不一致;第三爱游戏捕鱼爱游戏捕鱼,如果评价过程缺乏有效监督爱游戏捕鱼爱游戏捕鱼,评价权力又集中于少数专家手中,如果被评价对象与评审专家熟悉爱游戏捕鱼爱游戏捕鱼,可能存在一定道德风险爱游戏捕鱼;无论科研成果是否真的有贡献爱游戏捕鱼,都能得到高分或通过爱游戏捕鱼爱游戏捕鱼。

   2.4 三种评价方法的总结

   同行评议爱游戏捕鱼、文献计量和替代计量都是进行学术评价的工具爱游戏捕鱼,三者用于学术评价都有自身的优点和局限,每种方法都有各自最佳的使用对象和使用范围。文献计量是量化评价方法的基础爱游戏捕鱼,替代计量是文献计量方法的发展,其可以作为文献计量的很好补充,但是替代计量也无法完全替代文献计量在评价方法中的基础作用爱游戏捕鱼。杨卫平(2001)提出应建立互不隶属爱游戏捕鱼爱游戏捕鱼、独立市场化运作的科研评价机构,提高评议过程的质量爱游戏捕鱼,克服目前评价体系中所存在的弊端。李彦丽和吴秀玲(2010)在肯定了文献计量作用的同时爱游戏捕鱼爱游戏捕鱼,也从SCI的质量、数量以及来源期刊的不平衡性分析了局限性爱游戏捕鱼,提出了“同行评议为主爱游戏捕鱼,科学计量为辅”的评价体系爱游戏捕鱼。

   3 国外学术评价体系及对我国的启示

全球主要发达国家都已经建立了一套相对完整的学术评价体系爱游戏捕鱼爱游戏捕鱼,评价体系的科学性与完备性也有利于促进一国科研实力的提升爱游戏捕鱼爱游戏捕鱼。对全球主要国家的学术评价体系的研究可以挖掘学术评价体系的未来变化和发展趋势爱游戏捕鱼,(点击此处阅读下一页)

    进入专题: 学术评价体系  

本文责编:陈冬冬
发信站:爱思想(http://www.aundsund.com)爱游戏捕鱼爱游戏捕鱼,栏目:天益综合 > 学术规范
本文链接:http://www.aundsund.com/data/125615.html

0 推荐

在方框中输入电子邮件地址,多个邮件之间用半角逗号(,)分隔爱游戏捕鱼。

爱思想(aisixiang.com)网站为公益纯学术网站爱游戏捕鱼,旨在推动学术繁荣、塑造社会精神。
凡本网首发及经作者授权但非首发的所有作品,版权归作者本人所有爱游戏捕鱼。网络转载请注明作者、出处并保持完整爱游戏捕鱼,纸媒转载请经本网或作者本人书面授权。
凡本网注明“来源:XXX(非爱思想网)”的作品爱游戏捕鱼爱游戏捕鱼,均转载自其它媒体爱游戏捕鱼,转载目的在于分享信息爱游戏捕鱼、助推思想传播,并不代表本网赞同其观点和对其真实性负责。若作者或版权人不愿被使用,请来函指出,本网即予改正爱游戏捕鱼爱游戏捕鱼。
Powered by aisixiang.com Copyright © 2021 by aisixiang.com All Rights Reserved 爱思想 京ICP备12007865号-1 京公网安备11010602120014号.
工业和信息化部备案管理系统
爱游戏捕鱼