返回上一页 文章阅读 登录

苗建军 王擎 张彤:关于我国学术评价体系的反思及建议

更新时间:2021-03-17 01:19:59
作者: 苗建军   王擎   张彤  
这对我国学术评价体系的建设也可以提供一定的有益借鉴。虽然各国采取的评价形式不同,但这些评价都服务于学术产出和质量的提升,促进国家科研实力和创新力的持续增长。对比各国学术评价改革的方向主要集中在几个方面:第一,对于学科的分类更加科学,对于不同的学科类别,尤其是理工科和社会学科,采用不同的评价标准;第二,采用第三方独立机构进行学术评价,第三;对于提交的科学成果数量和时效性进行限制,只为若干核心科研成果,而不是对全部的科研成果进行评价;第四,理工学科采用定量评价为主,社会学科采用定性评价为主更为科学;第五,更加注重科研成果对该领域的长远影响和创造的经济价值。

   主要发达国家的学术评价体系中,英国的REF(Research Excellence Framework,科研卓越框架),尤其具有代表性。REF的前身可以追溯至1986年科研选择性评估(Research Selectivity Exercise,即RSE)。RSE是英国大学科研评价体系的起步阶段,这一时期虽然有一整套完成的评估程序,但是没有统一的标准衡量什么样的学术水平可以达“卓越水平”。1992年启动“科研水平评估”(Research Assessment Exercise,即RAE)对原有的评价进行了持续的完善,如各个学科都有不同且明确的评估标准,以确保对应用性和跨学科性的研究进行恰当的评估,使整个评估过程变得更加系统化和规范化。2014年REF制度取代了RAE成为英国学术评价的主流模式。REF 有一整套完整的计量评价指标,同时体现了分类评价的理念。它将所有学科分为4个主专家组,每个主专家组下设若干子专家组,4个分组分别是:生命医学类学科、理工类学科、社会科学类学科、艺术与人文学类学科。每组都根据学科特点,设定不同的评价产出形式,如理工科注重文献计量,而社会科学更注重同行评议等。REF只要求科研人员最多提供4份有代表性的科研成果,这避免了只重视成果数量而不重视质量的尴尬,科研产出质量占65%的权重,同时它们还将影响纳入评价体系,体现了REF更注重学术研究的实用性和影响力的导向。

   针对交叉学科或者综合性的学科,有可能同时被归类到几个学科中。不同的学科采用不同的评价方式。卓越评价采用定性和定量相结合的评价方法,主要包括如下指标:成果数量和活跃度,主要提供该学科科研的背景资料;出版物档案,包括学术专著、章节、期刊、会议论文等,对深度和广度作出鉴定;引文指标,基于Scopus通过与本国及世界平均水平进行对比得出;同行评议,只提供专业报告,不打分;研究收入;成果应用。将科研成果和世界水平进行对比。REF体现的分类评价、同行评议、定性与定量评价结合、注重学术成果的社会价值等理念均是我国学术评价体系可以借鉴的方向。

   美国的学术评价方法结合了文献计量、替代计量和同行评议等方法。我们以经济学的学术评价方法为例,美国各高校在评定教师终身教授或升职称时主要看以下几个方面:第一,论文数量和质量。论文质量主要看期刊的质量和影响力,比如经济学最高质量的五大综合期刊是American Economic Review,Econometrica,Quarterly Journal of Economics, Journal of Political Economy and Review of Economic Studies,然后就看各专业领域的高质量期刊,至于期刊如何排名各高校基本都有共识,我们这里不再展开讨论。第二,本系资深教授评价。系里一般临时组织一个由三到四人组成的委员会,委员会成员分工阅读被评审教师的代表性文章,并写一个报告评价文章的学术价值。第三, 同行评价。系主任或院长邀请国内外同行专家评价被评审人的代表性学术论文,系里教授委员会再总结分析这些评价,作出判断。第四,学术影响力。学术影响力主要看被评审人的文章引用次数、h指数、i10指数、论文获奖情况、被评审人在学术会议上宣读论文的次数和作过学术报告的次数等。

   美国各个高校的学术评价体系都类似,不同层次的高校设定的标准会有不同。比如说顶尖学校要求论文刊发的期刊质量更高,但数量并不一定要求更多,索要的校外专家推荐信数量更多,而且专家的名气要更大,最后排名靠前的学校也很讲究学术影响力,这要看论文引用次数、论文曝光度和关注度。

   4 完善我国学术评价体系的设想

   我国学术评价体系大致经过了行政评价、同行评价、指标量化评价和国际科研计量评价几个阶段。目前我国学术评价体系中,看重论文级别和发表数量,没有做到针对不同类别、不同科目的特定化、专业化评价。且过度看重SCI指标,但是SCI无法全面评估创新水平和实质贡献,且同行评议机制不完善。根据发现的这些学术评价体系中存在的潜在问题,结合国外,尤其是英国REF的做法,我们提出一定要建立分类评审机制,每个学科的评价方式会有所侧重,根据学科特点,有的更注重定量指标,有的更注重定性指标。比如理工科可以以文献计量为主,同行评议为辅助,而社会科学更注重同行评议,但也应该将定量指标纳入评价体系中。

   随着大数据技术的兴起,其在学术评价上的应用也逐渐显示出巨大的优势,大数据可以基于海量的文献计量数据和定性数据全方位的进行学术评价。较为成熟的文献计量数据库为学术评价大数据之路起到了奠基作用,大量丰富的文献数据在文本对比分析、评价指标基础数据构建方面具有不可或缺的作用。定性评价是学术评价的重要方式,但其数据库的建设难度较大。中国知网科学文献计量评价中心基于中国学术文献总库、中国引文数据库、学术不端检测系统等研发了网络化评优系统,帮助评审者剔除存在学术不端行为的文献、界定论文创新点、吸纳国际同行评价意见,其学者信息数据库、硕博导师数据库已具备了大数据的雏形(杨英伦和杨红艳,2019)。目前大数据应用于学术评价尚处于起步阶段,随着定性数据库的丰富以及跨数据库平台的大数据学术系统的建立,大数据在学术评价中会发挥出更大的作用。

   虽然同行评议和文献计量以及替代计量的结合可以更加全面地评价学术成果,但是同行评议本身依然存在主观性和道德风险问题。随着区块链技术的兴起,其具有的去中心化等特点,可以有效解决同行评议中存在的种种弊端。评议专家的选择和同行评议中的道德风险是现在同行评议中最关键的两个问题,区块链技术可以很好地解决这两个问题。针对专家的选择,建设一套包含专家数据库信息的评议系统非常关键。系统中可以根据学科分类在每个大类学科下建立一个专家数据库,数据库中每条专家的相关信息至少包括研究领域、学术成就等关键信息。在进行评议前,系统会为待评价的学术成果自动检索特定领域的同行专家,以保证专家的研究领域、资质等学术信息和被评价对象相匹配。此外,所有的评审结果都会保存记录在区块链的区块中,区块链的不可篡改性很大程度上保证了评审过程中的专业性和公正性,能够最大可能地避免道德风险的发生。此外评审专家由系统自动匹配选择,评审人与被评审人互不知晓,也在很大程度上保证了评审的客观公正。区块链的去中心化技术特性可以扩大学术评价的主体,使评价结果接受更多评价者的监督,从而提高学术评价的“把关”质量;借助共识协议预防评价权下放而导致的错误扩散问题;借助时间戳提供学术评价追溯依据;借助智能合约保证系统内各类信息的准确性和合法性(余以胜等,2020)。

   综上所述,学术评价体系是一项复杂的系统工程,每种具体的评价方法都有其优势和弊端,没有任何一种单一的方法可以对学术贡献作出客观的、全面的评估。针对我国现状,我们提出定量评价方法一定要和定性评价方法相结合,文献计量是最基础的定量评价方法,替代计量可以作为一种文献计量方法的有效补充,但是其不能替代文献计量的基础作用。一定要建立分类评价的评价体系,不同学科应该在评价方法上根据学科的特点有所侧重,有的更注重定量评价,有的更注重定性评价。此外同行评议也是学术评价体系中的重要环节,随着大数据、区块链等技术的兴起,这些技术也能有效解决同行评议中存在的种种弊端,从而使整个学术评价体系更为客观和全面。

   在经济学学科的学术评价方面,其自身的一些特点也决定了经济学学术评价相对于其他学科评价存在一些特殊性。首先,经济学在当今中国承担的主要任务之一是如何发展经济,造福于民,即“经世济民”。所以相对于其他学科,经济学学者及其观点、理论的曝光度会远高于其他学科,受大众的关注也更多,可以说很多学者的受关注度不仅仅局限于传统意义的“学术圈”。从这个角度看,替代计量可以从更广泛的角度综合衡量学者学术水平的社会影响力。当然公众的关注度并不完全等同于学者的学术影响力,这需要我们选取合适的替代计量指标体系。其次,国内外经济学学术期刊的作者署名规则有所不同,比如目前经济学的国外学术刊物的作者署名都是按照姓氏排序,在评审国内学者发表在国外学术期刊中的论文时,也应该注意遵从这个规则,同等对待。最后,不同于其他自然科学领域,经济学学科研究的问题具有很强的现实背景和本土特色,对于很多中国经济现象的研究不仅有很强的理论价值,也有巨大的现实意义。但是针对这些方面研究的一些文章在国际上发表可能存在一定难度,不能因此就降低或者否认这些研究的贡献。所以在具体的评价过程中,不能仅仅考虑发表期刊的国际影响力,也要综合考虑学术研究对于国内经济问题研究的贡献度。综合来看,经济学学科的学术评价只有在综合文献计量、替代计量和同行评议等方法的基础上,结合学科特点和国情现状的特殊性,才能建立一套科学的经济学学术评价体系。

   参考文献

   董岳珂. 2018. 文献计量在科研评估中的问题与校正探讨[J]. 现代情报, 38(1): 127-130, 135.

   Dong Y K. 2018. Theproblems and correction of bibliometric in scientific research evaluation[J]. Modern Information, 38(1): 127-130, 135. (in Chinese)

   高健, 何美菊. 2015. 学术评价、学术创新与学术期刊的现状与思考——学术评价与学术创新高层论坛综述[J]. 华中师范大学学报(人文社会科学版), 54(6): 190-192.

   Gao J, He M J. 2015. Academic evaluation, academic innovation and the status quo of academic journals—A summary of the high level Forum on academic evaluation and innovation[J]. Journal of Huazhong Normal University (Humanities and Social Sciences), 54(6): 190-192. (in Chinese)

   胡科, 陈武元, 段世飞. 2019. 英国高校科研评估改革的新动向——基于“科研卓越框架2021”的分析[J]. 中国高教研究,(8): 54-61.

   Hu K, Chen W Y, Duan S F. 2019. New trends of research evaluation reform in UK university: Based on the analysis of “Research Excellence Framework 2021”[J]. China Higher Education Research, (8): 54-61. (in Chinese)

(点击此处阅读下一页)

爱思想关键词小程序
本文责编:陈冬冬
发信站:爱思想(http://m.aisixiang.com)
本文链接:http://m.aisixiang.com/data/125615.html
收藏