从传统计量到开放融合：大数据时代体育科研成果平台式评价方法理论建构及应用探索

【作者】 关朝阳； 陈亮；

【机构】 河南师范大学体育学院； 韩国汉阳大学艺术与体育学院；

【摘要】 研究目的:现阶段受限于整体评价环境与学科评价特征,体育科研成果评价暴露出暗箱操作、"马太效应"、缺乏回避机制与评价标准不统一等主要问题,忽视了评价的科学性与合理性,严重阻碍了体育科学的进一步繁荣与发展。2021年8月,国务院办公厅发布《关于科技成果评价机制的指导意见》指出:要利用大数据、人工智能等技术手段,开发信息化评价工具。另外,学术评价方法在快速发展的科学事业带动下,催生了开放式评价与融合式评价等新的评价设想。在大数据时代与体育治理体系和治理能力现代化进程的双重变奏下,从学术治理与学术评价改革角度出发,结合大数据技术理念与体育科研成果评价实际,以分类评价、多元评价为核心评价理念,提出了平台式评价方法,并对其进行了系统研究与分析。研究方法:采用文献资料法、问卷调查法、专家访谈法、德尔菲法、内容分析法与层次分析法等资料收集与分析手段,依次从四个步骤展开研究:(1)对国内外体育科研成果评价相关文献进行分析,并发放调查问卷与调研访谈专家学者,探析中国特色体育科研成果评价现状、困境及大数据在科研成果评价方面应用的可能性及注意问题。(2)对《体育科学》《北京体育大学学报》等学术期刊中刊载科研成果评价的相关文献进行内容分析,归纳总结体育科研成果评价应用科研大数据的主题与特征维度。(3)结合问卷调查资料与专家访谈意见,提出并构建在体育科研理论成果评价中利用科研大数据进行平台式评价的理论设想,并对平台式评价方法进行需求分析,探讨评价方法的技术逻辑与功能架构。(4)构建平台式评价方法的关键指标体系,并结合智能评价算法、开放评价资料与专家评审意见,应用于平台式评价方法实证。研究结果:(1)传统计量评价一定程度上避免定性评价主观性较强等不足的同时,也导致了现阶段科学评价中呈现出"过度量化"的评价乱象,助长了学术功利和浮躁风气。而"开放式评价"与"融合评价"的提出,从理论层面上突破了科学评价的封闭性,加强了评价的开放性,提高了评价质量。由传统计量评价到开放融合评价的方法理念变迁过程中,本研究融合大数据理念与技术,提出了一种新的体育科研成果评价方法,即平台式评价方法。该方法在充分考虑体育学科特点与成果类型特征的基础上,以分类评价、多元评价为评价指针,以大数据相关理念与技术为评价工具,依托于科研大数据平台,对科研成果进行分析、评价与交流。同时,采用多级循环式结构,从智能评价、开放评价与同行评价三方面对成果进行系统性评价,保证科研成果评价的科学性和公正性。(2)平台式评价方法的总体需求主要包括体育科研成果的信息管理、实时追踪与动态评价三部分,并根据方法需求设计了方法体系架构,例如结合大数据理念与技术标准数据,从体育科研成果数据处理角度提出的数据体系;为保障数据安全与隐私,从体育科研大数据实际利用情况与科研成果评价实际出发提出的安全体系;在作者与评价者的不同功能需求的基础上,将综合评价作为核心评价思想,分类评价作为基本评价要求,以提高体育科研成果评价的公正性与科学性为最终目的提出的功能体系。此外,依据定性与定量评价相结合、学科化与本土化评价相结合、动态与静态评价相结合等原则,构建了平台式评价的关键性评价指标体系,并赋予了各项指标权重。其中,同行评价是体育科研成果评价的核心评价环节,开放评价与智能评价是同行评价时的重要辅助参考。研究结论:(1)从需求分析角度来看,平台式评价是以科研大数据平台为评价依托,结合大数据的技术特点与理念,融合体育科学学科和成果类型特征,以分类评价、多元评价为核心评价思想,从智能评价、开放评价与同行评价三方面对成果进行综合评价,一定程度上满足了学术治理与评价改革需求。(2)平台式评价实证效果较好,可以一定程度上衡量体育科研成果价值。相较于传统的体育科研成果评价方法,此方法以同行评价占比最大评价权重保证了专家意见的权威性与成果评价的专业性,通过开放平台用户进行大众评价强调了评价意见的广度,同时评价结果的动态性也弥补了原有评价的一次性与静态性不足,保障了成果价值的即时体现。更多还原