学院首页    |     高等教育新时代    |     高教动态    |     高教研究    |     高教交流    |     邢院探索    
 
  · 高教研究
当前位置:首页>> 高教研究

 
张务农 娄枝 李永鑫:国内高校世界一流学科建设引入监测评估的行事逻辑


发布时间:2019年04月19日

摘    要

当我国高校世界一流大学和一流学科建设进入关键阶段,对一流学科建设进行有效监测和评估即上升为重要议事日程。一流学科监测评估的视角是克服“指标意义上”的一流学科建设,实现“制度意义上”和“文化意义上”的一流学科;监测评估的视域包括一流学科生成的表征条件、制度条件和文化条件三个层面;监测评估的观测点即由上述三方面展开的参考性指标体系。但监测评估的参照指标是柔性的、开放的,在实施中既要参照设定的目标又不囿于设定的目标;监测评估既利用现代信息技术的优势,也要依靠在地专家观察员的“人文眼光”“内部眼界”“日常介入”和“深度描述”。

关键词

 

世界一流学科;监测评估;视角;视阈;观测点;方法路径

       世界一流学科建设是世界一流大学建设的重要支撑。当我国世界一流大学和一流学科建设进入关键阶段,对其发展过程和建设效果进行有效监测和评估即上升为重要议事日程。对世界一流大学和一流学科建设的评估既是一个哲学问题,也是一个科学问题。从哲学角度看,对世界一流大学和世界一流学科的评估需超越“数字化指标”,因为一流大学不仅是指标体系层面的一流大学,还包括制度层面的、哲学层面的和文明意义上的一流大学。但从科学角度看,数字化指标又是一流大学和一流学科丰富内涵必不可少的表征。因为没有明晰的概念化和尽量具体的数字化表征,对世界一流大学和一流学科建设的雄心只能停留在思想层面而无法具体推进和改进。但这并不意味着世界一流大学和学科建设评估的数字化指标没有改进的巨大空间,在实践操作领域,数字化评估的缺陷只能寻求更好的数字化表征来改进。“监测评估作为高等教育质量保障新类型,它利用现代信息技术持续深入搜集有关信息,动态直观呈现教育状态”,为改变一流学科评估的流弊提供了新的契机。

根据教育部、财政部、国家发展改革委《统筹推进世界一流大学和一流学科建设实施办法(暂行)》规定,对世界一流大学和一流学科建设要实施“动态管理”,“加强过程管理,及时跟踪指导”,“打破身份固化,建立建设高校及建设学科有进有出动态调整机制”。对一流学科建设实施监测评估,从国家层面来看,可以据此实现对一流学科建设的质量控制和资源配置,从高校层面来看,则可对“建设情况进行自评,对改革的实施情况、建设目标和任务完成情况、学科水平、资金管理使用情况等进行分析”,实现一流学科建设中的自我诊断、风险控制和自我改进。但如何对世界一流学科建设进行监测评估?下文将从“视角”“视阈”“观测点”和“方法路径”几方面深入分析,以展现对世界一流学科建设进行监测评估的行事逻辑。

 一、视角:一流学科建设监测评估的内涵与归旨

        (一)一流学科建设监测评估的内涵界说

  由于受到文化多元化等因素的影响,以及大学本身作为一个结构和功能都极为复杂的组织,理论界和实践界对世界一流学科的理解并没有统一。普通民众对于世界一流学科的内涵和排名涉及的指标也知之甚少。事实上,流行的各式各类的大学排名和学科排名都是有限指标表达的结果,它们是大学和学科发展的局部反映,都指向特定目的。但这些数字不能不说携带着大学学科发展的“基因片段”,能从一定程度上折射出大学学科发展的人文底蕴、文化实力和科技竞争力。我国作为后发国家,人们能够目视到的国内大学学科与世界一流大学学科之间的差距首先呈现为数字差异,如ESI学科数、SSCI、SCI的发文量、引用率等。而现在所做的一流学科评估也往往容易陷入对这些数字指标的追捧,而支撑这些数字的学科制度、文化底蕴却容易被忽视,只看到“指标意义上”的一流大学,而没有看到完整意义上的一流大学。这是后发国家高等教育追赶过程中难以避免的,却是必须重视的。不过,数字指标的生成需要一个过程,若能实现对数字生成过程的监测,就可能从一定程度上克服一流学科评估过程中的唯指标、唯数字倾向。

  但是,一流学科作为评估的对象并没有固定统一的内涵,教育质量在不同语言、文化、经济与历史背景中有不同的意义。根据柏林原则,任何学科评估以及学科评估的排名都需要注意可能的偏见:评估结果的精确性只能在特定的目的、背景和特定的语境中生成;在对高等教育质量的认识上,并非所有国家或高等教育系统都拥有共同的价值和看法,任何学科质量评估的结果都不应强行进行比较。这说明前提性地构建一套指标体系去衡量不同地区、不同类别的学科并非明智之举。而监测评估恰恰从方法论上避免了这一矛盾,监测评估是计算机和信息技术发展带来的教学评估技术最新变革,监测评估不仅可以指向设置的指标,它还能指向对任何可能事件的监测。换言之,监测评估可以事先列举一些预设性的指标作为观测点,但对任何“可能的目标”都是开放的。监测评估依赖大数据,而大数据方法不需要预设的目标,它不是用数据来说明指标,而是通过数据的观测来发现指标。

  在监测评估中,在线的智能化应用可以采用科学方法和数据模型发现有关学科发展的数据特征,并自动对数据的相关性进行分析,然后以可视化的形式,如数据图表、分析报告的形式呈现质量监测结果,以及预测学科未来可能的发展趋势。在开放数据的条件下,教育专家、政府官员、家长、学生、用人单位和第三方社会机构都可以实时分享数据,都参与到教学评估中,实现多元主体的对话、沟通、协商。因此,监测评估是一种多元主体的、实时的、动态的、全方位的智能化评估技术和方案,它实现了评估数据的交流与互动,实现了数据间隙的弥合,实现了剖面式评估向全过程评估的转变。

  (二)一流学科建设监测评估的归旨

  在管理学中,监测评估指向项目实施过程,是项目实施过程中输入、产出、干预措施等过程要素信息的常态收集和持续追踪。它追求的不是断面数据,而是连续数据,其主要目的不是结论性的,而是诊断性的。在教育评估中,监测评估“以预定教育目标为依据,通过对各种活动、措施、环境、资源等过程要素状态信息的持续收集、动态跟踪、客观描述与及时反馈,对教育活动是否在按照预定计划执行、向预定目标靠近等运行轨迹做出监控、预警和修正,从而确保教育目标有效实现”。但这种对监测评估的概念表述仍不够开放。大学并非一个功能和意义确定的场所,大学是一个创新型的组织,即大学学科在发展过程中有可能实现意想不到的目标。因此,学科监测评估有向公认的“一流学科标准”靠拢的必要,同时应当承担发现“新目标”的使命,它需要去发现“不确定性”。根据上述理解,世界一流学科建设监测评估的旨趣至少包括以下四个方面。

  1. 监控一流学科建设过程,及时反馈信息,以确认学科发展朝向国际公认一流方向推进。 国际上虽然对一流学科的具体指标表述不同,甚至存在争议,但仍可以概括出一些相对通用的原则。但传统的学科评估每隔几年才发生一次,属于阶段性鉴定,难以保障学科发展过程的质量。在评估中也暴露出一些问题,如一些高校急功近利,短时期内突击指标性数据,通过强力引进人才,或通过与其它科研机构的暂时联合,很容易把指标做上去。而不是从制度上进行深刻改进,营造人才成长环境和学科发展生态,不利于一流学科的持续、稳定发展,甚至造成不同高校间人才配置和学科生态的失衡。监测评估应把学科发展过程纳入视野,监测一个学科的人才成长和流动状况、投入产出的可持续性以及学科制度和文化基础的健康,在此基础上努力向世界一流学科指标靠近。

  2. 监测评估应利用大数据优势,除保障一流学科建设朝向政府期待的一流指标推进,也应注重监测异常数据,并分析这些数据反映的动向是否反映了高校发展应有的特色。世界一流学科并无统一标准和统一定义,各大排名机构采用的是不同的指标体系。我国教育部门在研究各大机构排名的基础上推出了自己的一流学科指标,反映了中国高校学科建设在追赶世界一流中特殊的诉求,但也不应将这些指标体系唯一化。教育部学位与研究生教育中心的指标体系包括“师资队伍与资源”“人才培养质量”“科研水平”“社会服务与学科声誉”四个方面。但世界五大学科排名机构(QS、ARWU、THE、USNWR、我国教育部学位与研究生教育中心)的指标共涉及21个不同的指标。因此,学位中心的指标只能是一个指导性目标,而不是绝对的目标。监测评估应当在重视这些目标的基础上去发现一流学科的建设过程中,是否生成了其它有价值的目标,这些目标是否体现了学校的本土特色?这些目标是否值得推广?

  3. 监测评估应利用大数据的优势吸收多元化主体的价值判断,反映他们对一流学科建设的诉求。在利用大数据认识对象时,认识主体实现了充分的分化,“大数据认识论的认识主体可以清晰地分为两个方面或层次: 政府、公司,以及个人分别对应于国家、市场和社会”。换言之,拥有现代信息技术优势的大数据可以综合呈现不同类别和层次主体对一流学科建设的诉求。这也意味着监测评估不仅要反映一流学科建设是否符合了国家教育部门的诉求,也要反映市场用人单位、教师、学生家长和学生个体对一流学科建设的切身感受和理性讨论。所有这些主体的数据都要被监测,在各种观点的交流、冲突、协商的过程中动态调整一流学科建设的策略。

  4. 监测评估旨在克服“指标意义上”的一流学科建设,实现“制度意义上”和“文化意义上”的一流学科。一直以来,基于数据的学科评估备受诟病,其根源就在于数据对无形制度和文化元素解释能力的局限上。按照目前对大数据的认识,数据并非不能解释制度和文化元素,而是传统的评估数据太小了、结构太简单了,基于技术的原因和人、财、物的局限,只能对一流学科建设状况做有限的描述。在物联网和计算智能日益发展的条件下,更大规模的数据采集已经不是障碍。人文和社会科学规律并非不能揭示,如果有足够的数据就能让这些沉睡的规律显现出来。而且大数据能够更好地克服研究者认知的偏见、感知的误差和框架的歧义。因此,监测评估要真正超越传统的评估方法和技术,需要真正借助大数据和云计算的优势,通过适当的数据模型和有效的数据监测措施透视一流学科成长的制度保障和文化基础。

二、视域:一流学科建设监测评估的主要层面与纳入对象

        (一)一流学科建设监测评估的主要层面

  一流学科建设监测评估的层面与一流学科生成的条件相关联。一流学科生成的条件应当包括一系列软指标和硬指标指示的条件。学位中心的四项指标无论是从指标陈述还是指标解释来看都偏向于硬指标或者外在指标。这与传统的评估理念是相一致的。但根据监测评估的理念,这一目标需要进一步丰富。如武建鑫等认为世界一流学科是在卓越的学科理念、历史传统、文化信念的基础上自组织形成的。陈丹等认为世界一流学科应当从包括“学科结构生态、学科发展思想、管理制度、师资队伍建设和学科条件”等方面进行考量。因此,对一流学科的评估应当包括对学科发展的“表征条件”“制度条件”和“文化条件”三个层面的评估。

       表征条件是那些反映学科发展状况的表层数据,如师资的数量和质量、科研项目的级别和资金的数量、毕业生的就业率以及就业质量等。但这些数字既可以是制度条件和文化条件的真实反映,也可能是游离的,即这些数字可能是外力建构的,而不是学科制度和文化自然生成的,如抢人才、联合其他研究所等。制度条件是保障学科发展的优良制度,如灵活的用人机制、公平的晋升制度、合理的薪酬制度、恰当的激励机制等。文化条件则是一流学科生长的本土文明、生长基因、历史传统。一流学科只有扎根于一定的文化土壤,才能够持久生长,就像一个国家、民族,小到工作单位必须有自己的文化一样。如英国的剑桥大学和牛津大学遵从自由教育和博雅教育的传统,德国的柏林大学则根植于新人文主义哲学,美国的斯坦福大学则崇尚开拓创新的实用主义传统。一流学科的文化条件是相对稳定的,它从一而终轻易不会发生改变。对于一流学科的文化基础而言,它既是本土的,也是国际的,它可以是面向全球的一流学科,也可以是扎根地方做出突出文化贡献的一流学科。三者的关系见图1所示。

  一般而言,一流学科的表征条件、制度条件和文化条件浑然一体、互相印证和说明,但是独特的评估制度也可能使它们彼此分裂。如学科建制的改造和文化传统之间就存在着很强的关联,不顾文化基础勉强移植国外的学科制度、教师晋升制度和薪酬制度也可能带来一系列无法预计的后果。我国作为一个后发追赶型国家,追赶表征指标往往更容易操作,因为制度条件特别是文化条件的改造需要一个较长过程,因而容易被人为地舍弃和忽视。因此,一流学科监测评估要对三个方面的条件进行协同监测,并通过数据分析它们之间的关联。这三个方面条件不仅构成了一流学科发展的全貌,而且在现代技术条件下,实现三者的协同监测和关联分析也是可行的。

  (二)一流学科建设监测评估的纳入对象

  一流学科监测评估的对象,应当包括国家教育战略规划中的一流学科培育项目,同时应将监测的范围进一步扩大,把更多有特色和潜在实力的学科纳入到监测系统中来。同时,一流学科的监测性评估“必须考虑高等教育机构的多样性,并考虑各自不同的使命与目标”。如为国家提供一流国际竞争力的一流学科和为落后地区提供教育机会的特色学科应当分类对待,充分征求专家意见,综合判断学科的社会影响力。因此,一流学科的监测对象应当是分类和分层次的。从分类看,不同的学科有不同特点和使命,人文社会学科具有较强的地方性和意识形态属性,其世界一流的标准既要与人类其它文化对话又要服务于本土文化和中国意识形态维护的需要。从某种程度上看,本土的就是国际的,地方一流的就是世界一流的。如研究黄河流域文明的学科,只要做好地方文化的研究,就会自然成为世界相关研究的中心。一流学科既可以是“人有我强、人强我优”的学科,也可以是“人无我有”的学科。从一流学科的分层次监测看,国家要有国家层面的一流学科群,各地方省市也要有地方的一流学科群,不同层次一流学科之间互相哺育和滋养,共同构建一流学科建设的多样化生态环境。

  当然,在现代信息技术条件下,也可以上述一流学科监测评估为基础,构建起对所有学科的监测体系。大数据、云计算、物联网的优势就是可以监测“全样本”,对所有样本的发展状况进行监测、记录和分析。只有如此,才能真正“打破身份固化,建立一流学科有进有出的动态调整机制;在建设过程中,对于出现重大问题、不再具备建设条件且经警示整改仍无改善的高校及建设学科,调整出建设范围”。而且这种方案也是具有可操作性的,只要构建一个全国统一的学科发展信息系统,各大学学科相关负责人和管理人员实时上传学科发展的相关信息,就可以实现。

三、观测点:一流学科建设监测评估的参考指标体系

如上所述,一流学科建设的条件包括表征条件、制度条件和文化条件,那么一流学科的指标体系也应囊括这三方面。它们构成了支撑学科发展的有机“生命体”,“一切学科建制、学科政策和学科评估活动都必须在助长思维指导下介入学科生命体的发展”。本研究通过对相关文献的分析,总结国内外经验,并通过专家咨询和必要访谈,大致确定了三个方面的指标体系。需要注意的是,表1-3的指标说明项只在必要时加以说明;权重项不同学科有不同设置,不同建设目标也有不同设置,因此不再计算。

表征条件指涉的指标就是学科生命体发展的表层数据,即国内外比较流行的表征师资队伍、人才培养、学科影响、科研产出、学科投入的各项数字指标。(见表1)

制度条件则涉及一流学科发展的学科建制、学科政策等。它是学科生命体发展的“骨骼”,如果没有良好的制度支撑,一流学科就难以健康发展。反映一流学科制度建设的一些指标如表2所示。

文化条件是一流学科建设最基础、最根本的部分。良好的学科文化不仅“有利于探索真理、认识真理的价值”,还具有“分界、化人、生产与凝聚”等功能。学科文化指的“是由特定学科所构成的人文性及物质性环境, 它作为本学科成员的社会化空间令其形成特定的、有别于其他学科成员的感知、思维、评估和行动模式”。研究通过查阅国内外学者对学科文化的理解,并结合其功能和作用,提炼出了一些关键词并生成一些反映学科文化状况的指标,并通过专家咨询初步确定了一流学科文化条件的监测指标。(见表3)

表征指标一般通过监测到的具体数据来说明,制度指标则需要通过专家调研、学科成员的主观报告等多种途径来印证,只靠政策和规章文本的分析是不够的。制度条件是一些相对稳定的东西,在评估的实时性上要求不是很高。文化条件则比较复杂,呈现出多样性和多元性。如加州理工学院的学术氛围是:严格的淘汰机制,对学习不能按要求达标的学生进行淘汰;大师直接为学生上课、为学生提供科研奖学金,以及鼓励学生参与教师的科研项目;等等。麻省理工学院则强调自由、多元的生活环境,以及到处充满着学术气息的校园文化。普林斯顿大学的学术文化则是自由的探索氛围和结构合理的学术团队。文化是一流学科发展潜移默化的影响力量,是一流学科培育的土壤。其监测也可以在一定程度上通过相关数据的采集来实现,但一些价值性、习惯性、人文性的内容则需要专业人员深层次的观测和分析。

四、路径:一流学科建设监测评估的方法运用

  (一)一流学科建设监测评估的方法与技术

  从信息技术的构架来看,“开展监测评估必须具备材料、工具和人三个条件,即海量数据、数据挖掘与可视化技术及业务专家和数据分析师”,“高等教育监测评估的技术,主要可以概括为数据采集与整合、数据挖掘与分析和数据可视化三个方面”。

  由于监测评估是实时、持续评估,对数据的搜集方式有特殊要求。它既要依靠基于技术的监测网络,即物联网、云计算、大数据系统,也要依赖一张分布足够密集的在地专家网络。理想中的物联网和大数据系统可以实时感知一个学科的发展状态,对动态输入和存储的学科相关数据进行分析。但现实的技术发展状态是,并没有一张无处不在、无所不知的物联网系统可以对学科发展的自然数据进行自动跟踪。现在能够做到的是能够构建一个全样本数据库,数据来源还主要是靠人工搜集和输入,这就会因人为原因造成数据的失真。另外,物联网、云计算和大数据系统可以对学科发展的表征指标进行轻而易举的分析和跟踪,但对于“制度指标”“文化指标”的记录和分析仍然很难。这就需要构建一个在地专家观测员系统,通过其日常观察、专业分析和实时反馈,获得学科发展的全面状况。

  现在的物联网和大数据分析系统已经可以对所有触网的样本数据进行记录和分析。通过诸如决策树、贝叶斯算法等,以实现对监测数据的聚类、分类和关联性分析,也可以对异常监测数据进行发现。但大数据算法也存在着歧视的本质,因此,在监测评估过程中,要根据需要组织专家讨论,对大数据算法及其呈现的结果进行客观全面分析,然后结合在地专家观察员网络搜集的数据进行综合对比,即:

  总评结果=W机器分析结果*W在地专家观察员观测结果

  在这里W为权重,*揭示换算关系。这个公式只是一个粗略表达,两部分的数据非直接相加,而是存在着复杂的计算关系。第一部分是通过智能网络获得的数据,包括自动监测的数据和各评估单位输入报送的数据;第二部分数据是在地专家观察员反馈的信息。两部分数据汇总后,专家组要对两部分数据进行分别分析讨论。然后对两部分数据进行加权处理,得出最终评估结果。如果恰当利用现代化信息技术,上述监测过程的实现并不困难:专家组可以通过智能网络调取任一评估对象的机器记录数据,然后结合具体在地专家观察员的报告,对两方面的数据进行对比和总评即可。因此,这是一种人机混合的评估模式,评估结果呈现为“质、量”结合,既显示数据(facts),又揭示其深层意义(meaning)。当然,如果上述混合评估方式再结合专家组定期的到地评估,实现三方面的数据互证,就能进一步完善评估制度,提升评估效果。

  (二)一流学科建设监测评估结果的运用与分析

  上文已述,监测评估并不仅仅是(甚至主要不是)参照既定目标的评估,而是“意义的发现之旅”,也是信息的及时反馈过程。因此,对数据结果的运用至少要注意两点。第一,监测评估的目的是诊断、是意义发现、是把控过程。即便是阶段性的鉴定也是辅助性目的,而不是根本性目的,它的主要目的是不断修正和优化过程。第二,要在技术上或者制度上建立有效的信息反馈通道,及时把人机提供的各种信息反馈给学科组织。然而,需要注意的是,监测到的数据,无论是机器的分析还是专家的反馈意见,对于学科组织来讲都是外部反馈信息,它们会存在种种偏见。

  首先,“大数据的算法存在着不可忽视的风险”,大数据对人类的影响已经广泛而深刻,但对人类价值的影响较浅显,因为它存在着“文化的偏见”“种族的偏见”“心理的偏见”和“范畴的偏见”。那么要克服大数据的偏见,则需要对具体问题进行具体分析。大数据倾向于“把特别的爱给特别的你”,大数据总会去关注那些为数众多的群体,而对于小众群体则不感兴趣,而一流学科可能是“人有我优”的学科,也可能是“人无我有”的独门学科,后者容易被大数据搜集技术忽略。总之,应用大数据一定要把人类的价值原则融入其中,这需要在人机协商的条件下,真正实现多元主体对一流学科发展状况的分析。其次,专家的意见也会受到“前念”的干扰。因此,监测到的数据还要同学科组织内部人员进行对话,通过访谈、交流与碰撞,共同判定一流学科建设与发展过程中的经验与问题、进步与不足,更重要的是要对学科文化的复杂性及其特征进行必要的理清和澄明。

五、研究小结与反思

监测评估作为一种数据密集型评估,实现了数据的实时性、连续性搜集,可以做到“在线、互动、直观、精细化的数据呈现方式”。虽然在监测评估中仍“要从评估的目的选择适切的方法”,但是方法设计时要尽可能做到目标开放。监测评估既是目标参照的,也是目标发现的——大数据方法的优势正在于此。而且这样的原则和相应的技术设计十分必要,因为人为的、前置性的目标设计不适合偶然事件的发现,也容易囿于对评估目的的既有刻板印象,这种刻板印象会限制高校创造力的发挥。目标开放正是为高校办学的创造性力量留存空间。如教学指标就更多体现为一种“软指标”,教学的创造性过程很难通过一些具体指标来反映,仅仅靠“跨国公司中担任CEO的毕业生人数”难以反映一流学科教学质量的全貌。因此,监测评估构建柔性的指标体系是必要的。

大数据技术和方法为“柔性监测目标”的实现提供了可能。大数据方法就是从看似无意义的数据中发现关联,发现一些“偶然”。数据挖掘与数据分析是数据考古、数据勘探和数据捕捞的过程,并不总能知道会发现什么,它是通过智能化机器的自动化或者半自动化分析从海量混沌数据中发现有效的有意义的数据模式的过程。如电子科技大学的周涛团队就通过大数据挖掘技术,发现了学生的日常生活作息,如打水、吃饭、洗澡和去图书馆等行为特征与学业成绩之间的关联。另外,现代信息技术虽然有了巨大进步,为监测评估带来技术可能,但现代技术仍非无所不能,监测评估也要依赖训练有素的在地专家监测体系,让它们以“人文眼光”“内部眼界”“日常介入”“深度描述”的方式提供学科发展的评估信息。

最后,技术进步推动了评估技术发展,但技术更新以及对新技术的适应都需要一个过程,会遇到评估数据、专业人员以及评估观念等方面的挑战。从评估数据看,国家、各级政府和学校虽构建了一些互联互通的数据库,但数据共享、数据隐私等问题仍未完全解决。从专业人员看,既会大数据挖掘又懂教育评估原理的技术人员十分欠缺。从观念方面看,新技术应用也涉及思维转变,大数据方法虽可使评估从“目标预设转向目标生成”,但如何处理二者关系是一大挑战,而且由此导致的结构性、系统性的评估观念变革和方法创新,需要政策的保障和学术共同体与利益相关者的共识,该过程无疑会充满观念冲突。

 
您是本站第    位访问者
 
地址:邢台学院高等教育研究中心   |    邮编:054001   |    电话:0319-3295286