摘要：本文在界定企业高科技产品研发专案项目风险评估相关理论的基础上，针对目前企业高科技产品研发专案项目管理过程中缺乏对企业高科技产品研发专案项目风险管理意识的现状和问题，构建了全过程的企业高科技产品研发专案项目风险评估体系，从而为企业高科技产品研发专案项目的风险管理，提供了理论框架和实践指导。
关键词 ：高科技产品 专案项目 风险评估
一、高科技产品研发专案项目风险的内涵
一般而言，项目风险是指事故发生的不确定性（Riskis Uncertainty）与事故发生遭受损失的机会（Riskisthe Chance of Loss）。根据韦伯（Webster）字典的定义，项目风险为Possibility of Loss or Injury，由此可知，项目风险包含了机率（Probability）与损失（Loss）两个变量。陈济尧（2005）认为项目风险可区分为主观与客观的项目风险两类。主观的项目风险是指事故发生的不确定性（Riskis Uncertainty）及损失的不确定性。主观的项目风险强调的不确定性是属于一种个人主观的观点，偏重于个人的内在心理状态。而客观的项目风险是指事故发生遭受损失的机率。所以企业、团体在活动过程中发生损失的可能性与机率，可以以或然率来评估，或然率为0则表示不会遭受损失，若为1则表示必定会有损失。故此类定义是项目风险是可以被客观地测量。
基于风险的内涵，诸多学者对高科技产品研发专案项目风险的含义进行了研究。Alan Webb（2013）将高科技产品研发专案项目风险定义为与预期后果相反的结果，可能是财务的或实体的，导因在于高科技产品研发专案项目过程中所做的决策，或是源于高科技产品研发专案项目存在的环境。
二、高科技产品研发专案项目风险的识别
有效的风险管理必须透过事先一连串的程序，包括风险识别、风险评估、风险分级来进行风险分析；另外，应于项目管理计划中制定风险计划，研究风险解决办法以减缓风险发生时的影响，进行风险控制活动，并且不断地进行风险监督一直持续至项目结束（Boehm，2012）。在此过程中，风险识别是高科技产品研发专案项目在实施过程中首先要实施的步骤，要想做好风险管理工作，这是必须要完成的步骤，它是整个高科技产品研发专案项目风险管理的基础性工作，也能够为后续的风险评估工作提供辅助作用。
三、高科技产品研发专案项目风险评估指标体系的构成
基于上述分析，本研究采用WBS方法，将高科技产品研发专案项目分成几个较小、可处理的项目工作项目，每个项目工作项目再利用项目工作细项分类表，依照工作属性细分为多个工作细项，然后将每部分利用LindaWallace风险因子表加以详细分析及判断，以找出最可能的风险事项，从而寻求出高科技产品研发专案项目风险因素的构成体系。
四、高科技产品研发专案项目风险的评估方法
高科技产品研发专案项目风险的评估主要采用定性之方法，并根据其定义来对高科技产品研发专案项目的风险评估取决以下几个方面：首先，高科技产品研发专案项目风险发生的概率；其次，高科技产品研发专案项目风险的影响程度；最后，高科技产品研发专案项目风险事件的状态评估。
1.风险概率评估。高科技产品研发专案项目的风险概率，主要是要用高科技产品研发专案项目的风险概率来描述高科技产品研发专案项目上述各种风险发生的可能性以及高科技产品研发专案项目上述各种风险发生可能性的高低。
2.风险影响程度评估。高科技产品研发专案项目风险风险影响程度，揭示了高科技产品研发专案项目的风险一旦发生，则高科技产品研发专案项目风险将会对高科技产品研发专案项目预期要实现目标影响程度的高低。高科技产品研发专案项目风险影响程度的评估可以用 0～10 之间的数值来加以系统性的度量。同样地，在0～10的数值范围内，高科技产品研发专案项目风险影响程度的评估可以分为5个等级，即高科技产品研发专案项目风险极低、高科技产品研发专案项目风险低、高科技产品研发专案项目风险中、高科技产品研发专案项目风险高和高科技产品研发专案项目风险极高。
3.风险事件状态评估。高科技产品研发专案项目风险事件状态是高科技产品研发专案项目风险概率与高科技产品研发专案项目风险影响程度二者之乘积。高科技产品研发专案项目风险的大小用其来衡量，所以一定要综合考虑高科技产品研发专案项目风险影响程度的大小以及其概率。具体而言，高科技产品研发专案项目风险按照由大到小的顺序可以划分为如下等级和状态：第一，高科技产品研发专案项目风险影响大，高科技产品研发专案项目风险可能性大；第二，高科技产品研发专案项目风险影响大，高科技产品研发专案项目风险可能性小；第三，高科技产品研发专案项目风险影响小，高科技产品研发专案项目风险可能性大；第四，高科技产品研发专案项目风险影响小，高科技产品研发专案项目风险可能性小。
参考文献
[1]陈建名.浅议项目风险管理的应对措施[J].现代经济信息,2005(8)
1 应用SMART准则来建立针对科技计划项目后评估的专利评价指标体系
目前国内外已有的专利评价指标体系已经很多，有的从投入类、产出类、运营类对专利指标进行了分类[1]，有的从不同的层面(如公司、技术、与经济结合等)设定了专利评价指标[2]，但是如此庞大而分散的专利指标体系在实施中却有很大的难度，很多指标值不符合实际需要或者无法得到。比如多数指标体系中都把专利被引证次数作为评价专利所包含技术重要程度的核心指标，但是中国知识产权局所提供的专利文献数据库与美国等的专利数据库设计有所不同，其中没有直接的引用数据项，因此实际分析时便无法直接使用这一指标。
SMART被世界银行及许多国家政府部门和组织作为在评价工作中所普遍遵循的评价指标体系设计准则[3]。SMART是五个单词的词首字母组成的简写，这五个单词是：特定的(specific)，可测量的(measurable)，可得到的(attainable)，相关的(relevant)，可跟踪的(trackable)。本文结合科技项目后评价的特点，在专利评价体系中设计中引入SMART准则，基本要点如下：
(1)特定的：科技计划项目一般是考虑影响经济发展，有望带动产业结构升级和促进社会持续发展，目前尚未解决的重大技术难题的科研项目。这些项目由于其目标系统、实施过程、效益体现等与一般项目有所不同，因此其事后评估的内容也有其特殊性[4]。因此在设定专利评价指标体系时，要考虑评价工作的目的，指标体系应该具有特定性和专门性。
(2)可测量的：对于专利指标进行评定应当有相应的标准，以相同的标准作为统一的尺度，来衡量被评价对象的表现。这里的可测量性要求并非强调一定是定量指标，对于定性指标的测量只要建立详细的评价标准，也认为是可测量的。
(3)可得到的：设计专利指标数据时要考虑该指标是否能够得到，有什么样的获取渠道和方式。有一些无法获得的指标要放弃，还有一些定性指标数据难以获得，可以采用一些近似方法获得数据。
(4)相关的：指标体系的相关性是指指标之间应该有一定的逻辑关系，不能是很多指标的堆砌。指标体系应该是相互之间具有有机联系的个体指标的组合。对专利进行评价时，考虑科技计划项目的特点，应该从数量、技术、经济和社会影响等多方面将指标进行划分和联系。
(5)可跟踪的：在设计专利评价指标体系时，还要考虑专利指标是否便于跟踪监测和控制。科技计划项目具有可持续性，很多项目是前期工作，还有后续项目的继续，通过专利评价起到监督作用。为了便于以后专利评价工作的开展，专利指标设计应该是可以跟踪监测的。
根据专利指标设计的SMART准则，结合科技计划项目后评估工作的实际情况，作者设计出相应的专利评价指标体系如下表1所示：
2 基于数据挖掘的专利情报分析方法
上述专利评价指标体系中的部分指标值可以很容易得到，比如数量类指标，但是还有一部分指标是无法直接取得，如技术类指标。如果对这部分无法直接取得的指标都采用专家打分的方式则缺少评判的依据，主观性较大，因此我们采用基于数据挖掘的专利情报分析方法对项目专利群进行技术分析，得到相应的分析结果作为专家评判的依据。
专利情报分析是指对来自专利说明书、专利公报中大量的、个别的专利信息进行加工及组合，并利用统计方法或技术手段使这些信息具有纵览全局及预测的功能，并且通过分析将原始的专利信息从量变到质变，使它们由普通的信息上升为有价值的情报[5]。基于数据挖掘的专利情报分析的工作流程主要包括三部分：数据获取、数据分析和竞争情报分析，如下图1所示。
图1 专利情报分析流程图
在进行专利情报分析时，我们不仅仅要对科技计划项目本身的专利群组进行分析，还要对该项目所涉及的技术领域的专利文献进行分析，将项目的专利数据放到国内外整个大环境中来比较研究之后才能对该项目专利群做出客观准确地评价。
2.1 数据获取
大量专利文献散落于各国的专利局与专利公报，如果要对某领域专利信息进行专题分析就必须系统地收集与整理这些专利，形成专题专利情报分析数据集，并以竞争分析为出发点，对其进行监测跟踪，以及时获取、更新数据。
在获取数据时，首先要确定专利数据来源，一般我们采用中国知识产权局公布的中国专利数据库和美国商标局公布的美国专利数据库，这两个数据库都在官方网站上公开免费提供。其次，对于科技计划项目本身所申请的专利，可以根据专利号从网站上下载数据；但是对于该技术领域专利数据的获取，则需要确定该技术领域的主题词，下载该领域的专利文献数据，形成原始专题数据库。
在得到专题数据之后，还需要对数据进行预处理。数据预处理是将科技文本数据转化为适合进行专利情报分析的可靠的精确的数据。这个过程主要包括四个阶段：数据清洗、科技分词、去除噪音词、数据格式化。经过数据预处理后，将文本数据转化为适合于专利情报分析的多属性数据库。
2.2 数据分析
对专利进行数据分析可以采用技术组(群)自动识别和分类技术，它是利用多维统计分析和因素分析法来对技术进行聚类分析[6]。在专利技术关联分析中，通过计算专利技术相关关键词之间的共生关系来确定该组专利文献内部所包含的技术组(群)。技术共生关系分析是通过对反映文献主题内容的词进行关联性或相异性定量分析，来研究文献内在联系和科学结构的一种方法，计算方法如下：：
式中，x，y代表关键词，m是文献的数目，b代表每列关键词组成的向量。这样，我们计算出了关键词之间的关联矩阵。
2.3 情报分析
经过数据分析，可以得到专利文献关键词的关联矩阵，需要用图谱可视化技术显示情报关联图。图形输出 时，根据需要对一般由点、线、面、体等基本图形元进行含义映射，使得数据的不同特征直观体现出来，然后在利用计算机图形学的各种处理算法绘制出相应的图形元[7]。
我们采用网状图的方式显示专利关键词之间的关联关系。网状图中主题关键词间的联系用线条表示，线条长度表示两主题间的相关程度。一个主题与其它主题连线短而多，一方面说明该主题与其他主题有着较强的关系，另一方面也说明该主题的开放程度较高，主题的外延在不断发展。通过图形分析，我们可以很容易将该项目所申请的专利状况与目前国内外该技术领域的专利状况进行对比分析(如下图2所示)。从上面两幅图对比观察发现，该项目所申请的专利研究主题分为4个组群，中国专利研究主题分为4个组群。虽然两个关联图的研究主题不大一致，但两者中都有服务器、路由器等组成的组群和控制器、光通信等组成的组群，这说明该项目的专利研究方向与国内该技术领域的研究方向是大体一致的。
3 应用层次分析法求出指标权重
图2 专利技术可视化对比分析图
进行专利评价，不仅受到评价指标项的影响，而且受到每个指标项相对重要程度的影响。层次分析法(简称AHP)是由美国匹兹堡大学著名运筹学家A. L. Saaty于本世纪70年代中期提出的。它为分析复杂的社会系统，对定性问题作定量分析提供了一种简洁的方法[8]。该方法目前在许多决策规划中得到应用，本系统也采用此方法进行研究，采用层次分析法与专家咨询结合计算指标权重。
层次分析法的计算步骤：(1)对问题所涉及的因素进行分类，建立指标体系；(2)根据指标体系构造各因素相互联系的层次模型(如表1)；(3)构造比较判断矩阵，对同一层次的各因素通过两两比较，确定出相对于上一层的各目标的权重，并进行一致性检验；(4)计算组合权重，即得到各指标的相对权重。本文中判断矩阵根据专家咨询得到。通过计算，得出指标的各个权重。
4 构造专利模糊综合评价决策模型
在对科技计划项目的专利群进行综合评价时，需要根据各个指标进行评价，但是这些评价指标有的可以得到确定的数值，有的不能给出定量的评价值。为了系统地考虑主观评价与客观评价，定性评价与定量评价有机结合，我们采用模糊综合评判法。
模糊综合评价是以模糊数学为基础，应用模糊关系合成的原理，将一些边界不清，不易定量的因素定量化，从多个因素对被评价事物隶属等级情况进行综合评价的一种方法。其优点是；对多因素、多层次的复杂问题评判效果较好[9]。
4.1 建立评语级
对评价指标体系中的指标，需要将指标值(部分可直接得到的定量指标)和专利情报分析的结果(反映定性指标情况)提供给专家参考，然后由专家判定评语级。评语级是用来对专利技术进行等级评价的，它由数个评价等级构成。它通过采用语言变量和模糊数来处理难以定量化的问题，进行定性指标的量化及其隶属度向量的确定，从而表示决策人对各指标的满意度。
为了最终专利评估的准确性，要力求划分的精细，但过多的等级设定会使专家因为划分过细造成给出的结果摇摆性强，从而可能造成不必要不精确的计算，同时也为了避免隶属度分配上的困难，我们将评语等级设定为五级，
4.2 构造单因素模糊关系矩阵
先进行单因素评判，即单独从一个评判因素出发，确定评判对象对因素等级的隶属程度。假设有m个专家参与评判打分，统计m份专家调查表，将每份调查表形成0、1矩阵(即在打分的等级处计为1，其他为0)。依据该矩阵计算各指标的评价隶属度，我们可以采用公式：评价隶属度=该评价等级评价人数/评价总人数，由此建立各指标的评价矩阵，包含专利评价权重及评价隶属度。则每个单因素i都对应一个等级评判矩阵
其中i是单个因素，k是第i个因素中的子因素数。
4.3 模糊综合评判过程
(1)一级模糊综合评判过程
综合考虑所有因素的影响以及各因素的权重，用模糊矩阵合成运算，得Ai的评判指标集，即W=A。R，其中A为前面用AHP法求出的权重向量，R为模糊矩阵，W为评判集。算子“。”为广义模糊合成算子，它根据不同的实际情况和评判者强调的重点有不同的取法，考虑到专利评价应该充分考虑到所有参与评价者的意见，本文中用加权平均型算法，即取“。”=(+，·)，则A。R等同于普通矩阵的运算法则。通过以上步骤，得到了Ai的评判指标集Wi。
(2)二级模糊综合评判
对单因素的模糊评判只反映了某一个因素对评价对象的影响，这是完全不够的，我们需要的是最终对评价对象的综合评价。
1 应用SMART准则来建立针对科技计划项目后评估的专利评价指标体系
目前国内外已有的专利评价指标体系已经很多，有的从投入类、产出类、运营类对专利指标进行了分类[1]，有的从不同的层面(如公司、技术、与经济结合等)设定了专利评价指标[2]，但是如此庞大而分散的专利指标体系在实施中却有很大的难度，很多指标值不符合实际需要或者无法得到。比如多数指标体系中都把专利被引证次数作为评价专利所包含技术重要程度的核心指标，但是中国知识产权局所提供的专利文献数据库与美国等的专利数据库设计有所不同，其中没有直接的引用数据项，因此实际分析时便无法直接使用这一指标。
SMART被世界银行及许多国家政府部门和组织作为在评价工作中所普遍遵循的评价指标体系设计准则[3]。SMART是五个单词的词首字母组成的简写，这五个单词是：特定的(specific)，可测量的(measurable)，可得到的(attainable)，相关的(relevant)，可跟踪的(trackable)。本文结合科技项目后评价的特点，在专利评价体系中设计中引入SMART准则，基本要点如下：
(1)特定的：科技计划项目一般是考虑影响经济发展，有望带动产业结构升级和促进社会持续发展，目前尚未解决的重大技术难题的科研项目。这些项目由于其目标系统、实施过程、效益体现等与一般项目有所不同，因此其事后评估的内容也有其特殊性[4]。因此在设定专利评价指标体系时，要考虑评价工作的目的，指标体系应该具有特定性和专门性。
(2)可测量的：对于专利指标进行评定应当有相应的标准，以相同的标准作为统一的尺度，来衡量被评价对象的表现。这里的可测量性要求并非强调一定是定量指标，对于定性指标的测量只要建立详细的评价标准，也认为是可测量的。
(3)可得到的：设计专利指标数据时要考虑该指标是否能够得到，有什么样的获取渠道和方式。有一些无法获得的指标要放弃，还有一些定性指标数据难以获得，可以采用一些近似方法获得数据。
(4)相关的：指标体系的相关性是指指标之间应该有一定的逻辑关系，不能是很多指标的堆砌。指标体系应该是相互之间具有有机联系的个体指标的组合。对专利进行评价时，考虑科技计划项目的特点，应该从数量、技术、经济和社会影响等多方面将指标进行划分和联系。
(5)可跟踪的：在设计专利评价指标体系时，还要考虑专利指标是否便于跟踪监测和控制。科技计划项目具有可持续性，很多项目是前期工作，还有后续项目的继续，通过专利评价起到监督作用。为了便于以后专利评价工作的开展，专利指标设计应该是可以跟踪监测的。
根据专利指标设计的SMART准则，结合科技计划项目后评估工作的实际情况，作者设计出相应的专利评价指标体系如下表1所示：
2 基于数据挖掘的专利情报分析方法
上述专利评价指标体系中的部分指标值可以很容易得到，比如数量类指标，但是还有一部分指标是无法直接取得，如技术类指标。如果对这部分无法直接取得的指标都采用专家打分的方式则缺少评判的依据，主观性较大，因此我们采用基于数据挖掘的专利情报分析方法对项目专利群进行技术分析，得到相应的分析结果作为专家评判的依据。
专利情报分析是指对来自专利说明书、专利公报中大量的、个别的专利信息进行加工及组合，并利用统计方法或技术手段使这些信息具有纵览全局及预测的功能，并且通过分析将原始的专利信息从量变到质变，使它们由普通的信息上升为有价值的情报[5]。基于数据挖掘的专利情报分析的工作流程主要包括三部分：数据获取、数据分析和竞争情报分析，如下图1所示。
图1 专利情报分析流程图
在进行专利情报分析时，我们不仅仅要对科技计划项目本身的专利群组进行分析，还要对该项目所涉及的技术领域的专利文献进行分析，将项目的专利数据放到国内外整个大环境中来比较研究之后才能对该项目专利群做出客观准确地评价。
2.1 数据获取
大量专利文献散落于各国的专利局与专利公报，如果要对某领域专利信息进行专题分析就必须系统地收集与整理这些专利，形成专题专利情报分析数据集，并以竞争分析为出发点，对其进行监测跟踪，以及时获取、更新数据。
在获取数据时，首先要确定专利数据来源，一般我们采用中国知识产权局公布的中国专利数据库和美国商标局公布的美国专利数据库，这两个数据库都在官方网站上公开免费提供。其次，对于科技计划项目本身所申请的专利，可以根据专利号从网站上下载数据；但是对于该技术领域专利数据的获取，则需要确定该技术领域的主题词，下载该领域的专利文献数据，形成原始专题数据库。
在得到专题数据之后，还需要对数据进行预处理。数据预处理是将科技文本数据转化为适合进行专利情报分析的可靠的精确的数据。这个过程主要包括四个阶段：数据清洗、科技分词、去除噪音词、数据格式化。经过数据预处理后，将文本数据转化为适合于专利情报分析的多属性数据库。
2.2 数据分析
对专利进行数据分析可以采用技术组(群)自动识别和分类技术，它是利用多维统计分析和因素分析法来对技术进行聚类分析[6]。在专利技术关联分析中，通过计算专利技术相关关键词之间的共生关系来确定该组专利文献内部所包含的技术组(群)。技术共生关系分析是通过对反映文献主题内容的词进行关联性或相异性定量分析，来研究文献内在联系和科学结构的一种方法，计算方法如下：：
式中，x，y代表关键词，m是文献的数目，b代表每列关键词组成的向量。这样，我们计算出了关键词之间的关联矩阵。
2.3 情报分析
经过数据分析，可以得到专利文献关键词的关联矩阵，需要用图谱可视化技术显示情报关联图。图形输出 时，根据需要对一般由点、线、面、体等基本图形元进行含义映射，使得数据的不同特征直观体现出来，然后在利用计算机图形学的各种处理算法绘制出相应的图形元[7]。
我们采用网状图的方式显示专利关键词之间的关联关系。网状图中主题关键词间的联系用线条表示，线条长度表示两主题间的相关程度。一个主题与其它主题连线短而多，一方面说明该主题与其他主题有着较强的关系，另一方面也说明该主题的开放程度较高，主题的外延在不断发展。通过图形分析，我们可以很容易将该项目所申请的专利状况与目前国内外该技术领域的专利状况进行对比分析(如下图2所示)。从上面两幅图对比观察发现，该项目所申请的专利研究主题分为4个组群，中国专利研究主题分为4个组群。虽然两个关联图的研究主题不大一致，但两者中都有服务器、路由器等组成的组群和控制器、光通信等组成的组群，这说明该项目的专利研究方向与国内该技术领域的研究方向是大体一致的。
3 应用层次分析法求出指标权重
图2 专利技术可视化对比分析图
进行专利评价，不仅受到评价指标项的影响，而且受到每个指标项相对重要程度的影响。层次分析法(简称AHP)是由美国匹兹堡大学著名运筹学家A. L. Saaty于本世纪70年代中期提出的。它为分析复杂的社会系统，对定性问题作定量分析提供了一种简洁的方法[8]。该方法目前在许多决策规划中得到应用，本系统也采用此方法进行研究，采用层次分析法与专家咨询结合计算指标权重。
层次分析法的计算步骤：(1)对问题所涉及的因素进行分类，建立指标体系；(2)根据指标体系构造各因素相互联系的层次模型(如表1)；(3)构造比较判断矩阵，对同一层次的各因素通过两两比较，确定出相对于上一层的各目标的权重，并进行一致性检验；(4)计算组合权重，即得到各指标的相对权重。本文中判断矩阵根据专家咨询得到。通过计算，得出指标的各个权重。
4 构造专利模糊综合评价决策模型
在对科技计划项目的专利群进行综合评价时，需要根据各个指标进行评价，但是这些评价指标有的可以得到确定的数值，有的不能给出定量的评价值。为了系统地考虑主观评价与客观评价，定性评价与定量评价有机结合，我们采用模糊综合评判法。
模糊综合评价是以模糊数学为基础，应用模糊关系合成的原理，将一些边界不清，不易定量的因素定量化，从多个因素对被评价事物隶属等级情况进行综合评价的一种方法。其优点是；对多因素、多层次的复杂问题评判效果较好[9]。
4.1 建立评语级
对评价指标体系中的指标，需要将指标值(部分可直接得到的定量指标)和专利情报分析的结果(反映定性指标情况)提供给专家参考，然后由专家判定评语级。评语级是用来对专利技术进行等级评价的，它由数个评价等级构成。它通过采用语言变量和模糊数来处理难以定量化的问题，进行定性指标的量化及其隶属度向量的确定，从而表示决策人对各指标的满意度。
为了最终专利评估的准确性，要力求划分的精细，但过多的等级设定会使专家因为划分过细造成给出的结果摇摆性强，从而可能造成不必要不精确的计算，同时也为了避免隶属度分配上的困难，我们将评语等级设定为五级，
4.2 构造单因素模糊关系矩阵
先进行单因素评判，即单独从一个评判因素出发，确定评判对象对因素等级的隶属程度。假设有m个专家参与评判打分，统计m份专家调查表，将每份调查表形成0、1矩阵(即在打分的等级处计为1，其他为0)。依据该矩阵计算各指标的评价隶属度，我们可以采用公式：评价隶属度=该评价等级评价人数/评价总人数，由此建立各指标的评价矩阵，包含专利评价权重及评价隶属度。则每个单因素i都对应一个等级评判矩阵
其中i是单个因素，k是第i个因素中的子因素数。
4.3 模糊综合评判过程
(1)一级模糊综合评判过程
综合考虑所有因素的影响以及各因素的权重，用模糊矩阵合成运算，得Ai的评判指标集，即W=A。R，其中A为前面用AHP法求出的权重向量，R为模糊矩阵，W为评判集。算子“。”为广义模糊合成算子，它根据不同的实际情况和评判者强调的重点有不同的取法，考虑到专利评价应该充分考虑到所有参与评价者的意见，本文中用加权平均型算法，即取“。”=(+，·)，则A。R等同于普通矩阵的运算法则。通过以上步骤，得到了Ai的评判指标集Wi。
(2)二级模糊综合评判
对单因素的模糊评判只反映了某一个因素对评价对象的影响，这是完全不够的，我们需要的是最终对评价对象的综合评价。
1、科技查新
科技查新是在科技文献检索和科技咨询的基础上发展起来的一项科技信息服务，是指查新机构根据查新委托人需要查证其新颖性的科学技术内容，以文献为基础，以文献检索和情报调研为手段，按照科技查新规范操作，以检索结果为依据，通过综合分析，对查新项目的新颖性进行情报学审查，写出有依据、有分析、有对比、有结论的查新报告。科技查新的目的可分为立项查新、成果查新等。立项查新包括申报各级、各类科技计划、科研项目开始前的资料收集等；成果查新为开展成果鉴定、申报奖励等提供客观评价依据，以提高科技立项和成果鉴定与奖励的严肃性、公正性、准确性和权威性。作为科技管理的基础工作，科技查新为科研立项，科技项目评估、验收、奖励等提供客观评价依据。
2、科技评估
科技评估是对科学技术活动的科学性、可行性和有效性进行评判，为决策提供参考意见的咨询活动，是由科技评估机构根据委托方的目的，由专门的机构和人员依据大量的客观事实和数据，遵循一定的原则、程序和标准，运用科学、可行的方法对科技政策、科技计划、科技发展领域、科技项目、科技成果、科技机构、科技人员以及与科技活动有关的行为所进行的专业化咨询和评判活动。科技评估整体包括评估准备、评估设计、信息获取、评估分析与综合、撰写评估报告等评估活动全过程的集成性技术方法体系，由评估方法与程序、评估指标体系、评估模型、评估专家等要素组成。科技评估增强了科技管理中决策的科学性，为科学决策提供了运作基础，极大地优化了决策过程；同时增强了科技管理部门运用科技政策、科技计划等宏观杠杆调节、配置科技资源的能力，增加了对项目执行过程监控和对其绩效考核的科学性。此外，完善的科技项目评估技术方法体系，尤其是中期评估、验收评估和追踪评估，从制度上加强了对公共科技资源使用情况的监督，能够健全科技资源使用责任机制。
二、科技评估过程中科技查新的作用和意义
科技评估与科技查新都是属于科技咨询活动，都贯穿科技活动的全程。科技查新工作是科技评估的基础之一，在科技评估工作中，每个环节都离不开查新工作的支持，在科技活动的前期及后期科技评估和科技查新的相互依赖更显著。客观、科学、公正地评估科技项目，已成为科技项目管理工作的当务之急，科技评估需要大量与技术有关的科技文献、相关竞争者、技术进展等信息，都需要科技查新工作来提供。实践证明：科技查新为科研立项、正确评价科技成果提供了科学、可靠的依据。科技查新是指通过手工检索和计算机检索等手段，运用综合分析和对比方法为评价科技项目新颖性和先进性提供客观事实依据的一种文献检索方法。它通过相关文献与科技发展项目之间的对比、分析与鉴别，从而确定科技发展项目的新颖性、先进性。科技评估可依靠科技查新所提供的信息及结论，通过评估专家的分析，对被评估对象做出更为科学的评估结论，因而在科技项目评估阶段进行科技查新对科学研究具有现实意义。在科研项目立项前，要了解科研课题在论点、研究目标、技术路线、技术内容、技术指标、技术水平等方面是否具有新颖性，必须及时、全面、准确地掌握国内外的有关信息，通过科技查新可对所选项目是否具有新颖性作出判断，提供客观依据，避免科研工作低水平的重复，减少科技项目中期鉴定的失准现象，促进科研管理的科学化和规范化；在科技成果鉴定和评估过程中，仅凭专家小组的专业知识和经验，难免会有疏漏之处。利用科技查新报告作为文献依据，可以避免科技评估过程中某些人为因素造成的不确切结论。而且，从科研项目管理角度看,对某些耗时漫长且在申报或立项阶段已进行过科技查新的科研项目，如果在中期和后期评估阶段不进行再次查新，无法保证经过投入大量的人力、财力、物力完成科研项目成果的新颖性，也无法了解与科研项目有关的国内外研究动态，造成研究的低水平重复以及科研经费及资源的浪费。由此可见，在科技发展项目评估阶段进行科技查新的重要性并不亚于科技立项查新和科技成果鉴定查新，科技发展项目评估阶段的科技查新不是“做结论”，而是在科研项目进行过程中通过查新了解本学科、本领域的研究现状，及时调整研究方向、研究策略，才能准确把握科学研究前沿，彻底杜绝才低水平重复研究，确保科研管理部门在科技项目管理上做出正确的决策。
三、科技评估过程中忽视科技查新的原因造成科技项目评估阶段科技查新被忽视的原因主要有以下几点：
1、对查新工作的宣传和普及不够政府管理部门对科技查新的重视程度不够，很多人对查新工作的重要性和必要性认识不足，以至于项目申请单位和科研人员对项目评估阶段科技查新的意识更加淡薄，甚至很多人会认为科技查新只是走形式而已。
2、对项目评估阶段查新工作的监督不够科技管理部门对项目评估阶段开展科技查新工作缺乏有效的监督，对在项目评估阶段不进行科技查新的的申报单位和科研人员没有形成约束机制。
3、对查新机构的信任度不够部分科研单位和科研人员对科技查新机构缺乏足够的信任，担心在科技查新过程中查新人员不遵守职业操守泄露科研机密，所以不愿意将重要科研技术要点提供给查新机构,因此而放弃查新。
4、科研项目经费不够由于科研项目没有足够的经费支持不足，除非有特定的约束，否则科研机构和科研人员不愿意再从有限的项目经费中抽取一点出来进行查新。以上几方面的愿意造成绝大多数科研单位只在项目申报、鉴定或报奖时进行科技查新，而忽视项目评估阶段科技查新的重要性，从而造成科研项目的先进性、新颖性和实用性无法得到保证。
四、加强科技项目评估阶段科技查新的建议
1、加强对科技查新工作的宣传力度查新机构可借助科技系统相关会议、在期刊、举办专题讲座、开辟宣传栏，印发资料等各种渠道，向有潜在查新需求的用户宣传科技查新工作的重要性、意义、程序、手段和方法，增加对查新的重视和理解，让更多的用户了解查新，并能将学到的查新知识应用于科研过程。
2、规范和提高科技查新的质量科技查新要成为科研项目评估阶段的一个必要程序首先就要保证科技查新的质量，确保查新工作的质量对于促进科研管理规范化具有重要意义。通过各种渠道建立高质量的数据库资源，让信息资源得到充分利用，并能按照科技查新工作流程操作，实事求是地撰写查新报告，才能使查新工作更加公平、公正。其次,科技查新机构和查新人员要严格按照查新规范开展科技查新工作，这样，科研项目中期评估的查新工作才能顺利进行。
关键词：大数据；学科评估；多维分析
中图分类号：G40-058.1
文献标志码：A
文章编号：1673-8454（2015）07-0013-04
一、现状及问题
学科建设是高等学校发展的核心工作，是衡量一所高校办学水平的重要评价标准。如何科学、客观、准确地评价学科状态，从而更好地规划资源配置促进各学科均衡发展是多年来各高校及研究机构的重点研究课题。学科评估的两个关键因素是评估指标体系和基础数据，到目前为止，学科评估重点研究了评估指标体系及评估方法，并已取得了显著成果，研究人员提出了多种比较成熟、完善的评估指标体系。但是，目前不论使用哪一套评估指标体系开展学科评估工作时都会遇到许多问题，使看起来完美的评估指标体系并不能顺利实施。以下是三个典型的问题：
（1）无法准确、全面、及时地获取各类业务数据，导致评估结果不够全面、不够客观、不够准确。
（2）评估指标是对高校业务的抽象描述，无法与具体业务数据直接对应，导致无法直接得到与评估指标对应的评估结果，需要将评估指标转换为业务标准才能与业务数据准确对应。
（3）目前学科评估主要靠人工收集数据、计算评估结果，基于一套比较复杂的评估指标体系采用人工方法去生成评估结果是一件非常困难的事情，如果要同时生成多套不同评估指标体系的评估报告更是一件不太现实的事情。
本文介绍使用大数据技术充分收集高校业务中与学科相关的结构化、半结构化和非结构化数据，并将半结构化和非结构化数据转化为更容易分析使用的结构化数据，同时确定数据实体及其间的关系，最终将经过清洗的数据按照统一标准进行存储。基于标准化的业务数据，充分发挥OLAP技术优势对学科进行多维分析并生成学科评估报表。
二、大数据解决方案
1.系统架构
基于大数据的学科评估系统框架（见图1）主要包括：数据源层、数据处理层、数据存储层和数据分析层。
（1）数据源层
数据源层是学科评估基础数据的来源，主要包括分布于各业务系统的结构化数据，系统外的半结构化数据和非结构化数据，如TXT、XML等格式的文本文件。
（2）数据处理层
学科评估基础数据分布于不同的业务系统，而且数据量大，同时还有系统外的半结构化和非结构化数据，传统的ETL技术已经无法完成处理任务。Hadoop技术能够对海量数据进行分布式处理，尤其是处理半结构化和非结构化数据具有先天优势。数据处理层借助大数据技术对原始数据进行抽取、清洗、转换，完成数据集成，按照存储层数据模型重新组织数据，形成能够支持学科评估的标准化数据。
（3）数据存储层
数据存储层是学科评估数据的核心，主要包括业务数据库、业务指标库和评估指标库。业务数据是与学科相关的基础业务数据，业务指标是指描述基础数据的维度，评估指标是指不同评估体系中的各类指标。数据存储层采用数据仓库维度模型存储业务数据，这样更有利于应用层的统计分析。数据存储层会进行数据的标准化，建立统一的编码规则，去除冗余和不一致。
（4）数据分析层
数据分析层是学科评估应用的核心。通过联机分析平台（OLAP）可以快速生成评估报表并进行多维分析，节省人工计算工作量，并以打印输出、文件输出、Email输出、Web等多种方式展现。
2.业务数据模型
业务数据采用星型模型进行数据建模，建模的重点是识别业务实体与学科评估相关的最细粒度属性，作为业务指标维度，它们将构成业务指标库，这些指标可以综合反映业务实体属于哪一个学科评估指标，其他对学科评估不产生影响的实体属性可选择性地保留在模型中，方便进行多维分析。
图2是以科研论文和科研项目为示例的科研业务数据模型。学科维度来标识论文和项目属于哪一个学科，论文类型、刊物类型、刊物分区、第一作者类型维度是评估科研论文的业务指标，项目经费、负责人类型、项目类别、项目级别、项目子级别是评估科研项目的业务指标。
3.评估指标模型
由于目前还没有统一的、标准化的学科评估指标体系，各高校内部以及各权威机构的评估指标体系都不完全相同，而且经常会有变动，如果每次开展学科评估都将基础数据与评估指标重新对应，然后计算评估结果是一件非常困难的事情。
鉴于高校内部描述业务实体的属性相对固定，提取这些属性作为基础业务指标，将业务指标与学科评估指标作匹配，这样业务实体就能对应到具体的评估指标。图3是以科研论文和科研项目为例设计的评估指标模型，设计说明如下：
（1）同一类业务数据用于学科评估的属性可能不完全相同，如纵向项目用项目级别和项目子级别属性来表示评估得分，横向项目是用项目经费来表示评估得分，所以业务指标库要最细粒度，保证能唯一标识所有类别的业务数据。
（2）最细粒度的业务指标可以使评估指标粒度更小、更加科学，从而提高评估结果的科学性和准确性，同时可以满足不同评估指标与业务数据的对应关系，保证了评估指标体系的兼容性和扩展性。如科研论文评估指标和科研项目评估指标都是基于科研论文和科研项目最细粒度业务指标生成。
（3）评估指标类型标识该评估指标是评估哪一业务，如科研论文、师资队伍、人才培养等。评估指标体系标识该评估指标对应的是哪一种评估标准，如校内评估指标体系、国内某权威机构评估指标体系、国外某权威机构评估指标体系等。
（4）评估指标中的开始年份和结束年份用来标识该指标的适用范围，支持生成历史年份的评估报表，可以比较不同年份的评估结果。
（5）评估得分是对评估指标的量化表示，并不是每一个评估指标都有评估得分，有些统计实体数量的就没有评估得分，如统计教师数量、学生数量等。
4.学科评估
学科评估的核心工作是按评估指标去汇总各类业务数据、计算评估得分，然后通过不同的维度去分析评估结果。业务系统通过数据共享方式将各类业务指标提供给学科评估系统，学科评估系统管理员根据业务指标灵活设置评估指标、得分、指标对应时间段，业务数据根据业务指标就可以关联查询到对应的评估指标，进而可以得到评估得分，最终可以自动汇总数据得到评估报表。以科研项目学科评估为例，计算过程伪代码如下：
SELECT EXTRACT （YEAR FROM Tl.立项日期）AS评估年份
，T4.评估指标体系名称AS评估指标体系名称
，T5.评估指标类型名称AS评估指标类型名称
，T3.评估指标名称
AS评估指标名称
.T2.二级学科名称
AS二级学科名称
，T2.一级学科名称
AS一级学科名称
，T2.学科门类名称
AS学科门类名称
，COUNT（T1.项目编号）AS项目数量
，SUM （T3.评估指标得分）AS评估得分
FROM 科研项目Tl
LEFT JOIN学科T2
ON
Tl.学科=T2.学科编号
LEFT JOIN科研项目评估指标T3
ON
Tl.负责人类型=T3.作者类型编号
AND Tl.项目类别=T3.项目类别编号
AND Tl.项目级别=T3.项目级别编号
AND Tl.项目子级别=T3.项目子级别编号
AND EXTRACT（YEAR FROM Tl.立项日期）BE-TWEEN T3.开始年份AND T3.结束年份
LEFT JOIN评估指标体系T4
ON T3.评估指标体系=T4.评估指标体系编号
LEFT JOIN评估指标类型T5
ON T3.评估指标类型=T5.评估指标类型编号
GROUP BY EXTRACT（YEAR FROM Tl.立项日期）
T4.评估指标体系名称
T5.评估指标类型名称
T3.评估指标名称
T2.二级学科名称
T2.一级学科名称
T2.学科门类名称
该学科评估系统具有如下特点：
（1）快速部署、灵活维护评估指标。只要建立评估指标与业务指标的对应关系，就可以完成业务数据与和评估指标的关联，从而可以快速生成学科评估报表。
（2）支持多评估指标体系，可以同时生成基于不同评估指标体系的评估报表，比较不同评估指标体系下的评估结果。
（3）评估指标中的时间属性满足在不同时间段使用不同的评估指标，达到保留历史评估结果的目的。
（4）通过联机分析（OLAP）功能可以快速计算评估得分并进行多维分析。如可以快速生成基于二级学科、一级学科和学科门类的评估报表。
三、应用实例和应用效果
1.应用实例
本文选取上海财经大学校内评估指标体系中纵向科研项目评估为例，介绍具体应用情况。表1是根据纵向项目业务指标设置的评估指标，每一个纵向项目能找到对应的评估指标。
图4是使用数据可视化工具Tableau开发的纵向项目学科评估报表，通过筛选器可以查看不同年份、不同评估指标对应的评估结果，通过钻取功能可以得到学科门类、一级学科、二级学科的评估结果，达到多维分析的目的。如果有多种评估指标体系，可以同时展现在评估报表内，方便横向比较评估结果。
2.应用效果
传统方法做学科评估需要从各个业务部门采集数据，然后分类、设置评估指标、赋值、计算，需要花费大量时间，生成的评估报表会有数据不准确、滞后性、一次性使用等问题。借助大数据技术保证了采集数据的全面性、准确性和及时性，充分发挥大数据技术分布式处理数据的优势，减少人工采集、整理数据需要的巨大工作量。O―LAP技术可以快速生成学科评估报表，完成多维分析，大大提高了学科评估的工作效率和评估结果的准确性。通过该系统校领导、院系领导、业务部门管理人员可以了解每一学科的评估结果，比较不同学科间的评估差异，观察同一学科评估结果随时间的变化趋势，从而为管理决策提供科学依据。使用该系统我校已经完成了校内2013年学科评估报表，同时支持教育部学科评估上报材料。
一、科研立项基础理论的阐述
高校科研项目的评价是一个多属性决策的问题，既要对项目作出定性的评判，又需要得出定量的分析，这样才能作出更合理、客观的评价。而在制定评估指标时，以往都是根据专家等权威人士的意见确定评估体系中各方面所占的权重，这就不可避免受到主观因素的影响。为了提高科研项目评估的准确性，我们需要改进以往的做法。而层次分析法则为人们科学制定高校科研项目评估指标的权重提供了一种新的视角和方法。
层次分析法是指将与某项决策有关的元素分解成目标、准则、方案等层次，通过建立数学模型进行数学计算，对这项决策做出定量分析。
二、进行大学生科研立项评估的一般流程
（一）适当的科研项目评估方法
选择适当的科研项目立项评估方法，各高校可以借鉴国家各部委和省市地方政府比较通行的科研项目评估方法，即专家评估法，采用三段式程序，对待评项目进行基本评估、同行评估和领域评审。
1、基本评估主要是申报材料是否符合要求，项目提供的评估依据和法定程序是否合理的形式审查。关于课题是否重复申报也同样归属于基本评估的评估范围内，主要包括审查项目主要内容是否已经得出结论。
2、同行评议即为邀请相关的同行专家依据项目申请书进项书面评审，由此我们应该建立起科研项目立项评估的指标体系，更具体、全面地研究方案的科学性与可行性。
建立指标体系的主要工作是指标的选取和指标之间结构关系的确定。指标体系要全面反映出所要评价系统的各项目标要求，尽可能地做到科学、合理、可操作，且符合实际情况。主要包括以下几个方面：
① 必要性
通过当今社会对所研究项目的长远要求和现实要求，考察立项研究项目满足社会发展的目标需求状况，从应用的角度考察该项目的实际实施价值。
② 技术先进性
技术先进性是指考察项目关键技术的成熟性和总体方案可行性已达到行业领先或先进水平，突出技术成果的自主创新。对技术先进性的评估主要依靠同行业资深专家的项目分析与指导。
③ 创新性
创新性是指在目前的研究水平下，所研究项目关键的理论创新点与国内外研究已有结论相比较的新颖程度。对创新性的评估主要依靠专业信息检索系统提供的最新研究报告书，从而得出评估的结论。
④ 可行性
可行性通过研究项目的社会、经济预期效益和可持续发展能力来分析项目成果的可行性。
预期效益指科研项目研究的成果将会对经济、社会、文化等各个方面发挥的重要作用，包括预期经济效益和预期社会效益。预期经济效益指项目的研究成果所引起的相关关联方产值和效益的明显增加。预期社会效益则是指项目的研究与完善为社会科技和文化等产业带来的变革与进步，其意义已不仅仅体现在物质层面，非物质的精神历练和文化教育在同样包括其中。
⑤ 合理性
合理性是指各项用于研究的资源配置的合理性。包括：项目经费承受程度、项目成本预测和项目推广应用的规模。
在确定了科研立项评估指标之后，则应确定评估指标的权重。为了使各个考核指标之间能够进行重要程度的比较，并且实现量化分析，层次分析法引入了九分位的相对重要的比例标度
评价主体需要进行一系列的两两比较来确定指标的相对重要性。假设评价主体认为选题必要性比选题先进性分值稍高，介于同等重要和略微重要之间，则数值2可以表达这个判断。如果评价主体认为选题先进性比条件可能性略微重要，则数值3可以表达这个判断。一般地，假设判断具有传递性，则选题必要性相对条件可能性的重要性用6来描述，从而形成了一个判断矩阵A。矩阵A中各元素表示横行指标对各列指标的相对重要程度的两两比较值，需要完成10个两两比较。这些信息可以用表2所示的两两判断矩阵来表示。矩阵中的对角线上的数据都是1，其余数据为相应判断值的倒数。
利用矩阵中的数据可得到指标权重的准确估计值，权重提供对每个指标相对重要性的测度。
根据上述计算方法，求得特征向量即为评估指标的待定权重系数。
这种评估确认的方法在实践中是一种比较有效的方法，可是如果将其运用至实际大学生科研项目的评估，仍应从形式和内容上加以改进。
3、领域评审即由项目领域有关的专家进行答辩评审，根据所研究领域内的需求情况，从研究项目的必要性和迫切性、适应性和可靠性、研究工作的水平、项目最终成果的应用价值等作出全面客观的评审。
三、科研立项评估机制建立的现实价值和社会效益
[关键词] 计划项目；执行情况；评估体系；构建
[中图分类号]R19 [文献标识码] B[文章编号] 1673-7210（2009）01（c）-123-04
我国的科研管理工作，随着科技体制改革的深入发展，已有了长足的进步，而且正在向规范化、系统化、科学化迈进。课题评估是科研管理的重要组成部分，贯穿于课题管理的全过程。课题管理通常包括课题立项评估、执行情况评估、绩效评估三个阶段。
课题执行情况评估一般采用书面检查、现场考察、学术活动报告的形式。评估的目标是准确抽取项目过程管理中的动态因素和指标，进行价值评定和趋势分析，目的是将评估结果反馈到项目内部，以控制项目的进展。也有文献认为，执行情况评估就是依据立项合同书的内容、指标、研究进度、阶段性成果等进行检查评估，从而实现上级主管部门对项目的约束功能，其中进度安排及完成情况、阶段性成果则是重点评估的主要内容[1]。笔者认为，不同来源的课题因资金投入量大小的不同，主管部门对其期望值、要求也就有所不同，其评价指标体系应各有其特点。
课题执行情况管理工作具有承上启下的重要作用，科研项目能否取得较好的成果，与选题的新颖性、科学性乃至实用性有着密切关系，也与研究课题的全面开展和实验工作的顺利进行有着密切的关系。科研管理量化评估研究仍是难点，在评估中如何减少主观性增加客观性，至今尚无公认的评价方法和模式。现有的课题管理和评价体系多集中在前期的立项评估和后期的绩效评估，有关课题执行情况评估系统研究的报道相对较少，尚未见有专门针对执行情况进行评估的较为全面和完善的评估体系。
1 课题执行情况评估体系的构建
我省卫生厅科技计划形式多样，主要有一般计划、推广计划、重大招标、学科带头人培养计划、领先建设学科、省市共建计划等，2005～2007年年度经费均为170余万元，其中以一般计划占整个科研经费额的50%以上。近年来，我省医疗卫生单位的工作人员申报卫生厅科技计划的积极性高涨，申报一般课题项目数逐年递增，2005～2007年3年间的申报数量分别为608项、772项、868项，每年所列课题(包括未有经费的指导性计划)呈逐年增加趋势，2007年度达380项(其中指导性计划140项)，而经费支持强度降为每个课题0.4万元。为进一步加强江西省卫生厅课题的科学管理，构建适合我省省情的卫生课题执行情况评估指标体系，根据现有课题经费支持强度的特点，我们按照省卫生厅课题研管理的要求，结合《江西省卫生厅科技计划课题申报(合同)书》的内容，遵循客观性、独立性、可比性、简易可行的原则构建评估指标体系。
首先，组织学科专家和科研管理人员进行座谈，根据座谈情况筛选出课题执行过程的关键点并逐级分解，分解为一、二、三级指标，初步构建评价指标体系，主要内容包括：科研进度和阶段性成果、目前研究水平、研究资料、经费使用和配套、组织管理、单位支持等情况。
其次，采用问卷调查的方法[2]，将实施过程中的评价指标转化为调查问卷，对科研人员及科研管理人员进行调查，让他们给课题执行过程各项评价指标打分(采用百分制)。发放调查表15份，回收15份。见表1。
我们将上述各项评估指标的分值汇总，采用专家直观判定法计算各项指标平均权重[3]。适当调整评估指标权重系数，将不同的定性指标转化为量化指标，赋予一定权重范围，各项评估指标权重最大数值相加为100分。初步制订江西省卫生厅课题执行情况评估表，并用于每年一度的卫生厅课题执行情况检查。通过检查不断总结经验，针对历次课题检查中存在的实际问题，如：在研课题量大，涉及面广，时间紧，任务重；没有学科专家参与，课题的水平及先进性仅听取课题组成员的介绍，先进性难以把握；经费不足，无经费配套或无经费，难以修改计划以跟上学科发展形势等。对评估指标体系进一步优化、修改、调整、完善。再次发放调查表对科研人员、科研管理人员进行调查。发放调查表20份，回收17份。见表2。
并将该体系评估指标由原表5项一级、23项二级、19项三级指标，改为2个一级、7个二级、26项三级指标（见表3）。并对三级指标予以详细说明。设有带“”号的开关指标两项，即未执行和中止，既课题未开展或申请中止评估分均计为“0”分。
2 年度课题执行情况评估检查
2005年以来，江西省卫生厅科教处每年定期组织科研管理人员，采用本评估表对省卫生厅课题执行情况进行检查，以强化科技计划主管部门的管理职能，加强我省医疗单位课题规范化管理，掌握课题的进展情况，督促科研人员高质量的按时完成科研任务，及时发现和解决项目实施过程中出现的问题。每次检查均将已超期还没有结题和当年即将到期的课题为检点，当年立项的课题不进行检查。对超期课题限定完成时间，延期再不能完成者，目前仍有研究价值的课题督促其限期完成，已无研究意义和价值的课题则提出中止或取消建议，为课题主管部门科学化管理及决策提供依据。检查结果见表4。
对每项指标按要求填写完整、没有缺项的2007年度科技项目执行情况评估表进行整理，评分结果见表5。
3 课题年度执行情况评估体系的特点
①该评价体系采用100分制，细化了评分标准，简单易行，可操作性强。②该评价体系可用于同一课题实施过程中的不同阶段或不同类型科技项目的执行情况评估，能准确、客观地反映本年度科技计划完成情况的优劣。③课题负责人可根据本评估表对项目实施过程进行自评，以了解项目进展情况。④科研管理部门可应用该评价指标对课题研究过程进行管理评价，协调解决课题执行过程中存在的问题。⑤督促课题承担单位进一步完善科研管理制度，为科研计划的完成保驾护航。
4 课题申请延期、中止或取消的主要原因
①实验试剂已无供货来源，研究无法继续开展。②标本、病例获取困难。课题组主要成员调离原岗位或退休，标本、病例没人收集；属罕见病例，病例来源少；所研究病例治疗费用高，一般家庭难以承受。③科研经费不足。在课题执行情况检查过程中，课题负责人多少会反映课题经费不足，以基础性研究课题居多。这类课题往往涉及购买试剂、实验动物、实验设备使用等，费用往往超支，其中有不少指导性计划(经费自酬课题)或承担单位未按上级主管部门政策要求给予相应经费配套。④课题负责人长期出国、下乡、支边、病休，未将有关科研资料进行交接，指定课题组其他成员继续完成该项目；课题负责人调离原单位，未将有关科研资料进行交接，或课题组成员对该项目研究内容不了解，或课题经费已用完，接替者无法继续开展相关研究。课题负责人工作调整(调离原科室)，患者治疗资料难以收集。⑤在研项目与上级主管部门在研项目发生冲突。如：江西省疾病预防控中心的“疫情地理图形分析”与卫生部所立项目类似，且将来要采用卫生部的分析系统，课题负责人申请中止该项目，以减少不必要的重复研究及经费浪费。⑥等待。有的课题负责人按计划合同书早已完成课题研究内容，待即可结题。但课题负责人认为自己课题研究水平较高，论文只投部级专业期刊或核心期刊，而不愿意稿投其他杂志，由于部级期刊或核心期刊所受投稿量大，论文质量要求高，发表时间周期长，以至延期2年，至今仍无法结题。⑦修订、调整计划，影响课题进度。⑧没有实验条件。失去原有研究条件，仪器损坏、实验室暂时撤消及其他原因；原定购买的设备未到位而影响研究开展。⑨课题负责人责任心不强，重申报轻科研。⑩有部分课题第二、第三成员只是挂名不出力，坐享受其利，并不参与或协调与课题相关的日常工作，而列与其后的课题组成员没有积极性；课题负责人除了承担繁重的临床、教学任务外，还要抽出时间进行科研、收集整理病历资料，严重影响到课题的进度。
5 建议
①课题申报单位的科研管理部门要严把申报关，对仪器设备未到位(只有购买意向)的课题不予申报。②强化课题承担单位科研管理部门的管理职能，积极与本单位人事部门、财务部门进行工作协调，对将调离本单位或长期支边、医疗下乡、进修、读研、访问学者等承担有课题负责人，已按科技计划要求已完成者令其限期结题；在研者，进行项目经费审计，作好课题及科研资料的移交工作，并指定该课题组其他成员继续实施；或与单位达成协议，在新接收单位继续实施，完成成果属原单位，以保证计划按时完成；课题没有开展或已延期进展缓慢或难以完成者，则申请中止或取消，并进行财务审计，按有关规定处理。办完有关课题交接手续后，人事部门才予放行。③课题负责人要慎重选择课题组主要成员，把具有真才实学，能为课题踏踏实实做事的人员放在重要位置，实行利益与责任挂钩的原则。④我省高校、研究院所由于自身的种种原因，对卫生厅科技计划没有按政策要求给予经费配套，而教师、科研人员所申报的课题多为基础性研究，需购买试剂和实验动物，利用他人实验设备等，经费需求较大。因此，他们所申报的基础性研究不宜列入指导性计划。⑤指导性计划应以花费资金少，病例、材料、资料易收集的临床、管理课题为主。⑥基础性课题研究费用往往要高于临床研究课题，在经费分配上应予以倾斜，不要搞一刀切。⑦对研究周期内要退休的人员(3年内)主持人申报的课题，原则上不再审批。⑧职能部门在职称评聘时，业绩评估应以课题的结题、验收、鉴定多少作为参考指标，而不以承担课题的多少作为参考指标，以扭转重申报轻科研的现象，维护科研的严肃性。⑨建立完善科研信用管理机制。将检查结果记录到个人科研档案（科技管理数据库）中，并作为其以后课题申报、立项的重要依据；课题未能完成者，不能再申报相同级别计划；课题取消或中止者，近3年内不考虑其科技计划立项。对课题完成情况好单位与差的单位在今后课题立项上将有所侧重。以督促课题承担者按时完成科技计划项目，督促课题承担单位切实加强科技计划的管理工作。⑩将年度检查结果以发文的形式反馈给各承担单位，并在全省通报。
[参考文献]
[1]向亚萍,刘武男,杨晖．科研项目评估研究现状与方法[J]．市场周刊・财经论坛,2004,6:79-81.
[2]李俊勇,刘民,周丽,等．医学科学研究项目评估概述[J]．中华医学科研管理杂志,2004,（2）:78-8.
摘要：目前我国在科技项目开展后对评估工作引起了关注，并获得理论研究成果。但在现行科技项目管理制度中，对绩效评价工作的开展并没有落实，科技项目评估仍处于前评估阶段，对项目结题后的评估工作并没有有效展开，因此本文就对开展科技项目后评估的必要性及相关建议进行简单的探讨与分析。
关键词：科技项目；后评估；必要性；建议
随着我国社会生产力的提高，科技水平也在不断提高，对科技投入力度较大，社会公众不仅关注科技投入的增长，更加注重科技投入的效果。因此多个省市也陆续开展了科技项目评估，科技项目是以政府对科技的投入，而开展科技项目后评估工作是对科技投入进行绩效评价，是事后评价的一种方式，也是对社会组织及成员的科技资源配置，对预期效果及绩效评价的一种特殊的科技活动形式。具体是对以验收的项目进行后续评价[1]。但现行的科技项目管理制度缺乏对绩效评价工作的管理，在科技项目评估中主要集中于一些常规阶段，如事前立项、中期检查及项目结题等，因此开展科技项目后评估工作的研究十分必要。
一. 开展科技项目后评估工作的必要性
（一） 科技投入绩效评价
随着科技投入比重的不断增长，社会公众及政府部门对科技投入的绩效评价工作也更加重视。科技项目作为政府部门对科技投入的重要项目，在科技投入中对主体进行科技管理和绩效考核的重要依据。但在实际中，不论开展任何科技活动都会存在科技产出，从而产生一定的社会效益和经济效益，尤其是在科技项目初步出产生成果的阶段中，在项目完成后对其经济效益与社会效益进行评估，不利于对项目绩效客观产生客观的反映[2]。科技项目后评估工作是对科技投入进行绩效评价的重要形式，而科技项目后评估工作的开展有利于提高政府决策水平，使各个投入主体在科技计划的制定中有章可循，有据可依，促进项目结构设置的科学化，经费投入也更加合理，从一定程度上避免了经费投入的盲从性。
（二） 确保项目管理流程的完整性
在项目管理过程中，对科技项目的前评估工作与后评估工作共同组成项目的评估活动。而在科技项目生命周期和科技项目管理阶段中，后评估工作是科技项目管理工作的末端，与中期检查、立项评估、选题论证等工作组成科技项目管理的全过程和全内容。根据我国科研评价活动的发展方向来看，科研评级逐渐向法治化和规范化方向发展，部分地区已经建立起科学化和规范化的科技项目管理制度，在事前立项、事中执行和项目结题验收等工作已经实现程序化和常规化。随着科研评价工作的发展，社会各界对科技投入绩效评价工作引起了更加广泛的关注，对科技项目后评估工作也受到了关注与业内人士的研究，并获得了一系列理论性成果，积累了一定的实践经验。
二. 开展科技项目后评估工作的建议
（一） 以重大项目作为科技项目后评估的切入点
由于政府对科技项目投入的性质不同，所呈现出的特点也不同，因此对科技项目需要进行分类型评估，根据科技项目不同的特点，选择合理的评价方法、评价标准和评价程序，还要注重评价的实际效果。根据当前对科技项目的自主情况，我国投入的科技经费中有相当一部分是用于对重大科技项目的自主，而这些重大科技项目的经费投入具有关注度高、资助额度大、影响广泛等特点[3]。虽然有多个项目已经完成验收或解题，但在项目完成后，科技项目的运作情况，及对行业产生的影响及带动效应，后续社会经济效益等情况并未进行系统性的考察与评价。因此现阶段对科技项目的后评估工作，要注重与对重大项目或某些技术领域中的专题专项项目展开评估工作。
（二） 加强信息平台建设，实现信息共享
建立完善的科技项目后评估反馈机制，加强信息平台建设，实现信息共享。有关部门在采集评估信息、评估方法及评估指标体系中需要注重其协调性，构建统一的信息评估网络，否则在评估资料的搜集中会出现重复劳动的现象，项目承担单位的工作量大，因此需要加强科研数据采集网络与信息评估网络共享平台的建设，便于在绩效评估中对不同阶段的评估资料进行获取，避免了对评估资料重复获取的现象，同时也提高了搜集信息的公信力，使评估工作更加的科学化和规范化。
结语：
开展科技项目后评估工作存在一定的困难和复杂性，但却具有重大价值和社会现实意义。我国目前对科技项目后评估工作仍处于理论和实践探索的阶段，科技项目后评估工作作为项目管理的重要内容，在项目后评估工作中应在实践过程中不断探索，积累经验，通过科学工作者、社会公众及政府部门的共同努力，促使科技项目后评估工作的规范化和科学化。
参考文献：
[1]李有平，欧阳进良. 国家科技项目监测评估实践的分析与探讨[J]. 科研管理，2008，06：116-121+130.
购物车(0)
