Abstract：In order to improve the evaluation accuracy of the distance teaching quality， and eliminate the insufficient of the current distance teaching evaluation model， the distance teaching quality evaluation model based on support vector machine is proposed. The evaluation index system of the distance education quality is established. The kernel principal component analysis is used to select the key indicators， according to which the data is collected. The support vector machine is adopted to evaluate the distance teaching learning quality. The distance teaching quality data for a certain university is employed to test its performance. The results show that the support vector machine can improve the evaluation effect of the distance teaching quality significantly， and provide the valuable information for the university teaching administrators.
Keywords： distance teaching； quality assessment； support vector machine； verification experiment
0 引 言
教?W质量对于高等教学来说至关重要，而远程教学是高等教学的一个重要组成部分。远程教学质量评估可以帮助教师改进教学方法，完善教学内容，因此远程教学质量评估具有积极意义[1?2]。在实际应用中，远程教学质量与多种指标相关，是一个十分复杂的系统，既有一些定量指标，同时有一些定性指标，而且指标之间也相互影响，使得远程教学质量评估难度增加，如何构建科学、客观的远程教学评估模型引起了高校管理者的高度重视[3]。
多年以来，许多研究人员对远程教学质量评估问题进行深入研究，构建了一些远程教学质量评估模型[4]。文献[5]提出采用模糊理论对远程教学质量评估指标进行处理，然后根据模糊综合评判得到远程教学质量评估结果。文献[6]提出采用层次分析法选择远程教学质量评估的指标，然后对指标进行定量分析，建立远程教学质量评估模型。文献[7]提出基于马尔可夫链的远程教学质量评估模型，并结合学生考试成绩对远程教学质量进行综合评估，这些方法均属于线性建模方法，不能描述远程教学质量的非线性变化特点，而且远程教学质量变化十分复杂，不仅有线性变化特点，而且具有随机性，即非线性变化特点，因此它们存在一定的局限性[8]。随着非线性理论的不断成熟，出现了基于神经网络的远程教学质量评估模型，通过对远程教学质量评估问题进行非线性拟合，找到远程教学质量的变化规律，取得了不错的远程教学质量评估效果。但远程教学有其特殊性，其历史数据有限，导致神经网络经常出现“过拟合”现象，使得远程教学质量评估结果有时与实际情况相差很大，可信度低[9?10]。相对于神经网络，支持向量机可以在有限历史数据条件下建立远程教学质量评估模型，克服“过拟合”缺陷，然而支持向量机在建立远程教学质量评估模型的过程中，评价指标选择十分重要，评估指标过多，学习时间越长，学习效率越低，同时支持向量机的参数也是影响支持向量机性能的一个重要方面，如果参数选择不恰当，那么建立的远程教学质量评估模型没有什么实际应用价值[11]。
为了提高远程教学质量的评估精度，提出支持向量机的远程教学质量评估模型。首先建立远程教学质量评估指标体系，采用核主成分分析选择重要指标，然后采用支持向量机建立远程教学质量评估模型，最后采用某高校远程教学质量数据进行性能验证，实验结果验证了本文模型用于远程教学质量评估的有效性和优越性。
1 相关理论
1.1 核主成分分析法
在主成分分析的基础上，有学者提出了核主成分分析法，通过引入一个非线性映射函数，较好地解决了主成分分析只能提取线性主成分的缺陷，可以提取非线性主成分。设原始数据为表示映射函数，且有那么协方差矩阵的计算公式为：
1.2 支持向量机
支持向量机是一种模式识别方法，设样本为，最大分类间隔的最优化问题如下：
1.3 粒子群算法
设为速度向量，为位置向量，那么粒子位置和速度的更新过程为：
2 支持向量机的远程教学质量评估模型
采用支持向量机构建远程教学质量评估模型时，首先要选择最重要的远程教学质量评估指标，本文采用核主成分解决该问题；然后采用粒子群算法解决支持向量机参数优化问题；最后采用最优参数支持向量机和重要远程教学质量评估指标建立远程教学质量评估模型，具体流程如图1所示。
3 远程教学质量评估的应用实例
3.1 评估指标
选择某高校的远程教学质量评估作为应用对象，评估指标体系如表1所示，共13个指标，采用远程教?W质量评分作为输出（y）。
3.2 采集数据
根据学生、同行对100个老师教学质量进行打分，由于指标的值范围不同，采用式（15）进行归一化处理，处理后的数据如表2所示。
3.3 核主成分提取主成分
采用核主成分对表1中的数据进行分析，得到的结果如图2所示，从图2可以发现，各评估指标相关性十分明显，采用核主成分分析可以去除评估指标之间的相关性，消除了指标间的冗余，减少了指标数量，根据累计贡献率可知，选前7个主成分可以描述原始指标的信息。
3.4 结果与分析
根据图2中的7个主成分对表2的远程教学质量评估数据进行分析和处理，减少原始评估数据的规模，采用支持向量机对处理后的远程教学质量评估数据进行训练，并采用粒子群算法确定模型的参数和宽度参数的值，得到并对最后50个远程教学质量训练样本进行估计，得到的结果如图3所示，实际值与估计值的偏差如图4所示。从图3和图4可以看出，支持向量机可以获得较精确的远程教学质量评估结果，而且远程教学质量评估偏差变化十分小，实验结果验证了该远程教学质量评估模型的有效性。
为了验证支持向量机的远程教学质量评估模型的优越性，选择文献[3，5，10]的教学质量评估模型作为对比实验，它们的平均评估精度及训练时间如表3所示。从表3可知，相对于当前经典远程教学质量评估，支持向量机的远程教学质量评估精度更高，评估速度更快，远程教学质量评估更加可靠，主要是由于该模型集成了核主成分分析、支持向量机以及粒子群算法的优点，建立了更优的远程教学质量评估模型。
关键词： 远程教学； 质量评估； 支持向量机； 验证性实验
中图分类号： TN98?34； TP183 文献标识码： A 文章编号： 1004?373X（2017）13?0126?04
Abstract：In order to improve the evaluation accuracy of the distance teaching quality， and eliminate the insufficient of the current distance teaching evaluation model， the distance teaching quality evaluation model based on support vector machine is proposed. The evaluation index system of the distance education quality is established. The kernel principal component analysis is used to select the key indicators， according to which the data is collected. The support vector machine is adopted to evaluate the distance teaching learning quality. The distance teaching quality data for a certain university is employed to test its performance. The results show that the support vector machine can improve the evaluation effect of the distance teaching quality significantly， and provide the valuable information for the university teaching administrators.
Keywords： distance teaching； quality assessment； support vector machine； verification experiment
0 引 言
教W质量对于高等教学来说至关重要，而远程教学是高等教学的一个重要组成部分。远程教学质量评估可以帮助教师改进教学方法，完善教学内容，因此远程教学质量评估具有积极意义[1?2]。在实际应用中，远程教学质量与多种指标相关，是一个十分复杂的系统，既有一些定量指标，同时有一些定性指标，而且指标之间也相互影响，使得远程教学质量评估难度增加，如何构建科学、客观的远程教学评估模型引起了高校管理者的高度重视[3]。
多年以来，许多研究人员对远程教学质量评估问题进行深入研究，构建了一些远程教学质量评估模型[4]。文献[5]提出采用模糊理论对远程教学质量评估指标进行处理，然后根据模糊综合评判得到远程教学质量评估结果。文献[6]提出采用层次分析法选择远程教学质量评估的指标，然后对指标进行定量分析，建立远程教学质量评估模型。文献[7]提出基于马尔可夫链的远程教学质量评估模型，并结合学生考试成绩对远程教学质量进行综合评估，这些方法均属于线性建模方法，不能描述远程教学质量的非线性变化特点，而且远程教学质量变化十分复杂，不仅有线性变化特点，而且具有随机性，即非线性变化特点，因此它们存在一定的局限性[8]。随着非线性理论的不断成熟，出现了基于神经网络的远程教学质量评估模型，通过对远程教学质量评估问题进行非线性拟合，找到远程教学质量的变化规律，取得了不错的远程教学质量评估效果。但远程教学有其特殊性，其历史数据有限，导致神经网络经常出现“过拟合”现象，使得远程教学质量评估结果有时与实际情况相差很大，可信度低[9?10]。相对于神经网络，支持向量机可以在有限历史数据条件下建立远程教学质量评估模型，克服“过拟合”缺陷，然而支持向量机在建立远程教学质量评估模型的过程中，评价指标选择十分重要，评估指标过多，学习时间越长，学习效率越低，同时支持向量机的参数也是影响支持向量机性能的一个重要方面，如果参数选择不恰当，那么建立的远程教学质量评估模型没有什么实际应用价值[11]。
为了提高远程教学质量的评估精度，提出支持向量机的远程教学质量评估模型。首先建立远程教学质量评估指标体系，采用核主成分分析选择重要指标，然后采用支持向量机建立远程教学质量评估模型，最后采用某高校远程教学质量数据进行性能验证，实验结果验证了本文模型用于远程教学质量评估的有效性和优越性。
1 相关理论
1.1 核主成分分析法
在主成分分析的基础上，有学者提出了核主成分分析法，通过引入一个非线性映射函数，较好地解决了主成分分析只能提取线性主成分的缺陷，可以提取非线性主成分。设原始数据为表示映射函数，且有那么协方差矩阵的计算公式为：
1.2 支持向量机
支持向量机是一种模式识别方法，设样本为，最大分类间隔的最优化问题如下：
1.3 粒子群算法
设为速度向量，为位置向量，那么粒子位置和速度的更新过程为：
2 支持向量机的远程教学质量评估模型
采用支持向量机构建远程教学质量评估模型时，首先要选择最重要的远程教学质量评估指标，本文采用核主成分解决该问题；然后采用粒子群算法解决支持向量机参数优化问题；最后采用最优参数支持向量机和重要远程教学质量评估指标建立远程教学质量评估模型，具体流程如图1所示。
3 远程教学质量评估的应用实例
3.1 评估指标
选择某高校的远程教学质量评估作为应用对象，评估指标体系如表1所示，共13个指标，采用远程教W质量评分作为输出（y）。
3.2 采集数据
根据学生、同行对100个老师教学质量进行打分，由于指标的值范围不同，采用式（15）进行归一化处理，处理后的数据如表2所示。
3.3 核主成分提取主成分
采用核主成分对表1中的数据进行分析，得到的结果如图2所示，从图2可以发现，各评估指标相关性十分明显，采用核主成分分析可以去除评估指标之间的相关性，消除了指标间的冗余，减少了指标数量，根据累计贡献率可知，选前7个主成分可以描述原始指标的信息。
3.4 结果与分析
根据图2中的7个主成分对表2的远程教学质量评估数据进行分析和处理，减少原始评估数据的规模，采用支持向量机对处理后的远程教学质量评估数据进行训练，并采用粒子群算法确定模型的参数和宽度参数的值，得到并对最后50个远程教学质量训练样本进行估计，得到的结果如图3所示，实际值与估计值的偏差如图4所示。从图3和图4可以看出，支持向量机可以获得较精确的远程教学质量评估结果，而且远程教学质量评估偏差变化十分小，实验结果验证了该远程教学质量评估模型的有效性。
为了验证支持向量机的远程教学质量评估模型的优越性，选择文献[3，5，10]的教学质量评估模型作为对比实验，它们的平均评估精度及训练时间如表3所示。从表3可知，相对于当前经典远程教学质量评估，支持向量机的远程教学质量评估精度更高，评估速度更快，远程教学质量评估更加可靠，主要是由于该模型集成了核主成分分析、支持向量机以及粒子群算法的优点，建立了更优的远程教学质量评估模型。
4 结 语
本文提出基于支持向量机的远程教学质量评估模型，针对远程教学质量评估指标多的缺陷，选择核主成分分析方法对远程教学质量评估指标进行预处理，去除一些不重要以及重复的指标，减少支持向量机的训练时间。然后采用支持向量机构建远程教学质量评估模型，最后将该模型应用于高校远程教学质量评估过程，结果表明，该模型减少了远程教学质量评估误差，极大改善了远程教学质量评估效果，而且评估速度更快，比其他模型更适合于远程教学质量评估。
参考文献
[1] 刘强，戴起勋.高等教学大众化条件下教学质量评价体系研究现状[J].江苏大学学报，2003，25（2）：31?34.
[2] 李小梅，屈琼斐，李延保.高校本科教学分层次评估的可行性研究[J].高教发展与评估，2006，22（5）：61?67.
[3] 吴虹.基于模糊综合评判法的高校教师教学质量评价体系的构建[J].统计与决策，2010，19（3）：166?168.
[4] 付海艳，符谋松，张诚一.粗糙集理论在高校教学质量评价分析中的应用[J].计算机工程与应用，2007，43（36）：214?216.
[5] 丁家玲，叶金华.层次分析法和模糊综合评判在教师远程教学质量评价中的应用[J].武汉大学学报，2003，56（2）：241?245.
[6] 陈坤宝.基于模糊理论的教师教学质量评价的研究[J].数学的实践与认识，2011，41（6）：72?78.
[7] 赵立新，王石安，赖元峰.教学质量评估的定量比较评价模型[J].数学的实践与认识，2005，35（1）：12?17.
[8] 张金梅，员世芬，谢克明.人工神经网络在教学质量评价体系中的应用[J].太原理工大学学报，2005，36（1）：37?39.
[9] 杨新佳，龙熙华，韩波.基于BP神经网络的教学质量评价模型研究[J].教育教学论坛，2011（14）：222?223.
[10] 孙晓玲，王宁，梁艳.应用BP神经网络的教学评价模型及仿真[J].计算机仿真，2010，27（11）：314?318.
[11] 刘伟，孙林.基于支持向量机的课堂教学质量评价[J].合肥工业大学学报（自然科学版），2010，33（7）：968?971.
根据对辽宁地区学习者学习过程和学习内容的调查，本平台为了达到对教学质量的测试目的设计了具有地区针对性的三个模块七个功能，具体功能设计如下。
1.1习惯检测模块学习习惯检测模块是通过借助远程教育学习者对学习内容和学习流程使用情况和选择情况的统计，完成对使用者学习习惯数据的获取，学习习惯是一种潜意识的行为，对学习习惯的分析需要一个过程，所以本系统中设计了学习习惯测试功能，该功能通过采用多次不同学习流程和学习内容的测试，形成用户学习行为的整体数据，通过对数据进行分析，得出较为准确的学习习惯分析结论。
1.2方法检测模块学习方法检测模块主要是想找出最适合学习者的学习方法，该模块设计了三个功能包括学习方法测试、问卷调查、学习方法分析，在学习方法测试功能中通过指导学习者使用不同的学习方法对相同的学习内容进行学习，在学习后对学习效果进行测试，并对学习者进行问卷调查，通过对学习者学习过程、学习效果和调查问卷的分析，得出最适合学习者的学习方法。
1.3学习指导模块学习指导模块是系统的特色模块，学习指导是指从学习方法、学习过程和学习习惯进行全面的指导。它涵盖了学习者学习的全过程，从对学习者学习现状数据进行获取，然后采用科学严谨的测试方法进行综合测试，对学习者进行问卷调查，对获取的全部的数据进行综合分析和计算，得出学习者在学习方法、学习习惯中存在的问题，并针对学习者个体提出建议和意见。通过指导逐步培养学习者的学习习惯和学习能力。
2系统功能实现
本系统开发语言采用了Java语言，开发框架采用了S2SH，数据库系统采用sqlsever2008，web服务器采用了tomcat7.0。
2.1习惯检测模块实现习惯检测是借助内容测试的方法实现的，系统首先设计了学习内容的调查，用户对表单中提供的调查内容进行填写，表单提交后由系统根据用户填写的内容进行数据分析，根据分析结论从数据库中生成测试内容。根据生成的数据形成不同的学习流程和学习内容，最终产生多个学习测试方案，要求使用者采用多个测试方案进行学习，为了保证测试结论的准确性和科学性，在每套方案学习流程具体环节的完成上使用者具有全面的选择自由度，可以自行选择流程的不同阶段进行学习，系统为用户提供了测试内容的更换功能，在用户收到测试内容后，用户可以根据对测试内容的了解和判断，提出更换内容的要求，系统将根据用户的需求进行内容的更换，直到用户对测试内容认可，开始对用户进行测试，根据内容测试结论和内容的实际难度分析用户对当前内容的掌握情况。之后由相关内容的专家进行用户学习内容的指导，为用户提出应该继续学习的内容和学习方案建议。在本功能中是通过在S2SH框架中设计了习惯测试和习惯分析两个业务逻辑，在用户进行测试内容更换时，采用了同一难度随机生成内容序列的算法，对随机生成序列中的冲突进行合理性性检查并运行二次生成算法再次生成内容序列，最后根据随机序列生成测试内容。
2.2方法检测模块实现方法检测模块需要完成对用户学习方法的测试、分析，用户的学习方法是用户学习习惯的一部分，用户学习方法的测试是通过对同一内容设计不同的学习方法，用户使用不同的学习方法进行该内容的学习，并在学习后对用户进行问卷调查，通过对学习结果和问卷调查数据的分析，找出最适合用户的学习方法。在本功能中采用相对量化分析算法对测试内容和调查问卷的内容进行分析，这种算法能够在一定范围内容保证的分析内容量化波动的平衡和过滤。达到过滤不稳定影响因素的目的。
2.3学习指导模块实现学习指导模块是系统对用户学习习惯、学习方法进行反馈和指导的手段，该模块完成学习方法指导、学习习惯指导功能，该模块没有进行关于学习内容的指导，这也是本系统和其它系统的一个重要的差别，很多系统的学习指导主要是针对学习者根据对学习者学习内容分析的结论而进行继续学习该内容的学习指导。本系统设计是为了进行专业性的学习评估和指导，因此本系统设计了学习习惯的指导。在本模块中在对用户学习内容、学习方法、学习习惯进行分析，在分析的基础上对学习方法和学习习惯形成指导意见，对用户进行反馈。用户根据学习指导内容进行学习习惯的养成。通过多次使用本系统进行学习测试和学习指导，最终帮助用户形成良好的学习习惯和自主学习能力。
3系统应用效果分析
本系统受到辽宁省社会科学规划基金“农村远程公益性外语课程学习监控体系研究”的支持，同时受到了辽宁省教育部门的支持，本项目在建设完成后，已经在辽宁西部地区进行了实际运行，架设了应用服务器，通过半年多的运行，在农村学习者大力支持下，采集了大量的学习数据。为了达到对学习者学习质量的检测，本系统对学习者开始使用本系统是的学习测试数据和在半年后使用本系统进行学习测试数据进行了对比，对比方法如下：①用户进行学习测试时，测试难度选择的对比。②用户测试结论的对比，主要比较学习者对内容重点难点的掌握程度。③用户调查问卷的对比，主要对比学习兴趣和学习满意度。系统用户学习测试数据5月与10月比较如图2所示。
4结束语
一、教学评估为师生创造良好的学习、生活、工作环境。
学校文化如同一个人的气质与修养，它是一所学校思想、文化、内涵的最直接的表征。它是一种无形的精神力量。它能潜移默化地影响和感染每一位师生的学习、工作和生活情感。我校以教学评估为契机，大力发展校园文化建设，形成了花园式的校园育人环境，在整个校园文化建设中，学校注重“以人为本，环境育人，文化渗透，陶冶情操”的设计理念，学校努力创造各种条件让各位老师都参与到校园这个大“家”的建设中来，每一位老师都交一份校园环境建设与设计的电子稿，全体老师集思广益，群策群力。体现了教师的主人翁精神。在班级文化建设中班主任充分发挥创新与探索精神，千方百计搞好班级环境布置工作，使班级面貌焕然一新。
我校在校园文化建设中。加强了学生的参与，让学生新手参加到校园的美化工作中来，学生通过植树、整理花坛等劳动和精心设计板报等美化校园的活动，美化了我们的校园，净化了学生的心灵，通过评估我校的校园环境建设充分体现了校园建设的诗性化与人与自然的和谐之美。
二、教学评估促进了师生德育素质的提高。
学校的可持续发展取决于教师的可持续发展，只有通过教学评估，深化教师师德素质，培养出一支德育素质过硬的教师队伍，我们的教育才能走上健康发展之路。全体都通过学习教学评估的相关精神，在思想上形成了以下几种意识：爱校如家，思想上力争上进意识；开拓进取待学生热情，严宽有度意识；讲究方法，管理学生有尺度意识；树好形象，处事师生间要有大度包容意识；博学多才，教学要有风度意识；勤奋工作，事业上要有不断进取意识。有了这样的工作意识，我们的教育教学工作才能稳步发展。
通过教学评估主导思想的学习与再认识，老师在思想上对老师的角色和教师所承担的义务有了更为全新的认识，加深了对自己德育素质的高要求，工作中严格要求，不断上进，只要不断提高自己的德育素质，以德促教，相信自己的教学水平将会有更大的提高。
三、教学评估促进了教师的专业发展。
学校为了充分发挥教师中学科带头人、骨干老师的带头作用，加强了对骨干教师和学科带头人的培训工作，选派年轻而教学上有一定成绩的优秀教师参加县、市级的教育培训工作，并要求培训教师将所学的内容及时向全体都是反馈。学校教导处定期围绕教学中的热点和难点问题开展校本研修工作，针对教学工作中的重点和难点问题开展教研活动，在研修工作中教师提高了自身的业务素质，促进了年轻教师的成长。
学校注重教师群体中的合作、交流与发展意识的培养，强调教学评估不是最终的目的，只有教师的通力合作，提高全体教师的教学工作水平与能力，从而全面提高学校的教学质量才是我们的最终目标。教学实践中教师的合作是提高教师能力的最快捷的方法，对教师自己的教学素养的提高和解决教学实践中存在的实际问题有着重要的意义。
学校在教学评优中，加大了对教师课堂教学实效性的考察力度，以促进教师执教能力的提高，通过“一课、两讲、三研”的听评课模式的实施，在骨干教师示范课、优秀教师引领课的指导下，为各层次的教师搭设了课堂展示与交流的舞台，这些活动对教师的成长确实起到了很大的作用。
在教学活动中，我校充分肯定老师在教学活动中的成绩，对在学校学科教学评比活动中成绩突出的老师进行了表彰和奖励。让教师在教学活动中焕发出生命的激情，加快了我校教师队伍的专业素质的成长速度。教学评估促我反思，助我成长。通过学习上级教学评估指示精神，参加学校教学评估工作，使我认识到提高自我反思意识和在反思中不断提高是教师成长的必由之路。学校积极提倡老师写好教学反思，鼓励教师及时梳理自己的教学得失，总结问题，不断在反思中提高自己的专业水平。
四、教学评估要求每一位教师都要用对待生命的态度去对待教育。
联合国教科文组织在“富尔报告”――《学会生存》中，早就提出了著名的论断：“未来的教育必须把教育的对象变成自己教育自己的主体”，这一观点说明如何把学生作为主体是教育所面临的一个重要问题。老师在教学过程是否真正把自己变成被教育的对象的一部分，是否真正用对待生命的态度对待每一位学生这必将为我们的教师队伍提出了更高的要求。随着改革开放与社会的发展，我们的教师队伍也在经受着商品经济的冲击，教育中也出现了乱收费、不正当的补课、体罚学生、甚至违法乱纪现象，这些现象的存在严重地影响了教育的健康、稳定与创新发展，因此教育的发展无时无刻地对教师整体素质提出了更高的要求。
【关键词】 课堂教学 教学质量 教学质量评估 指标体系
Reserch on University Teaching Quality Evaluation Method
【Abstract】 Teaching quality assessment is an important means to improve the teaching level of teachers to improve the teaching effect，but also
to improve the level of university teaching， and an important part of the school level. Scientific and rational assessment method to facilitate the monitoring of teachers' classroom teaching， to discover the lack of classroom teaching， strengthen exchanges and communication with students. This article learn complex systems assessment methods， teaching quality assessment of the general process presented expounded the teaching quality assessment indicator system for the establishment of the principle， to establish a framework of teaching quality assessment indicators system to study one of the indicators of the right to re-analysis， quantitative models and integrated assessment method.
【Keywords】 Classroom teaching teaching quality teaching quality assessment index system
1 引言
目前随着高校招生规模的不断扩大，教师的教学任务过重，部分教师重科研、轻教学，导致课程教学质量呈现下降的趋势，教学质量评估对提高教学质量管理水平非常重要。教学质量评估涉及多方面的因素，必须建立科学的评估指标体系，有效的指标量化方法和评估方法，提高教师的课堂教学能力和实践能力，改善课堂教学效果。目前各高校针从自身特点和培养需求出发，建立了相应的课堂教学质量评估体系，实现了对教师教学质量的评估。[1][2][3]但教师教学质量评估是一项较为复杂的系统研究，具有动态性、开放性、扩展性以及可评价性，是一个需要深入研究的问题。
2 教学质量评估过程
借鉴复杂系统评估理论与方法，教学质量评估的过程一般包括确定评估目标、分析评估因素、构建评估指标体系、指标权重分析、指标量化分析、综合评估、结果分析和采集指标数据，其中采集指标数据可以并行开展，如下图所示：
图1 教学质量评估过程
2.1 确定评估目标。根据高校教学质量管理的总体目标与任务，综合分析考虑影响教学质量的主要因素，确定教学质量评估的目标、范围和要求。
2.2 分析评估要素。根据评估目标，对影响教学质量的因素进行分析、归纳和总结，提炼出若干因素及这些因素间的关联关系和关联程度。这些因素将作为构建评估指标体系的主要依据。
2.3 构建评估指标体系。以关键或主要因素为基准，遵循有关原则，构建合适的评估指标体系。指标体系一般具有逐层分解的结构。
2.4 指标权重分析。分析比较指标的重要程度，设定指标的权重值。
2.5 指标量化分析。建立指标的量化模型，对指标值进行量化。
2.6 综合评估。对指标值进行聚合量化，得出评估对象的总体评估值。
2.7 结果评估。对评估值进行分析，可通过不同评估对象的评估结果的横向比较，找出教师教学的薄弱环节，并制定相应的对策和建议。
2.8 采集评估数据。采集评估数据可与以上的工作同步展开，根据评估指标体系的要求，为评估工作采集必要的数据。具体可采用多种手段，例如：采用调查打分表、试卷分析表和网络教学平台辅助记录信息等。
在评估过程中，构建评估指标体系、指标权重分析和指标量化分析是比较关键的环节，以下对其关键技术进行简要分析。
3 教学质量评估指标体系的建立
教学质量评估指标体系由多方面的要素构成。指标体系是否科学、合理，直接关系到评估的质量。评估指标体系的建立应该把握以下原则[4][5]：
3.1 系统性原则。评估指标应能全面反映被评估对象的综合情况，从中抓住主要因素，既能反映直接效果，又要反映间接效果，以保证评估的全面性和可信度。
3.2 简明性原则。在基本满足评估要求和所需信息的前提下，应尽量减少指标个数，突出主要指标，避免指标体系的过于庞大，给评估工作造成困难，并且避免各指标间的相互关联。
3.3 客观性原则。评估指标的确定应避免加入个人的主观意愿，指标含义尽量明确，并注意指标体系建立人员的权威性、广泛性和代表性，有时还需要广泛征集大家的意见。
3.4 可测性原则。可测性是指标是否能够定量表示，即指标能够通过数学公式或试验统计等方法获得。指标度量的含义明确，便于定量分析，具备可操作性。
3.5 完备性原则。影响教学质量的所有指标均应在指标集中。
3.6 独立性原则。指标间应是不相关的，应减少交叉，防止互相包含，具有相对的独立性。
3.7 一致性原则。各个指标应与分析的目标相一致，所分析的指标间不互相矛盾。
3.8 层次性原则。教学质量评估指标体系呈现多维度的特点，指标体系应具有层次性特点，从下层往上逐层聚合，从上层向下逐步具体。
此外，教学质量评估指标体系不是动态不变的，应根据教学任务和教学目标动态进行调整。指标需要要在动态的过程中反复平衡，有时需要继续分解，有时需要进行综合或删减。图2给出了一个教学质量评估指标体系的示例。
图2 教学质量评估体系示例
4 教学质量评估的定量分析方法
教学质量评估是一个定性与定量相结合的评估过程，其中指标权重分析、指标量化和综合评估过程都涉及到定量分析方法，是实现教学质量评估的关键。
4.1 指标权重分析。指标权重分析用于评价各子指标相对于其上一层指标的影响程度，可利用倍数环比、排序编码、优序对比等方法，其中，比较常用的有层次分析法[6]。该方法应用1～9的比较标度法对指标体系各层指标进行两两比较，即可构造各层指标的比较判断矩阵如下：A=（aij）n×n
其中，n表示指标的个数，aij的取值取自表1。1～9的比较标度法是美国运筹学家萨泰（Saaty）根据心理学原理提出的，具体意义如表1所示。
表1 标度值的定义
针对所构造的判断矩阵，计算判断矩阵最大特征值λmax以及特征向量w，有：w=（w1，w2，……wn）T
λmax=
然后对判断矩阵进行一致性检验。首先计算一致性指标CI，其值由下式确定：CI=（λmax-n） 。
然后确定平均随机一致性指标RI，可通过表2获得。
表2 随机一致性指标RI
计算一致性比率CR，CR=CI/RI。当CR
4.2 指标量化分析。教学质量评估指标体系中，可以建立量化模型对指标进行量化。教学质量评估中，指标可包括效益型、成本型等。效益型指标是指标值越大越好的指标，如网上交流次数；成本型指标是指指标值越小越好的指标，如考试不及格率。
效益型指标的量化模型为：z=
上式中，某指标的取值为y，ymax和ymin表示指标的最大值和最小值，z表示指标的量化值。
成本型指标的量化模型为：z=
上式中，某指标的取值为y，ymax和ymin表示指标的最大值和最小值，z表示指标的量化值。
此外，指标的量化还可以通过专家打分法等其他方法得到。
4.3 综合评估。综合评估通过综合教学质量评估体系的各个指标值，对评估对象作出一个总体评估。最常用的可采用加权平均法。从最底层开始，若某指标的下一级子指标的量化值为z1，z2，……zn，子指标的权重分别为w1，w2，……wn。则该指标的量化值z为：z=wjzj
采用上面的公式进行计算，直到求解出的最顶层指标的量化值，即教学质量的总体评估值。
5 结束语
本文提出了教学质量评估的一般过程，阐述了教学质量评估指标体系的建立原则，建立了教学质量评估指标体系框架，研究了其中的关键技术。教学质量评估过程具有一定的灵活性，在教学质量评估的不同阶段可以采用不同的评估模型，例如AHP方法，模糊综合评估，灰色聚类评估方法等，以适应不同的需要。同时，还应重视对评估结果的分析，挖掘教学质量监控与教学质量水平提高的相关问题，制定配套管理措施，以进一步提高教学质量。
参考文献
1 丁家玲等. 层次分析法和模糊综合评判在教师课堂教学质量评
价中的应用[J].武汉大学学报（社会科学版），2003，56（2）：241～245
2 程云喜. 课堂教学质量的模糊综合评价方法探讨[J].文教资料.
2007，6：124～125
3 杨灵. 高校教学质量管理探讨[J]. 科教导刊：2011，6：34～36
4 宋立新等.构建高校课堂教学质量评估指标体系的实践与思考
[J].北京教育学院学报，2010，24（6）：16～19
关键词：中职教育；简介；特点；问题；策略
前言：教学质量评估体系是教学质量管理中的一个重要环节，能有效地监督学校教学质量。随着我国职业教育的不断扩招，我国中等职业教育的规模已经可以和普通中等教育相等。但是在中等职业教育规模不断扩大的同时，其教学质量的高低也受到人们的关注，而教学质量评估作为一个重要管理环节，也成为人们探讨的重点。
一、中等职业教育教学质量评估体系的简介
教学质量评估就是以教学目标为依据，通过科学的方法来检测教学的质量，以保证教学成果的不断提升。教学质量评估是学校教学过程的重要环节，是学校教学成果反馈的重要渠道，学校可以通过教学评估及时了解教学状况，并不断完善教学方法。
二、为什么要实行教学评估
1.教学质量评估是必要的监督手段。学校通过教学质量评估可以监督教师的教学活动，保证教师严格遵守职业道德与规章制度，保证学生可以接收到良好的教育。
2.教学质量评估是学校及时掌握教学状况，获得教学系统的信息反馈的主要方法。教学质量评估其实就是学校收集教学信息，并对教学信息进行整理归纳对教学中心进行反馈的渠道。通过对教学质量进行有效的评估，学校管理者可以及时掌握学校的教学状况，接收教学系统的反馈信息，对这些信息进行分析，从而作为对教学方法进行改善的依据，防止教学中心对教学决策的偏差。
3.教学质量评估可以对学校的教职工起到激励作用。通过教学质量的评估，学校领导可以掌握学校教师教学的好坏以及教学质量的高低，结合其他考核对教师进行合理客观的评判，并通过适当的奖罚制度对教师进行质量评估结果的反馈，让教师了解自己在一定时间段内的表现与自己的不足之处，使其可以及时改变自己的教学方法。此外，通过适当的考核与奖罚，可以激励优秀者，鞭策落后者，在各个教职工间形成竞争力，使学校的教学充满活力、动力，让教师的教学具有压力，以提升教师的工作积极性，保证教师的教学质量。
4.提升教学理论研究水平。教学中心可以通过教学质量评估对教学的考核，对教学活动中出现的不足总结一定的经验教训，并对这些不足做出弥补，在弥补过程中将教学中的偏差上升到教学理论与实践不符的高度，对不符合实际的教学理念作出调整，提升教学理论水平。
三、中等职业教育教学质量的特点
1.中等职业教育主要是建立在初中文化程度之上的，它的教育主要是让这些受教育者具有符合社会岗位的基本能力。除此之外，还可以为社会培养一线工作岗位上那些具备初级工作能力和高素质的工作人才，使那些受教育者具备实际工作需要的操作能力，并且符合社会价值观。
2.教育以适应社会为准。中等职业教育评价教育成果的标准是以能否符合社会需要，在这种适应性教育模式下培养出来的学生需要符合社会、国家、单位的要求。
3.教学重视实践。与普通教育相比，中等职业教育最大的特点就是重视实践，中等职业教育的教学目标就是为社会培养适用性人才，因此，学生的动手能力显得极为重要。
四、中职教育教学质量评价指标
1.学生素质。中职教育与其他普通学校一样，学生始终是教育的中心，因此，学生的素质也成为衡量学校教学成果的重要因素。例如，学生的专业技能水平、获取证书率、创新能力等。
2.社会影响力。中职教育是与社会联系最为紧密的学校，因此，教学质量评估必须把社会的评价作为重要依据，例如，学生的就业率、就业质量等。
五、中职教育教学质量评估中存在的问题
1.评价体系存在缺陷。在我国的中职教育中，许多教学质量评估多是来自于多年的评价经验和对其他高校评价体系的借鉴，对于自身的教学质量评估并没有一个完善的评价标准，体系不够完整。评价过程中，各方面协调性差，且存在着不公平现象。
2.评价的整体参与性低。教学评价的主要参与者是教学主管部门、教育者、学校三方面。在实际操作中，教师作为被评价者经常被排斥在外，那些评价者在评价中掌握着主动权，被评价者却无权干涉，只能对那些评价者听之任之，毫无主动性。
3.教学质量评价面狭窄。在目前的教学中，多以知识教学为中心，教学质量评估时也是把课堂知识教学作为评价主体，忽视了其他实践教学的评价。许多评估只存在于形式，将那些简单规范的教学进行评价，对复杂的实践操作能力教学置之不理，这对整体教学是不利的。
六、对于完善中职教育教学质量评估体系的建议
1.明确评估目的。教学质量评估要把以评估促进改善，以评估促进发展作为主要目的。首先，在中职教育中，通过教学质量评估发现教学活动中的不足之处，将评估结果作为改善教学不足的依据。其次，教学质量评估中的奖罚制度可以激励教学工作者，调动教师的工作积极性，同时还可以引导中等职业学校不断完善教学制度，改善教学方法，规范学校中的监督管理，提高教学成果。
2.完善教学质量评估原则。（1）评估全面性。教学的目的并不仅仅是对教学知识的传授，因此，教学质量评估的主要考核对象应该是受教育者的效果。这些学生的培养效果取决于教师的素质、教学设备和学校的管理水平等多个方面。在评估时，管理者应该把这些方面客观、公正地反映在评估中，体现教学评估的重要价值。（2）教学评估符合科学规律。教学质量评估最重要的是要符合教学的一般规律和教学的一般特征。教学评估要定时、定量、定性，使教学质量评估既有中等职业教育的特点，又有新教育时期的特性。（3）教学具备开放性质。中等职业教育主要是为社会培养应用型人才，需要符合社会实际需要，因此，中职教学过程必须与社会和企业等多方面紧密结合起来。在教学质量评估时，管理者要把社会、企业、家长等多方面的意见结合起来，对被评估者给出一个公正的结果。
3.加强教学质量保障。教学过程中要加强教学质量保障，完善教学质量保障体系。中职学校通过对教学质量保障制度的完善，加强学校教学活动管理，提升学校教学成果。
中等职业教育学校担负着为社会培养实用性人才的重任，其教学质量一直受众人关注。教学质量评估作为学校教学管理的一个重要部分，对于保障教学质量有着巨大作用，但是就目前来说，我国中职教育的教学质量评估仍存在着一些不足之处，需要我们去不断地探究、完善。只有具备无懈可击的教学质量评估体系，教学质量才能得到保障，才能为社会培养更多的实践水平高的人才。
参考文献：
[1]李本千，宗俊明.中职学校教学质量评价体系的科学构建[J].现代教育科学：中学教师，2010（05）.
[2]孙志河，刁哲军.中等职业教育教学质量评估体系的研究[J].中国职业技术教育，2008（28）.
[3]李海宗.高等职业教育产出质量保障机制研究[J].职业技术教育，2006（10）.
关键词：教学质量，评估指标，评价体系
近年来，随着产业结构调整和优化升级，国家对职业教育的重视程度越来越高，中等职业教育规模不断扩大，生源增多，而与之相配套的实施、制度却相对滞后，导致中等职业教育质量整体不高，严重制约中等职业教育健康发展。
概念界定
教学质量指的是教学对学生达到预期教育结果的促进程度，包括学习活动是否合理、恰当，是否考虑了学生的特征，它涉及众多的因素，特别是教师对学生和内容的处理，对学习任务和活动的组织地处理等。
教学质量评估，就是根据教学目标，运用科学方法对教与学的质量进行衡量和判断的过程。它是教学工作的重要组成部分，是学校教育评估的基础，是教学质量管理的主要环节。教学质量评估的主要目的是为掌握教学的实际情况、加强教学管理、进行教学改革、指导教学提供依据。
影响中等职业学校教学质量的要素
教学质量的高低遵循着一定的客观规律性，其评价内涵及标准又随着时代的发展和教学改革的深化而变化和提升。影响教学质量的因素有多方面，主要表现为人的因素与物的因素，人的因素包含管理理念以及队伍建设，物的因素主要包括教学实施和办学条件。管理理念是影响教学质量的灵魂，师资队伍是决定教学质量的关键，课程及培养模式是核心，发挥学生主观能动性是提高教学质量的前提。
1.管理理念
学校管理理念反映治校的价值取向，从调查及实践中发现，现在部分学校存在短视现象，教学的中心地位不够突出，课程的核心地位没有保证，学生培养的规格不够统一，校企间的联系不够紧密。职业学校的质量管理要求领导者从顶层进行设计，即以素质为核心，以技能为重点，以就业为导向，从人才培养方向、目标、出路多方面去设计，改革教学模式，改善师资结构，加强课程建设，深化校企合作。
2.师资队伍
师者，传道、授业、解惑也。从职校的性质与任务看，教师的责任更大，对教师的要求也更高，既要具有专业理论，也要掌握基本技能，而目前大多数职业学校存在教师结构不合理，技能不精湛，生师比不均衡、职称结构不配套，专业课教师数量不足，低职称年轻教师比重大，“双师”素质偏低等现象，影响教育质量的整体提升。在构建教学质量评价体系时，要充分考虑师资结构及素质，重点应放在增加数量、稳定队伍、提高“双师”素质和优化“双师”结构上。
3.教学设施
职业教育区别与普通教育的一个重要特点是重视技能实践训练。培养学生的技术运用能力是职业教育实践教学的重点，同时又是培养学生创新能力的有效途径。目前，我省中等职业学校通过星级评估创建，大多数学校达到三星级、四星级水平，有近百所国家改革发展示范校，一百余所省高水平示范性职业学校，办学条件得到改善，学校的实训实施、现代化教育实施等基本满足教学需要，但由于技术更新较快，存在教学实施与产业升级、结构调整不相适应，区域之间发展不平衡，不同类别学校之间差异较大，有些设备相对滞后，影响了教学质量的提高，只有适应市场需求，及时补充更新改造实训实施，才能保证质量提升，促进学校健康发展。
4.教学管理
教学工作是学校的中心工作，教学管理是学校管理的主体。教学质量管理是教学管理的核心，是针对学校教学开展的计划、组织指挥和控制的一系列活动，是学校围绕人才培养教育目标进行的计划、组织、实施、检查和督导、审核等所有管理活动的总和，是实现教育教学目标的保障和调控体系。教学管理体系由管理队伍、管理机构、教学管理文件、教学质量监控等诸要素组成。目前，有些学校特别是民办职业学校，出现管理机构不全，管理人员缺乏，管理职责不明，管理制度不齐等现象，根据提升职业学校质量要求，职业学校应建立起质量标准、工作规范、组织管理、考核奖惩制度，利用学生、教师、教学督导等多方信息来源渠道，及时准确地收集、整理、分析教学动态，为决策提供依据，并通过管理机构使教学决策迅速有效得到贯彻实施。
5.课程和培养模式
课程是指学校按照一定的教育目的所建构的各种教育、教学活动的系统，是职业学校教学的核心，其设置的合理与否将直接关系到教学目标的实现、学生综合能力的培养。课程是由培养目标、教学内容的选择、教学方法的改革、教材建设、课程考核等方面组成。目前，有些职业学校在教学时间安排上偏短，在课程设置上随意性比较大，在教学模式上比较单一，实践教学环节上以仿真为主，对质量的提高影响较大。因此，职业学校要加强对人才培养模式的改革研究，坚持理论与实际相结合，走校企合作、工学结合的道路，体现在“做中学、做中教”的职业教育特色。
此外，学生的学习态度、教师的工作态度和能力、学校的教学氛围等隐性因素对教学质量也产生着重要的影响。
中职教学质量评估基本方略
1.评估目的
“以评促建，以评促改，以评促管，评建结合，重在建设”是教育评估的根本指针。通过对职业学校的质量评估，准确、全面衡量职业学校教学状况，找出薄弱环节，为学校的教学改革决策提供依据，为教学质量的提高提供保障；引导职业学校深化教学改革，树立“以全面素质为基础，以能力为本位，以培养学生创新精神和实践能力为重点”的新的职业教育教学质量观，建立和完善学校内部的教学监控与保障机制，规范中等职业学校的教学管理。
2.评估原则
（1）全面性原则。从教与学两方面全面考核，只有全面、客观、真实地揭示教学双方评价个体和群体在教学活动中的真实情况，才能全方位审视教学全过程，肯定成绩，发现不足，提出建议，体现教学质量评价的应用价值。
（2）科学性原则。遵循职业教育规律，采取定量的绝对标准和定性的相对标准相结合，以定性的相对评价为主，既有职业学校办学的基本标准，又有职教现代化的较高标准，结合各地实际，制定有不同区分度的目标。
（3）导向性原则。通过评估引导学校全面贯彻教育方针，全面实施素质教育，注重实践能力和创新精神培养。
（4）可行性原则。在教学运行和学生质量评价中，要注重过程评价的积累，注意把握好定性与定量评价的关系，注意评价的社会背景、评价实体所处的内外环境，坚持实事求是的工作精神。
（5）主体性原则。突出学生在评价中的主体地位。学生既是评价的对象主体，又是评价动力主体和评价结果主体，评价体系强调学生自我评价作用的发挥，旨在调动学生奋发向上，激励学校不断改进和提高教育服务水平。
（6）开放性原则。要广泛吸纳行业、企业专家、用人单位、教师、家长、社区等社会各方面参加评价，广泛听取各方面的意见，查看社会对学校的认可程度，从不同角度审视学校的教育目标、教学运行过程和教学效果。
3.评估体系设计重点
（1）德育工作。
考察“德育为先”执行情况，德育机制构建、德育渠道创新、德育队伍建设、德育工作“五落实”，德育课程改革，德育经费保障以及校园德育文化建设等。
（2）人才培养模式。
重在评估教学指导方案是否科学，学制是否合理，学时是否充足，教育教学模式是否多样，校企合作是否广泛。完善职业学校优质课堂标准，建立课堂教学质量分析、评比和反馈制度，推进备课、上课、说课、听课、评课等“五课”教研和示范课、研究课等“两课”评比，完善“2.5+0.5”学制教学进度安排。
（3）专业建设。
重点评估是否建立专业设置动态调整机制，优化专业布局和层次结构，实现专业与产业的有机对接，按照教育与产业、学校与企业、专业与岗位相对接的原则，动态调整专业设置。侧重查看专业建设的层次，以及专业实训基地水平。
（4）队伍建设。
重点评估高水平教师队伍的结构与水平。查看研究生学历教师、“双师型”教师的数量及质量，教育教学骨干和专业带头人、教学名师和领军人才在教学中的引领作用，教师参加各类教学比赛、技能比赛成果等。
【关键词】 模糊数学; 评估指标; 综合评判
1 方法简介
长期以来，教育质量问题一直被视为学校教育的生命线，而课堂教学质量又是直接影响学校教育质量的关键。为此，学校的教学职能部门采取了一系列方法对教师的课堂教学工作进行督导和评判。其中使用问卷调查评估教学质量就是一种行之有效的方法。此法不但应用广泛，而且问卷范围越大其结果也就越客观，这也给最终的统计带来了大量的后续工作。因此，我们用模糊数学中综合评判的方法，对教师的课堂教学这一多因素，多变量的行为过程及其效果进行综合评价，以判别教师的课堂教学质量隶属的等级水平并进行比较和鉴别。根据综合评判中的最大隶属原则[1]哪个等级上分量值大，则教学质量就属于该等级。
2 确定指标和样本
现将评估教学质量的多项指标及每项指标的四个评定等级绘制成表1。表1 各项指标的评价等级
评价指标 评价等级优良可差教学态度(教案、仪表、教书育人等)x11x12x13x14教学内容(教学目地、课容量、准确度、详略等)x21x22x23x24教学方法(板书、语言、应变力、启发式、手
段等)x31x32x33x34教学效果(知识与技能掌握、师生互动、课堂
气氛等)x41x42x43x44
其中xij为学生对考核课程各项评价指标进行等级评定的百分数，满足4j=1xij=1, i=1,2,3,4。则(xij)为四阶评价矩阵。例如，对大连医科大学卫校2008级126人进行数学课的问卷调查，其中有120人对教学态度这一指标的评价等级为优，则x11=120 /126≈0.95 。
3 综合评判
综合评判是模糊数学中应用非常广泛的一种方法，它对评价多因素产品质量问题有较好的效果。首先需确定评价指标集合u，等级集合v，及评价指标的权重，然后根据综合评判中的最大隶属原则判别其归属。
3.1 确定u、v、r 取定评价指标集u={教学态度 、教学内容、教学方法、教学效果};评价等级集v={ 优、良、可、差 };根据表1写出某一课堂教学的评价矩阵为：
r=0.250.250.250.25
0.000.120.620.26
0.120.130.750.00
0.000.380.500.12
3.2 确定评价指标的权重
我们根据各评价指标对授课质量的影响所占比重，分别确定权重如下：教学态度 0.15、教学内容0.30、教学方法0.40、教学效果0.15。得到权重向量 =(0.15，0.30，0.40，0.15)。
3.3 综合评判
根据综合评判中的最大隶属原则，计算r得一向量，若哪个分量值最大，则把结果判为该分量所对应的等级上。
r为模糊矩阵的乘积运算。两个元素相乘时用"∧"表示，按最小运算原则两个元素取小的一个;两个元素相加时用"∨"表示，按最大运算原则两个元素取大的一个。
如(0.15∧0.25 )∨(0.25 ∧ 0.12) ∨(0.20∧ 0.13) ∨(0.40∧ 0.38)=0.15∨ 0.12 ∨0.13∨0.38=0.38。
由以上运算法则得到下面结果：
r=(0.15，0.30，0.40，0.15)
0.250.250.250.25
0.000.120.620.26
0.120.130.750.00
0.000.380.500.12=(0.15，0.15，0.40，0.26)
归一化得 =10.96×(0.15，0.15，0.40，0.26)=(0.16，
收稿日期：20091118
作者简介：张凤林，男，安徽省安庆市疾病预防控制中心。研究方向：食品检验。
0.16，0.42，0.26)
这就是持权重的综合评判结果。认为该门课堂教学优的为16%，良的为16%，可的为42%，较差为26%，根据最大隶属原则其综合评判结果为可。
4 讨论
本研究对反映课堂教学质量的诸多因素教学态度 、教学内容、教学方法、教学效果分别取权重0.15、0.30、0.40、0.15，这是因为教学内容及教学方法在课堂教学质量评价中占有重要的地位。
然而，在综合评判过程中评估指标越多，各指标权重越不易确定，这时可将诸多指标进行分类编组其效果会更好。用模糊数学中综合评判方法定量地综合评价课堂教学质量，能有效地避免人为主观因素的干扰，克服单因素评价的片面性，同时可减少许多后续的统计工作。因此，可将这一方法制成计算机软件，作为学校教学职能部门评估课堂教学质量的模型使用。
购物车(0)
