摘要:为了能有效处理海量数据,进行关联分析、商业预测等,Hadoop分布式云计算平台应运而生。但随着Hadoop的广泛应用,其作业调度方面的不足也显现出来,现有的多种作业调度器存在参数设置复杂、启动时间长等缺陷。借助于人工蜂群算法的自组织性强、收敛速度快的优势,设计并实现了能实时检测Hadoop内部资源使用情况的资源感知调度器。相比于原有的作业调度器,该调度器具有参数设置少、启动速度快等优势。基准测试结果表明,该调度器在异构集群上,调度资源密集型作业比原有调度器快10%~20%左右。
关键词:云计算 hadoop 作业调度器 人工蜂群 资源感知
单位:武汉理工大学计算机科学与技术学院; 湖北武汉430070; 湖北省咸宁市公安局; 湖北咸宁437099
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社