摘要：Hadoop是大数据处理的基础框架,负载均衡策略的优劣对Hadoop集群的处理性能有着非常重要影响。现有调度算法的一个基本假设是每个节点的性能相近,因此分配任务时仅需考虑节点的空余槽数即可。但在异构Hadoop集群中,各个节点在CPU、磁盘、内存等方面都存在差异,标准Hadoop调度算法容易发生不合理调度,导致负载不均衡,从而影响整个集群的性能。提出了一种新的负载均衡算法LBAHE (Load Balancing Algorithm Based on Heterogeneous Environment),将CPU、磁盘、内存等作为调整因子加入到节点分配任务调度中,实现在异构集群下的优化调度。仿真实验结果表明,算法能够实现更有效的负载均衡,有效提高Hadoop在异构环境下的执行性能。

关键词：负载均衡 异构集群 任务调度 hadoop框架 lbahe算法 

单位：中央民族大学附属中学; 北京100081冤