线上期刊服务咨询,发表咨询:400-808-1701 订阅咨询:400-808-1721

一种基于Spark在线Web服务的高效低延迟调度资源算法

丁晶晶; 张功萱 计算机工程与科学 2016年第08期

摘要:Spark作为流行的分布式数据处理框架,其资源的调度方式和资源的利用率直接关系到集群计算处理的效率和速度。针对Spark资源调度问题,在Spark自身考虑的资源因素内存和空余核数下,提出新的调度算法。算法通过实时监视工作节点资源利用情况,增加对节点CPU处理速度和CPU剩余利用率的考虑,重新调度与分配资源,为Spark作为web服务高并发请求、低延迟响应提供优化,还可以减少传统方式没有考虑的资源因素导致出现的资源利用倾斜现象,提高资源的利用率。实验表明,改进的资源调度算法有较好的效果。

关键词:sparkweb服务资源监视资源调度

单位:南京理工大学计算机科学与工程学院; 江苏南京210094

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

计算机工程与科学

北大期刊

¥624.00

关注 46人评论|5人关注