线上期刊服务咨询,发表咨询:400-808-1701 订阅咨询:400-808-1721

基于Spark框架的乘潮水位计算与可视化平台

秦勃 朱勇 秦雪 计算机工程与科学 2015年第12期

摘要:乘潮水位计算是海洋环境信息处理的重要组成部分,具有计算量大、计算复杂度高、计算时间长等特性。采用传统集群计算模式实现乘潮水位计算业务,存在计算成本高、计算伸缩性和交互性差的问题。针对以上问题,提出一种基于Spark框架的乘潮水位计算和可视化平台。结合对Spark任务调度算法的研究,设计和实现了一种基于节点计算能力的任务调度算法,实现了长时间序列的多任务乘潮水位数据的检索、获取、数值计算、特征可视化的并行处理,达到了海量海洋环境数据计算和可视化处理的目的。实验结果表明,提出的基于Spark的乘潮水位计算和可视化平台可以有效地提高海量乘潮水位数据的分布式并行处理的效率,为更加快速和高效的乘潮水位计算提供了一种新的方法。

关键词:spark乘潮水位任务调度算法并行处理海洋环境信息

单位:中国海洋大学信息科学与工程学院 山东青岛266100 国家海洋信息中心 天津300171

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

计算机工程与科学

北大期刊

¥624.00

关注 46人评论|5人关注