线上期刊服务咨询,发表咨询:400-808-1701 订阅咨询:400-808-1721

基于负载均衡的多源流数据实时存储系统

郭会云; 房俊; 李冬 计算机工程与科学 2017年第04期

摘要:物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题。针对该问题,设计并实现了基于负载均衡的多源流数据实时存储系统。该系统将数据扩展为集群架构,提出了一种基于负载均衡的任务调度算法,实现了任务与数据之间的按序匹配,使数据集群负载均衡地处理任务,实现数据并行存储到HBase数据库中。实验对比结果表明:该系统使各数据的数据分配比例维持在0.3~0.4,同时以约1.5倍于单数据的速度将数据写入HBase数据库。

关键词:多源流数据hbase实时存储系统负载均衡任务调度

单位:大规模流数据集成与分析技术北京市重点实验室; 北京100144; 北方工业大学数据工程研究院; 北京100144

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

计算机工程与科学

北大期刊

¥624.00

关注 46人评论|5人关注