线上期刊服务咨询,发表咨询:400-808-1701 订阅咨询:400-808-1721

基于Hadoop的广域测量系统数据处理

曲朝阳 朱莉 张士林 电力系统自动化 2013年第04期

摘要:为解决目前广域测量系统(wAMS)海量数据处理中存在的数据冗余、处理效率低等问题,设计并实现了一个基于Hadoop的WAMS数据处理云计算平台。首先,给出了平台的体系结构。其次,设计了基于Hadoop分布式文件系统(HDFS)存储的WAMS海量数据加栽方法和利用MapReduce模型实现多个文件数据的并行抽取、转换和加栽(ETL)操作流程。提出了结合MapReduce的MPApriori数据挖掘算法,用于高效地挖掘出连锁故障时各站点之间的相互影响。最后,通过对区域电网WAMS实际数据进行处理,验证了Hadoop处理海量数据的高效性。所述平台适用于高性能局域网络连接的计算机集群对海量电网数据进行文件数据处理。

关键词:云计算数据处理广域测量系统mapreduce

单位:东北电力大学信息工程学院 吉林省吉林市132012

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

电力系统自动化

北大期刊

¥1300.00

关注 31人评论|0人关注