摘要:由于我国电网发展迅速、日趋壮大、大量新设备投入使用,需要对海量的设备状态数据和动态信息进行在线收集并在指定的时间内完成处理,这就对海量数据储存与处理提出了更高的要求、带来了严峻的挑战。为了处理这些海量数据设计并实现了基于Hadoop技术的数据储存处理系统,包括Hadoop集群、HBase、集群管理客户端。通过基准测试、IO处理性能验证和查询性能分析,验证了该系统具有分布式海量储存及高效查询的优势,适合电网大数据的储存与处理。
关键词:hadoop hdfs mapreduce hbase电网大数据
单位:中国电力科学研究院 100192 国网宁夏电力公司电力科学研究院 750002
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社