摘要：为了实现大运行体系下的共享多标准电网模型的统计和分析,提出了一种应用于调度端的基于大数据技术的电网模型管理和分析的架构。首先分析了大数据存储结构的特点,根据电网模型特点采用文本式结构保存电网模型,设计出结构化的主键值表征电网模型的时间、空间和应用多维度的扩展。然后研究了多源异构电网模型的ETL（extract,transform,load）技术,将调度端电网模型提取转存至分布式大数据平台。采用Map Reduce并行计算框架对模型数据进行分布式计算,为了提高分布式计算的效率,降低I/O消耗,采用索引技术对模型数据进行处理,减少各节点对全表数据进行扫描的次数。最后在调度端图形编辑器中,利用所提出的模型分析技术实现了电网图形模型的搜索,利用热度图实现了大数据搜索结果的可视化展示,并通过实例证明了所提方法的有效性。

关键词：etl map reduce 复合索引 大数据 

单位：南瑞集团公司(北京); 北京市海淀区100192; 国网冀北电力有限公司; 北京市西城区100053