线上期刊服务咨询,发表咨询:400-808-1701 订阅咨询:400-808-1721

海量气象数据实时解析与存储系统的设计与实现

王若曈 黄向东 张博 王建民 罗兵 计算机工程与科学 2015年第11期

摘要:气象数据是一种典型的非结构化数据,在实际应用中其日增量达数十TB,基于关系数据库和传统文件系统的解析、存储与访问模式已成为制约天气预报系统信息化发展的瓶颈之一。为满足全国天气预报平台MICAPS用户对实时数据的及时、快速查询,介绍了能够7*24小时稳定工作、支撑数十TB/天的数据实时解析系统。根据气象数据的多维模型和用户行为,采用非关系型分布式Key—Value数据库,设计实现了高性能海量数据存储系统。实践证明,数据实时解析系统和基于分布式非关系型Key—Value数据库的存储系统能有效满足海量实时气象数据存储、查询和应用需求。该系统已成为中国天气预报业务流程中的核心系统,体现了优异的功能和性能。

关键词:多维数据气象数据分布式解析存储

单位:国家气象中心 北京100081 清华大学软件学院 北京100084

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

计算机工程与科学

北大期刊

¥624.00

关注 46人评论|5人关注