线上期刊服务咨询,发表咨询:400-808-1701 订阅咨询:400-808-1721

大数据全生命周期中关键问题研究及应用

刘道新 胡航海 张健 徐秀敏 中国电机工程学报 2015年第01期

摘要:随着大数据时代的到来,大数据全生命周期中获取、存储、处理、挖掘等方面的研究逐步展开,成为行业、政府的研究热点。该文以国内外电力行业、金融、经济等数据为研究对象,对大数据的存储、处理、挖掘三大关键问题进行研究。根据大数据特点进行分类;建立基于改进稀疏矩阵、指标维度和指标数据分离方式的大数据压缩存储模型,实现大数据的压缩存储和动态扩展。提出按照指标分类及关联关系建立数据缓存模型的方法,实现大数据的高效访问和灵活转换。在挖掘展现时应用动态可配置的设计方法,解决数据查询海量页面的动态生成问题。该文可为大数据存储、处理、挖掘研究提供有价值的参考,并将研究成果应用到统一资源库的建设中。

关键词:大数据压缩存储缓存机制动态配置统一数据资源库

单位:华北电力大学经济与管理学院 北京市昌平区102206 国家电网公司 北京市西城区100031 北京中电普华信息技术有限公司 北京市海淀区100192

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

中国电机工程学报

北大期刊

¥2539.20

关注 23人评论|1人关注