时间:2023-03-07 15:04:34
绪论:在寻找写作灵感吗?爱发表网为您精选了8篇数据解决方案,愿这些内容能够启迪您的思维,激发您的创作热情,欢迎您的阅读与分享!

随着RFID的应用普及,RFID与传统应用系统的交互与协同成为了中间件的一大课题之一。SAP公司推出的AII(Auto ID Solution)是一个网络化的集成中间件,能够以惊人的速度处理海量的Tag 数据,并提供数据获取、数据建模、数据过滤、数据归并、数据存储乃至数据联接等数据处理功能。 AII同时提供双向的数据交互功能,从而能够实现比如实时的价格更新、产品召回、实时道路指引等功能。
AII技术功能介绍
AII作为连接RFID技术的中间件解决方案,主要包括下几个功能模块:
联接模型(Association Model) AII 的数据核心是联接模型。任何一个联接模型的实例就是从RFID Reader和其他RF信息收集系统返回的系统环境状态和实际连接信息数据的一个具体化展现(实例),其架构精确地表现了需要被监控的业务逻辑和物理世界。联接模型是对业务逻辑和物理世界非常好的一个抽象。
企业系统适配器(Enterprise System Adaptor) 企业系统适配器提供了双向数据交换的功能,并且能够非常方便地整合SAP相关产品的系统应用,当然也同时支持非SAP系统的企业应用整合。适配器所提供的是一个轻量级的整合服务,是企业信息系统和全局信息总线(Global Information Bus)之间的桥梁。
全局对象数据引擎(Global Smart-Items Data Engine) 全局数据引擎具有对所有被跟踪的应用对象(Smart-Items)进行全局数据维护的功能,包括对象的应用数据、历史信息,以及对象与企业应用架构之间的关系等等; 同时,在需要的情况下,可以提供数全局数据配对和数据整合的功能。
本地对象数据引擎(Local smart-Items Data Engine) 本地对象数据引擎有着和全局对象数据引擎相同的结构和类似的功能,但是它只提供和维护本地对象的数据,本地对象数据引擎与数据总线相连,为整个系统提供数据。
全局数据总线(Global Information Bus) 全局数据总线功能是一个中央数据集成控制器,提供不同企业应用系统的对象(Smart-Items) 之间的数据集成和交换。全局数据总线支持B2B类型的文档交换、基于-订阅模式的事务操作、乃至实时的点对点通信。
本地数据总线(Local Information Bus) 本地数据总线与全局数据总线类似,提供基于-订阅模式和点对点模式的通信,然而本地数据总线提供对本地数据的交换和消息的控制。对本地数据的处理效率和对本地消息的响应速度优于全局数据总线。它将对本地提交的数据和消息根据本地规则作出处理和整合,并按照规则和路径提交到全局总线或者数据/消息接受者; 对于有些数据,在传输到本地总线前,已经经过了相应的控制引擎或者数据引擎的处理。
控制引擎(Control Engine) 控制引擎通过单一设备控制器和网络设备控制器对设备协同运作进行管理,同时也有一些数据过滤的功能。控制引擎可以通过数据总线来访问设备控制器; 在实时要求的情况下,也可以直接访问控制器(通过不同的端口,或者特定的网络等方式); 可以通过配置来决定不同的访问方式。
单一设备控制器(Simple Device Controller) 单一设备控制器在硬件抽象层面控制一些单个设备,比如RFID读写器。可以把它看作是设备的服务器。目前SAP的演示系统中,可以用它来触发事件,然后传输到数据总线上。
网络设备控制器(Network Device Controller) 下一代RFID产品(感应器、读写器)将能够直接在网络上插拔使用(成为即插即用设备)。新插入的设备,将被自动地识别、配置、管理和控制,这些都将通过网络设备控制器,通过数据总线来完成。
数据读写适配器(Data I/O System Adapter) 数据读写适配器提供了数据引擎和本地控制系统之间的数据整合和交互功能。从而形成一个本地的闭环控制机制。可以用在生产控制、任务-资源控制、质量控制等系统,和对一些第三方的系统集成中。
架构整合
HDS融合数据中心解决方案的核心之一是其企业级存储系统。HDS的企业级存储系统在虚拟化技术、精简配置以及可靠性、可扩展性等方面独树一帜。从USP到VSP,HDS的企业级存储系统在存储虚拟化技术方面不断创新,赢得了许多行业用户的认可。一些电力公司、互联网企业等都采用了HDS的虚拟化存储系统和云计算解决方案。
在过去的几个月中,HDS的云计算解决方案赢得了许多重要的客户。比如,北京市计算中心选用HDS NAS Platform(HNAS),避免了系统无序扩大,同时消除了流量瓶颈,提高了文件和数据共享的性能。借助HNAS的虚拟化功能,如虚拟服务器、虚拟存储和虚拟存储池,存储管理员可以更有效地为不同应用和用户分配存储空间。HNAS也是北京工业云计算服务平台基础架构的一部分。像这样的成功案例还有很多。不过,你不要认为HDS的云计算解决方案只包括存储,HDS融合数据中心解决方案就是让用户从整个基础架构的角度,而不是从存储的角度去思考构建云环境。HDS融合数据中心解决方案通过整合存储、计算、网络和系统管理软件,可以加速并简化云架构的部署。许可表示:“由于缺少云部署的标准和方法论,许多用户在构建云架构时通常会感到无从入手。HDS融合数据中心解决方案将存储、服务器、网络、管理等进行优化集成,可以帮助用户找到一个切实可行的构建云架构的方法,让用户获得企业级的可靠性、高性能,同时简化云架构的部署流程,加快部署速度。”
简化流程
已的HDS融合数据中心解决方案主要包括以下三个产品:基于Microsoft Hyper-V Cloud Fast Track的HDS解决方案将HDS的存储、计算与网络以及包含Hyper-V和System Center的Windows Server 2008 R2相结合,可以为构建高性能的私有云和实现云架构的自动化提供支撑;Hitachi Converged Platform for Microsoft Exchange 2010是一款经过预测试的特定应用解决方案,它可以实现快速部署,并具有很好的适应性、可预测性和无缝扩展能力;Hitachi Unified Compute Platform(UCP)增强了HDS融合数据中心解决方案的协调和管理能力,它利用创新的软件,通过一个简单但功能齐全的界面管理所有的服务器、存储和网络设备。
纵观国内实施ERP系统终告失败的企业,结合ERP的核心管理思想,可以将国内企业实施ERP系统失败的原因划分为项目管理的原因和技术管理的原因。
项目管理方面的原因或者是由于企业核心业务流程不合理,系统实施时并未对其进行充分合理优化,而仅仅套用了ERP供应商已有的功能模块;或者是项目实施过程中缺乏系统控制;再者是部分企业领导层只是将ERP系统看成一种普通信息系统的引入,低估了实施系统的难度,导致实施过程中配合力度不够,后续投资跟不上。
其实,在企业实施ERP系统的过程中,还存在着一个巨大的技术管理问题,就是企业未能有效地进行基础数据的管理,这是导致企业ERP实施失败的重要原因。
数据管理的缺陷
众所周知,ERP之所以能帮助企业进行高效管理,必须是建立在对大量全面、准确、实时的企业数据的访问、存储和分析的基础之上。而现在的一些ERP供应商为了减少成本,降低客户的疑惑度,便淡化了对企业基础数据结构的优化程度,基本忽略了对企业现有业务数据的整顿,只是从企业现有的零散和混乱的数据源中调用数据,来迎合其产品的数据输入模块,最终导致了企业基础数据处理的严重缺陷。
首先,在企业实施ERP之前,没有及时地调整企业基础数据,为后来的系统数据管理紊乱埋下了隐患。通常,存在以下三方面的前台数据操作问题:(1)数据输入不规范,同一部门不同的成员有不同的数据输入格式,造成数据不单一。(2)数据操作权限混乱,从而存在数据来源多,同一业务在不同部门的赋值不同。(3)企业本身一些业务不规范,没有及时形成业务数据,导致在系统中的数据不完整。
其次,由于ERP涉及到财务、销售和生产等各方面的数据,因此,数据结构复杂,数据源均来自于不同的二级部门,对于那些有一定发展历史的企业,已经形成了较为稳定的、且各具特色的二级单位数据库。由于在各个部门之间缺乏数据通道,各个二级单位的后台数据库都成为了“信息孤岛”。如果在实施ERP系统的时候,不能很好地解决这一问题,就无法集成企业的基础数据。
亮出三招
结合国内企业在实施ERP过程中存在的上述问题,作者认为可以围绕企业基础数据做出一系列的调整和管理,主要有以下三招。
整顿信息流
以现代企业管理为指导,以信息管理技术为工具,对企业现有的信息流进行整改,包括调整企业的职能模块,优化企业业务流程。ERP项目上马前,要充分了解企业信息流的情况,从企业权利结构方面入手,分析严重影响数据输入、数据产生或数据管理等的原因,在调整企业职能模块的基础上,还需要优化企业业务流程。
构建数据管理模式
现在很多大型企业的二级单位已经建立起了相对稳定的业务子系统,同时具备自身的数据库结构。但是,由于缺乏各部门之间的信息通道,所以,就形成了一个个“信息孤岛”。
实施ERP也就是要解决这样一个问题,即如何权衡效益和成本,综合各个业务子系统的信息。全部重建固然可能达到最好的数据集成,但成本巨大;全面包容,又会造成数据平台过多,数据格式过于分散,不能达到ERP系统的基本要求。因此,最重要的工作就是要先认真地考察各个业务子系统现有的数据结构,考虑其数据规模、数据库本身结构、接口设计优劣状况来确定哪些可以沿用不动,或变动较小。同时,应该明确规定各类数据的出处,保证特定数据具备确定的数据源,清理各部门之间数据管理重叠区,从而可以建立ERP的综合数据管理模式。
关键词: 数据持久层; Spring JDBC; Hibernate技术; 映射文件配置; 多层Web
中图分类号: TN911?34 文献标识码: A 文章编号: 1004?373X(2016)14?0084?03
A simple solution for data persistence layer
LIANG Bi
(College of Computer, Sichuan University of Arts and Science, Dazhou 635000, China)
Abstract: In view of the problems existing in the data persistence layer that is implemented by Hibernate technology, such as cumbersome configuration of mapping file and inflexible data access, a simple solution based on Spring JDBC to realize data persistence layer is proposed in this paper. The process of its implementation is discussed in detail by combining with the development of practical application system. The actual development proves that the solution is feasible. It can avoid the configuration of mapping file, and it is also simple, fast, flexible and efficient to complete data persistence layer tasks. In addition, it can integrate with upper layer and lower layer, and can better meet the need of multi?layer Web application system.
Keywords: data persistence layer; Spring JDBC; Hibernate technology; mapping file configuration; multi?layer Web
0 引 言
数据持久层是经典Web应用程序三层架构中非常重要的一层,它用来解决面向对象应用程序向关系数据库存储数据时数据类型不一致的问题,即ORIM (Object Relation Impedance Mismatch)问题[1]。其基本的解决方法是使用ORM(Object Relation Mapping)思想,该思想注重利用元数据将数据在对象与关系之间来回映射,从而确保数据访问代码不直接侵入域对象类。目前已经有许多ORM 框架技术,如iBATIS,Hibernate及JPA等,并且Hibernate以其轻量级、纯粹的面向对象编程理念等优势成为目前主流的持久化实现工具[2]。
然而,由于Hibernate对JDBC封装得过于完整,导致开发人员无法灵活使用JDBC的原生SQL,所以其没有JDBC直接访问关系数据库效率高;同时Hibernate遵循ORM原则,导致映射文件配置过于复杂,当遇到大型项目时映射文件和面向对象代码是非常庞大且繁琐,这直接影响到Web系统的性能及维护;而且Hibernate处理批量数据时较弱,对于批量数据的修改和删除不适合用Hibernate来完成。针对Hibernate这些缺陷,本文提出了一种基于Spring JDBC的数据持久层解决方案,并将其应用于可移动文物管理系统持久层部分。
1 Spring JDBC
Spring是目前流行的轻量级一站式企业应用程序解决方案,它以一种统一的方式对持久化数据访问提供支持,并将数据持久化中固定格式的代码封装为Spring JDBC,因而Spring JDBC本身就是对JDBC轻量封装,它由Core,Datasource,Object和Support四个不同包组成,其中最重要的是Core包,它提供了核心功能的类,并且JdbcTemplate是该Core包中最重要的类[3]。
JdbcTemplate类通过提供相应的模板和辅助类来完成对数据的CRUD操作,进而解决了传统JDBC对数据库的繁琐操作以及代码重复的问题;它替开发人员完成了资源的创建以及释放工作,从而简化了对JDBC的使用;它还可以帮助开发人员避免一些常见的错误,比如忘记关闭数据库连接等;而且JdbcTemplate将完成JDBC核心处理流程,比如SQL语句的创建、执行,而把SQL语句的生成以及查询结果的提取工作留给开发人员的应用代码[4]。它还可以完成SQL查询、更新以及调用存储过程,可以对ResultSet进行遍历并加以提取等。并且,得益于Spring良好的隔离设计,JDBC封装类库可以脱离Spring Context独立使用[5],其架构如图1所示。
2 简捷的数据持久层方案研究
2.1 数据持久层方案设计
源于传统的Web应用程序三层架构,将数据持久层从业务逻辑层分离出来,使其处于业务逻辑层和关系数据库层之间,这样持久层相当于“桥梁”角色,然后采用Spring JDBC来实现,其具体方案设计[6]如图2所示。
由图2可见,由于业务逻辑层的Java应用程序必须通过JDBC来访问关系数据库中的数据,因此持久层本质上实现了对传统JDBC API的封装,同时它还实现了数据类型由Java面向对象类型向标准的SQL类型的转换,进而实现了高质量的对象关系转换工作,从而有效解决了对象关系阻抗失配问题。而这些任务当前由Spring JDBC来完成。它通过借助JdbcTemplate模板类使开发人员能够更加专注于数据访问的具体逻辑,而不会再关注数据资源管理及异常处理等,这不仅简化了JDBC的使用,且在一定程度上减少了错误的发生,同时也使数据持久化操作变得更加简捷灵活。
2.2 数据持久方案实现
本数据持久层是基于Spring JDBC来实现的,因此需要创建VO值对象及DAO接口,并通过DAO来持久化VO。其中,VO专门用来封装持久层对象的数据,它通过POJO类来具体实现;DAO则用来抽象和封装对关系数据库中数据的访问操作,并形成统一接口对外提供服务,同时隐藏操作关系数据库的实现细节,进而有效实现业务逻辑层与数据库层的松耦合[7]。DAO本身管理着与关系数据库的连接,内部封装了JDBC数据操作、事务处理等API。Spring框架为JDBC的DAO提供了JdbcDaoSupport支持类,使用该类能够更加简化JDBC操作,因为在JdbcDaoSupport中已经提供了JdbcTemplate的变量,只要自定义类继承JdbcDaoSupport就可以直接调用JdbcTemplate相关的方法来实现数据的持久化[8]。
在实际开发中,首先需要定义DAO接口,该接口对外提供CRUD操作方法;然后定义DAOImpl实现类,该类需要实现DAO接口并继承JdbcDaoSupport,通过调用JdbcTemplate相关的方法(如update,mapRow等)来完成对关系数据库中数据的具体操作任务[9]。业务逻辑层只需调用DAO接口中对外提供的方法,而不需要关心DAO的具体实现细节,这样有利于Web应用程序在不同的持久层技术之间切换,进而增强了系统开发的灵活性和有效性。ApplicationContext.xml配置文件中除了统一配置数据源及事务之外,还需要配置业务逻辑Bean,数据持久DAOImpl,并通过DI为DAOImpl注入Factory,为业务逻辑Bean注入DAOImpl,这样有机地完成Web应用程序中各Bean组件的组装和集成。
3 简捷的数据持久层方案应用
文物是人类在历史发展过程中遗留下来的遗物、遗迹,它是人类宝贵的历史文化遗产[10]。随着新文物的出土和发现,以及新技术的引进,传统的文物管理方式已无法满足当今文物管理的需要,开发一个响应速度快、拓展性强和维护性好的可移动文物管理系统非常必要,通过它来管理已经向外公开的可移动文物,让更多的人对它们有所了解和认识,进而推进文物的普及工作。为了快捷实现该系统的数据访问,增强用户体验,将所提出的数据持久层方案应用到本系统的持久层部分,具体实施过程如下:
3.1 环境搭建
环境搭建是具体使用某种框架技术最重要的一步,在此过程中根据不同框架技术所完成的具体工作不一样,但一般都有导入相关的Jar包,创建和配置相关文件,并进行框架的初始化等工作。由于Spring JDBC使用相对简单,因此在可移动文物管理系统持久层部分的环境搭建中,只需进行相关Jar包的导入即可,如导入spring.jar,commons?logging,commons?dbcp.jar,commons?pool.jar,commons?annotation.jar和jtds?1.2.jar等。
3.2 配置ApplicationContex.xml
ApplicationContex.xml文件是整个可移动文物管理系统的基础,它所起的作用至关重要,其能将本系统的持久层、业务逻辑层及其他各层有机的融合在一起,并实现对系统中所有Bean的有效管理。ApplicationContex.xml在本系统持久层部分主要完成数据源配置、事务配置及其他一些初始工作,用于保证Spring JDBC正常完成该系统VO的持久化任务,其关键配置如下:
3.3 创建VO值对象
一个VO通过一个简单的Java对象即POJO来实现,一般情况下,一个POJO就表征了与数据表里某条记录相对应的实体,它由实体的一些属性及属性的访问方法组成,其中除了无意义的主属性只能被获取外,每一个属性都对应着两个外部对象访问的方法,即get()和set()。本可移动文物管理系统相关的POJO有User.java,Admin.java,CulturalRelic.java,Picture.java,Video.java,Msg.java和News.java等,其中3.4 创建DAO接口及实现类
根据本文所提出的数据持久层方案,使用DAO设计模式来完成可移动文物管理系统持久层任务。DAO模式的实现包括DAO接口和DAOImpl实现类。其中,DAO接口负责声明访问特定POJO所对应的抽象业务逻辑方法,DAOImpl实现类则负责使用Spring JDBC封装的JdbcTemplate来具体实现DAO接口中声明的抽象方法,这样可以减少组件间的耦合度。在本系统中,创建的DAO接口有UserDAO.java,AdminDAO.java,CulturalRelicDAO.java,PictureDAO.java,VideoDAO.java,MsgDAO.java和NewsDAO.java等,然后通过调用JdbcTemplate提供的方法对这些DAO接口进行实现。其中CulturalRelicDAO的实现类CulturalRelicDAOImpl里删除可移动文物的方法核心代码如下:
4 结 语
本文使用Spring JDBC来设计和实现了Web应用程序中的数据持久层,并将其应用于可移动文物管理系统持久层部分,解决了目前主流的Hibernate在完成持久层任务时所遇到的一些问题。通过实际应用开发证明,该持久层方案是正确可行的,且具有如下三方面特征:
(1) Spring JDBC通过借助JdbcTemplate可以执行对关系数据的CRUD操作,不仅代码简单、容易编写,而且相对于Hibernate对JDBC全封装模式更为灵活。
(2) Spring JDBC继续了以前JDBC的SQL访问方式,不需要在HQL和SQL之间相互转换,可以直接操作关系数据库,进而提高了数据访问速度,增强了用户体验。
(3) 该方案没有*.hbm.xml映射文件繁琐配置,避免了运行时产生大量的冗余数据存放于内存,进而提高了系统性能以及系统的开发效率。总的来讲,基于Hibernate技术实现Web应用程序中的数据持久层已出现较多问题,而通过Spring JDBC来完成数据持久层任务,具有简单、快捷、灵活及高效等特性,因此值得进一步推广使用。
参考文献
[1] 闫宏印,张卫争,刘超慧.开源框架下Web应用分层的设计与实现[J].计算机工程与设计,2008,29(23):6023?6025.
[2] 夏斌,李志蜀.基于Hibernate框架的数据持久层的研究及应用[J].计算机应用,2008(9):2446?2448.
[3] Spring Reference Documentation. Introduction to the Spring framework [R]. [S.l.]: Spring Reference Documentation, 2015.
[4] Spring JDBC Reference Documentation. Introduction to the Spring JDBC [EB/OL]. [2013?12?24]. http://docs.spring.io/spring?data/jdbc/docs.
[5] 张俐,张维玺.基于Spring和JDBC的蔬菜运销管理系统在数据持久层的应用[J].安徽农业科学,2012(7):4401?4403.
[6] 张少应,程传旭.基于Hibernate持久化层的设计与实现[J].计算机技术与发展,2014(12):101?104.
[7] 刘德山,杨彬彬.基于Hibernate框架的数据持久层架构设计及应用[J].微型机与应用,2011,30(15):12?14.
[8] 高剑,朱程荣.Spring框架在数据持久层的应用研究[J].微机发展,2005,15(11):106?108.
为何副本数据管理(CDM)和数据虚拟化对企业来说很重要?因为数据虚拟化解决方案缓解了生产数据副本造成的数据散乱现象。
由于应用程序开发、质量保证、用户验收、生产环境支持、报告和备份,企业通常为每个生产数据源生成8到10个副本。因此,一个5 TB的生产数据库会形成40TB到50TB的下游副本,而一家《财富》500强企业可能会有1000多个生产数据库生成PB级的副本数据。有效管理副本数据所需的存储量大得惊人。而数据虚拟化消除了所有的冗余数据副本,同时、而且更为重要的是缩短了生成副本所需的时间,这就缩短了应用程序开发时间、质量保证时间和恢复时间。
如今,只有少数几家公司致力于这个领域,更多的公司在进入这个市场,因而很难辨别厂商营销炒作的真伪。
在概念证明(POC)阶段,先要搞清楚哪些问题?可以通过哪些测试来证明?
POC之前先搞清楚这五大问题
1.支持我的环境?
第一个也是最明显的目标是,找到一款很容易与贵公司的基础设施、数据源和应用程序架构栈整合起来的解决方案。这包括内部部署环境以及可扩展到远程环境或云环境。你还应该确保自己不被只支持单一源环境的解决方案牢牢锁定。你是否需要不止一种类型的数据库,比如Oracle、SQL Server、Sybase或MySQL等?是否需要支持某应用程序,比如Oracle EBS或SAP?是否需要多个主机操作系统,比如Linux、AIX、HP/UX、Solaris和Windows?该解决方案是需要专门硬件,还是可以在现有的系统资源上运行?
2.拥有必需的功能?
该解决方案是否拥有特定的内置功能,以满足预期的业务目标和要求,比如
■加快应用程序的周期
■是否有特定的接口和功能来支持应用程序开发人员
■确保数据的隐私性和安全性
■包括屏蔽、审计和监管链
■加快集成测试
■该解决方案是否支持快速质量保证环境和专门侧重质量保证的功能,比如破坏性测试所需的回滚(恢复原状)。
■将数据迁移到云环境
■该解决方案是否支持云计算基础设施?该解决方案是否支持从内部数据源复制到云数据源,反之亦然?
■改进备份和灾难恢复策略
■该解决方案是否支持长远和精细的恢复点目标(RPO)和快速的恢复时间目标(RTO)?
3.可扩展到新的使用场合
该解决方案通过在整个公司带来其他应用场合,从而降低总体拥有成本、提供更高的投资回报率方面做得多好。比如,如果我的虚拟化数据与生产数据同步,以便用于集成测试这一应用场合,那么现在我能屏蔽该数据,将它迁移到公有云,让分析团队能够对相同的数据集执行商业智能分析吗?
4.推荐相关客户
该厂商有没有与我企业规模和业务需求相似的客户?我是否要帮助厂商开拓新领地、因而经历发展初期的困难,还是说厂商已经有金融、零售、制造、政府、高科技及其他行业垂直领域的领军企业如今在使用其解决方案?
5.根据证明阶段简易又快速
该厂商是否愿意在实际的POC过程中向我展示所有这些功能?对方是否能够在现场POC过程中做到所有的销售和营销宣传名副其实,并有定义明确的成功标准?
POC过程中运行的五大测试
1.时间点配置
根据确切的时间点配置环境。用什么方法找到确切的时间点?该解决方案让我可以具体根据分钟、秒钟或事务来配置数据环境有多容易?最终用户(比如开发人员或业务分析人员)只要按一下按钮就可以完成配置,还是说需要自定义脚本和多个人员(比如存储管理员、数据库管理员和系统管理员)才能完成?
2.环境的重置、分支和回滚
鉴于我已经配置好了父环境(生产环境的副本),我想做一些变化,配置该环境的分支(即子环境)。对子环境做一些变化后,现在我想让子环境恢复到1个小时或6个小时之前。这如何完成?最后,我想把这两个环境都重置到原来状态。
3.用最新数据更新父环境和子环境
我已建立了许多父环境,又从这些父环境另外建立了许多子环境。有什么方法将最新数据从生产环境迁移到父环境和子环境?这个过程可以由开发人员或分析人员来完成吗?要是有影Ⅱ向的话,会对生产数据有何影响?
4.根据同一时间点配置多个源环境
我有多个使用场合(商业智能、集成和灾难恢复等),我需要根据某一个时间点来对齐和配置多个不同的数据源。(比如说,根据当地时间下午5点对齐我的所有源数据集)。这该如何实现?
5.自动化,自助服务,审计功能
“我们期待IBM信息管理软件在即将到来的2012年呈现更加快速的增长,成为大数据时代中信息管理的利器。IBM一直提倡‘Think Big’,鼓励自身深入思考、突破创新。在如今的大数据时代,我们对‘Think Big’有了崭新的诠释:Think of All Things That Big Data Makes Possible――深入思考并发掘大数据的无限可能,而这也正是IBM信息管理解决方案致力于为用户创造的价值。”IBM软件集团大中华区信息管理软件总经理卢伟权表示。
这是一个不折不扣的“大数据时代”。据统计,全球90%的数据都是在过去两年中生成的。为了应对数据大爆炸的挑战,IBM推出针对大数据的全面解决方案,彻底突破了传统数据仓库和单一的数据管理体系,能够为企业组织提供实时分析信息流和Internet范围信息源的能力,实现更为经济高效的大数据管理,并为在此之上的业务分析和洞察奠定坚实基础。
IBM中国开发中心信息管理首席架构师及大数据架构师陈奇博士表示:“汹涌而至的大数据时代带来严峻的挑战。然而,挑战背后也蕴藏着无限的机遇。IBM可以帮助各行各业的客户将其数据价值不断延伸,为企业发掘发展动力。我们的大数据平台愿景就是将大数据融入企业,通过IBM大数据解决方案和客户端及合作伙伴解决方案,为用户提供优化的大数据环境,更加积极及时、经济高效地从规模化、多样化和高速化数据中提取有效观点,帮助用户获得突破性的洞察力和价值,化挑战为机遇,化大数据为高价值。”
IBM大数据解决方案实现了针对大数据管理的企业级可靠性和适应性实时分析,在行业中具有突出的优势。其最广泛的平台与数据仓库、数据库、数据集成、业务流程管理等组件充分集成,得以将大数据融入企业,充分满足各种业务需求,帮助企业稳步发展。
IBM大数据解决方案跨多个行业,能够帮助多渠道客户分析其观点和体验。目前已有数千家新客户正在转到应用IBM的大数据解决方案上,以便从最广泛的大数据中获取可执行的洞见。丹麦能源企业维斯塔斯(Vestas)通过使用IBM大数据软件分析PB级别的天气数据,改善风力涡轮机的放置位置,从而获得最佳能量输出效果,以前需要数周方可完成的分析现在仅需不到1个小时就可完成。
大数据在2012年备受关注,主要是由需求和技术两方面因素所决定的。在需求方面,一方面是因为企业在经过一段时期的信息化建设后,积累了大量的数据资产,迫切需要让这些数据产生价值。另一个方面,海量非结构化数据随着社交网络、移动应用的普及而产生,如何分析这些非结构化数据并使其产生价值,成为企业所面临的新的挑战。
在技术方面,内存计算技术的成熟,使得企业实时分析海量数据成为可能。Hadoop技术的完善,为非结构化数据分析提供了可能。
在大数据解决方案方面,不能不提软硬件一体机。这两年,具有简化IT、降低IT运维成本优势的软硬件一体机越来越受到供应商和用户的青睐。值得一提的是,当前的软硬件一体机中,很多都是大数据解决方案:最早推出软硬件一体机的甲骨文公司的第一款软硬件一体机产品Exadata数据库一体机就与大数据相关,甲骨文后来推出的Exalytics商业智能一体机和大数据一体机都是用于数据分析的;被SAP视为革命性的产品SAP HANA属于内存计算一体机,其最大的优势在于可实现海量数据的实时分析;IBM今年推出的PureSystem系列一体机中,就有PureData;微软与惠普联合推出的BI一体机,也是用于数据分析的……
尽管市场已经非常火热,但是当前大数据市场应该尚属于启动阶段,因为大部分用户对大数据仅仅有想法而没有真正的行动,而他们对于大数据分析的需求是显而易见的。相关的解决方案也有待完善,特别是针对非结构化数据分析的解决方案。
IBM PureData
作为IBM PureSystems专家集成系统家族的新成员,PureData能够帮助企业在几分钟内完成对PB数量级大数据的管理和分析,高效获取洞察力,从而实现企业市场、销售等各部门业务目标的快速推进,并帮助各行各业的企业解决几大难题:如何利用更简便、经济的方式分析业务数据,了解客户购买行为,减少客户流失,开展需要大量数据支持的市场推广活动以及实时发现欺诈行为。
不同于其他数据系统,PureData能够将系统安装和配置的时间从24天减至24小时,将复杂的分析时间从数小时骤降至数分钟,并实现在单个系统上管理100多个数据库的卓越性能。通过PureData系统,企业得以在传统IT环境或云环境中为业务用户提供高性能的数据服务,在不到10天的时间里完成Web应用的部署,而同样的任务过去至少需要6个月才能完成。
针对特定工作负载,PureData共有三个型号,分别是PureData System for Transactions(PureData事务系统或PureData交易系统)、PureData System for Analytics(PureData分析系统)和PureData System for Operational Analytics(PureData运营分析系统)。
目前,60多家ISV(独立软件供应商)已经表示将全力支持PureData。PureData将为这种开放的合作模式提供新的平台,激励更多合作伙伴开发适用于PureData的解决方案。同时,IBM还将在这些解决方案和应用的基础上推出数种新模式,涵盖社交业务、资产管理和业务流程管理,全面简化软硬件资源的配置和管理,为20多个行业应用领域提供支持。
IBM大数据平台
IBM充分发挥其整合的优势,结合信息管理、业务分析等领先的软件提出了“大数据平台”架构,为各行业企业选择和构建大数据解决方案提供了全面的技术支持。IBM大数据平台突破了传统数据仓库和数据管理理念,能够为企业组织提供实时分析信息流和因特网范围信息源的能力,让这些企业实现更为经济、高效的大数据管理,并为在此之上的业务分析奠定坚实的基础。
IBM大数据平台的四大核心能力包括Hadoop系统、流计算、数据仓库和信息整合与治理:
·IBM在Hadoop系统领域的代表产品是InfoSphere BigInsights。IBM将其在数据管理上的丰富经验与Hadoop开源平台高效整合,使得BigInsights相比普通的Hadoop开源工具的可用性、可管理性、安全性得以大大提高,成为最主要的静态大数据分析工具和平台;
·IBM在流计算领域的代表产品是InfoSphere Streams,它是目前业界独有的流数据处理技术。InfoSphere Streams能够在诸如气象信息、通信信息、金融交易数据的管理中动态捕捉信息,进行实时分析,为静态数据的处理提供有效补充。
·IBM在数据仓库领域的代表产品是在线交易型数据仓库InfoSphere Warehouse和分析型数据仓库Netezza。Netezza可将大量数据整合到统一平台上,计算能力高达TB级。
·信息整合与治理是IBM在业界独有的方法论和技术,其代表产品是Optim和Guardium。近期推出的Guardium 9能够将如DB2这样的传统关系型数据仓库和基于Hadoop的分布式存储系统进行统一管理,并提供完整的数据生命周期管控。
微软SQL Server 2012
微软SQL Server 在市场上有着良好的口碑,是全球使用较为广泛的数据库与商业智能产品。微软SQL Server提供了对混合IT环境的支持,全面支持私有云和公有云,并可实现平滑迁移,满足企业实现数据库以及应用扩展的需要。
作为云就绪信息平台,SQL Server能够满足企业关键业务应用环境所提出的高稳定性、高性能、高安全和易管理等需求,同时提供全面的商业智能及数据仓库解决方案,帮助企业更好地挖掘数据背后的知识,提供强大的工具实现并展现数据分析结果,且能根据企业需要实施个性化的云以及大数据解决方案。
作为微软的信息平台产品,SQL Server在数据处理与分析市场一直处于领导地位。SQL Server是全面的数据库、数据仓库、商业智能解决方案。它不仅提供全面的满足OLTP处理的功能,而且提供多种组件以满足不同规模客户的多种需求。它是第一个带有商业智能全套组件的数据库产品,在数据分析,特别是OLAP领域有着极好的口碑。
针对大数据,SQL Server具有自己本地以及云端解决方案,与微软强大的商业智能组件以及前端展现方式相结合。
国泰君安证券股份有限公司已经借助微软SQL Server 2012提升了数据分析能力,实现了对用户的精准服务与趋势跟踪。国泰君安是目前国内规模最大、营业范围最宽、机构分布最广的证券公司之一。基于以往使用 SQL Server 产品的良好经验,以及客户数据建模、多维分析与钻取、动态报表分析与展现等领域的应用需求,国泰君安选用微软 SQL Server 2012来搭建新一代的零售客户BI分析系统。国泰君安充分利用新一代 SQL Server提供的对大数据量的数据分析及计算能力,结合Power View及PowerPivot 的易用性,更高效、更自主地发现业务数据的变化及趋势,提高针对零售客户的业务洞察力,优化以客户为中心的证券服务。
SAP实时数据平台
SAP实时数据平台是一套紧密集成并优化,专为应对当今企业数据管理的最新挑战的领先技术平台。
凭借革命性的创新产品SAP HANA与业界领先的Sybase数据管理产品,SAP实时数据平台这套全方位集成、实时处理的平台,在包括数据交易、迁移、存储、处理和分析等在内的信息生命周期的不同阶段,不仅能够帮助企业用户管理海量数据存储,即时处理高速流量数据,实现智能数据流动,数据可视化消费,而且还可以帮助用户大大降低基础架构的复杂性,在满足应用基本的设计和蓝图管理需求的同时,为下一代大数据应用和分析提供卓越性能,持续保证对云计算和移动应用的平台支持,从而有效降低成本。
值得一提的是,所有这些平台功能的交付,都将在尽可能不影响客户现有应用的前提下进行。
作为SAP实时数据平台的核心,SAP HANA独具创新性,并已得到市场的充分验证。SAP HANA不仅能帮助客户以快10万倍的速度获取和传递信息,还将为企业信息系统提供强劲动力,通过技术创新促进业务发展,最终帮助企业以全新的思路拓展业务,达成卓越绩效。
Teradata Aster大数据综合分析平台
Teradata Aster大数据综合分析平台是业内首款集成Teradata Aster以及Apache Hadoop的大数据解决方案,整合了MapReduce和Hadoop的技术优势。
作为卓越的企业级平台,Teradata Aster大数据综合分析平台使用了业内独有的SQL-MapReduce接口语言,以及全面的MapReduce 分析功能库。该分析库内嵌50多项预建的MapReduce功能,提供开箱即用的图形、文本、行为、营销分析,以及更多分析功能。
作为一个真正采用混合架构的平台,Teradata Aster大数据综合分析平台包含Aster Database、Aster SQL-MapReduce和Apache Hadoop。由于深度集成了Aster与Apache Hadoop平台,用户无需接受复杂的培训即可通过SQL-H连接器和SQL-MapReduce使用标准SQL访问Aster和Hadoop数据进行分析平台。
与市场上其他典型平台相比,该平台的数据吞吐量及分析速度可分别提高19倍及35倍。
Oracle Exadata X3 Database In-Memory Machine
Oracle Exadata X3 Database In-Memory Machine是Oracle Exadata数据库云服务器的最新升级产品。
Oracle Exadata X3 Database In-Memory Machine是甲骨文云平台的关键组件。Oracle Exadata X3-2和X3-8 Database In-Memory Machine均可在闪存和随机存储器(RAM)中存储多达数百TB的压缩用户数据,几乎可以消除由磁盘驱动器减速而产生的读\写功能运维费用,从而使Exadata X3系统成为应对云计算中不同类型和不断变化的工作负载的理想数据库平台。
为了以最低成本实现最高性能,Oracle Exadata X3 Database In-Memory Machine采用了多个存储层次,可自动将所有活动数据转移到闪存和随机存储器中,同时将活动性较低的数据保留在低成本的磁盘上。
关键词:企业 数据保护 数据存储
中图分类号:TP391 文献标识码:A 文章编号:1007-3973(2011)008-075-02
80年代以后,以IT技术为代表的信息产业迅速崛起,给我们的生活和思维带来了强大冲击。与此同时,顺应信息发展的需求,各种企业也开始纷纷建立起属于自己的信息网络平台,包括电子商务和网站管理等系统。于此而来的是相应数据量的不断增长以及新的数据管理的应用而生,数据保护和存储安全问题开始愈来愈受到各企业的关注和深思。目前,企业数据库己呈现出了不可预计庞大的增长态势,数据正日益成为公司的实际资产之一。据相关组织的保守估计推测,企业数据每年大约增加80%。
1 存在的问题
20世纪,企业对重要文件的保护主要是借助于保险柜保存,并派人保护。到了2l世纪,企业开始全面实行自动化办公,计算机网络成为信息的数据化处理与存放的工具。然而,由于计算机的共享性和扩散性特性,使得信息在处理、存储、传输的过程中存在很容易被泄露、窃取的风险。据调查,至2007年上半年,瑞星公司接受求助的受害用户已经达到10多万人。接着信息保密技术跟进,企业的信息安全隐患更加得到重视,管理者不再简单满足于防火墙等初级防御手段,企业数据保护和存储安全解决新方法亟待出现。当前出现的问题有:(1)移动磁盘泄密,造成该现象的主因是将数据存放于不安全的移动磁盘中,并且没有将数据进行有效的加密。(2)word文档泄密,主要是一些破解软件乘机下手,使数据丢失。(3)打印机泄密,现在企业大多采用碎纸机可以将无用的或遗漏的文件切成粉末,使之无法还原,但是虚拟中的粉碎我们视而不见。(4)邮件泄密,它是通过一种网络病毒来伪造收件人的地址,从而欺骗阅读者。根据最新IT Policy ComPliance Gro-up报告显示:公开报道数据丢失的企业预计将会导致客户及收入降低8%;对于上市公司而言,每股股价会下降8%。
2 企业数据保护措施
2.1数据备份
对于一个企业来说,提供可靠的数据保护是至关重要的,也是企业核心竞争力的重要王牌。其中最有效的保护数据的手段是数据备份。而以磁带系统为核心的数据备份是企业数据保护的一个重要手段。该系统不仅能保证大容量数据的安全,并且在数据发生灾变时,可以在短时间内完成数据的恢复,保证企业中各种业务系统的正常运做,是数据安全保护的必然选择。有权威统计表明:93%的公司会由于为期10天或以上的数据中心灾难,而导致在灾难发生的一年内破产。为此,中小企业需要适合自己的数据保护解决方案,以保证业务的连续性运作。
2.2生物特征识别技术
随着电子信息量的急速膨胀,电子文档的保护也成为全球关注的问题。在电子文档保护中使用生物特征识别技术来加以保护,也被普遍认为是电子文档保护的最优方案。但为了方便文档在合法前提下共享的便利性,必须以解密密钥的生物特征模板以某种形式整合到文档内部,这形成了很大的破解风险。寻找更严密的电子文档保护方法,也成为电子信息安全领域中具有挑战性的研究之一。清华大学研究人员设计了一种基于指纹身份验证技术和移动密钥的电子文档保护方法。该方法在执行身份验证时,不但要求用户提供指纹作为验证依据,而且要求用户提供与本人身份相符的移动密钥。
2.3企业机密电子数据保护
企业机密电子数据和企业发展密切相关,加强对这些电子数据的安全存取保护是目前企业最为关心的一个问题。根据企业实际安全需要,采用非主动加密的思想,通过完善的网络安全管理结构,密钥管理服务器和电子数据的安全存取机制,建立了一种适应企业安全需求的企业电子数据安全监控系统。该系统通过密钥服务器实现对密钥的透明访问,以及对企业机密电子数据的透明加解密处理,确保了企业机密电子数据的安全。如CDP(Contimuous Data Pro-tection,持续数据保护)计划。最近,SafeNet和Aladdin正式进行合并,公司将保护全球最多的电子银行交易、提供最多的数字身份认证产品、提供最多的软件保护产品,将进一步带动机密电子数据保护的大发展。而赛门铁克公司也推出了市场领先的企业数据保护解决方案Veritas NetBackup 6.5。凭借NetBackup平台,企业可获得前所未有的灵活性和多样选择等最佳性能,帮助企业在复制、快照、持续数据保护、重复数据删除、加密、虚拟磁带和传统磁带中选择一流的技术。
3 企业数据存储安全措施
存储是一种服务,这是比较新的概念。从数据中心到桌面及整个技术存储线,关键解决围绕在信息周边的安全问题。过去,存储被看成是受至于服务器访问控制和文件系统特权保护的“子系统”,而现在,存储已成为基于高速的光纤通道、光学传输等为一体的智能的、多协议的网络服务。安全存取技术分析是以电子计算机主要的安全技术为主线,针对不同的问题提出相应的解决方法的,如企业电子数据的安全存取保护。目前,企业电子数据安全存取解决方法,主要的有逻辑加密盘技术、文件系统监视器、电子文件保险箱。其中逻辑加密盘技术的基本思想是在操作系统上增加设备管理的内核服务,为用户提供用于保存电子文档的虚拟盘。文件系统监视器主要是监视所有文件系统中活动的应用程序。电子文件保险箱主要保证电子文档的存储安全,相当于将电子文档存放在一个“保险箱”中。但仅仅这些努力是不够的,对于一个企业的生死存亡来说,机密电子数据的存取是绝对要重视的。
3.1虚拟磁带库
对于小型企业来说,选择存储产品应该从两点来考虑,首先要根据业务实际产生的数据量;其次是考虑业务数据的增长量。目前比较流行的存储系统解决方案有磁盘阵列、虚拟磁带库和磁带库等。借助基于虚拟磁带库的磁盘备份,中小企业就可以实施更快的流程,并且在查找、检索数据时几乎不会出现差错,减少了对以往磁带备份的依赖,在节省大量成本的同时,还可获得更可靠的备份流程,让数据保护更加简单。如AIO+D2D+自动加载机的出现。AIO是惠普公司推出的一款面向中小企业的一体化网络存储系统。借助AIO,中小企业无需中断应用即可进行备份,实现可靠的数据保护。现在,借助HP StorageWorksVLSl000i和迷你虚拟磁带库产品,中等规模企业和远程公司、分公司得以使用全新的解决方案。