线上期刊服务咨询,发表咨询:400-808-1701 订阅咨询:400-808-1721

浅谈大数据时代8篇

时间:2024-04-03 14:35:12

浅谈大数据时代

浅谈大数据时代篇1

(讯)大数据时代迎面而来,但企业高管们在最大化和收获信息的价值方面仍然慢了半拍。数据的收集和存储变得更加容易的,但更大的挑战在于如何从数据中挖掘出有意义的洞察。一份由Oracle针对美国企业首席管理层的调研发现,6/10的受访者认为他们的组织还没有准备好处理所有收集的数据,超过9/10的人认为无法从数据中获得好处就是损失。

48%的高管认为增长最快的数据量来自用户信息,然后是运营(34%)和销售和营销信息(33%)

图为:增长最快的大数据类型

几乎所有的执行官都认为信息收集和分析的提高在未来两年是必须。43%的人认为最需要提升的能力在于将信息转变为可行动的洞察。然后最增强收集的信息的精准性,以及数据分析能力的增强。

零售行业的执行官认为他们的大数据挑战和益处在于使用这些大数据来提高用户的多渠道体验。但在其他领域也存在各种挑战,包括供应链和库存优化,以及利用用户数据来个性化产品促销和营销活动

浅谈大数据时代篇2

关键词:大数据;数据分析;数据挖掘;体系建设

引言

进入21世纪以来,随着高新科技的迅猛发展和经济全球化发展的趋势,我国国民经济迅速增长,各行业、领域的发展也颇为迅猛,人们生活水平与日俱增,在物质生活得到极大满足的前提下,更加追求精神层面以及视觉上的享受,这就涉及到数据信息方面的内容。在经济全球化、科技一体化、文化多元化的时代,数据信息的作用和地位是不可小觑的,处理和归类数据信息是达到信息传递的基础条件,是发展各学科科技交融的前提。

然而,世界上的一切事物都包含着两个方面,这两个方面既相互对立,又相互统一。矛盾即对立统一。矛盾具有斗争性和同一性两种基本属性,我们必须用一分为二的观点、全面的观点看问题。同时要积极创造条件,促进矛盾双方的相互转变。数据信息在带给人们生产生活极大便利的同时,还会被诸多社会数据信息所困扰。为了使广大人民群众的日常生活更加便捷,需要其客观、正确地使用、处理数据信息,完善和健全数据分析技术和数据挖掘手段,通过各种切实可行的数据分析方法科学合理地分析大数据时代下的数据,做好数据挖掘技术工作。

1 实施数据分析的方法

在经济社会快速发展的背景下,我国在科学信息技术领域取得长足进步。科技信息的发展在极大程度上促进了各行各业的繁荣发展和长久进步,使其发展更加全面化、科学化、专业化,切实提升了我国经济的迅猛发展,从而形成了一个最佳的良性循环,我国也由此进入了大数据时代。对于大数据时代而言,数据分析环节是必不可少的组成部分,只有科学准确地对信息量极大的数据进行处理、筛选,才能使其更好地服务于社会,服务于广大人民群众。正确处理数据进行分析过程是大数据时代下数据分析的至关重要的环节。众所周知,大数据具有明显的优势,在信息处理的过程中,需要对大容量数据、分析速率,以及多格式的数据三大问题进行详细的分析和掌握。

1.1 Hadoop HDFS

HDFS,即分布式文件系统,主要由客户端模块、元数据管理模块、数据存储服务模块等模块组成,其优势是储存容量较大的文件,通常情况下被用于商业化硬件的群体中。相比于低端的硬件群体,商业化的硬件群体发生问题的几率较低,在储存大容量数据方面备受欢迎和推崇。Hadoop,即是分布式计算,是一个用于运行应用程序在大型集群的廉价硬件设备上的框架,为应用程序的透明化的提供了一组具有稳定性以及可靠性的接口和数据运动,可以不用在价格较高、可信度较高的硬件上应用。一般情况下,面对出现问题概率较高的群体,分布式文件系统是处理问题的首选,它采用继续运用的手法进行处理,而且还不会使用户产生明显的运用间断问题,这是分布式计算的优势所在,而且还在一定程度上减少了机器设备的维修和维护费用,特别是针对于机器设备量庞大的用户来说,不仅降低了运行成本,而且还有效提高了经济效益。

1.2 Hadoop的优点与不足

随着移动通信系统发展速度的不断加快,信息安全是人们关注的重点问题。因此,为了切实有效地解决信息数据安全问题,就需要对大量的数据进行数据分析,不断优化数据信息,使数据信息更加准确,安全。在进行数据信息的过程中,Hadoop是最常用的解决问题的软件构架之一,它可以对众多数据实行分布型模式解决,在处理的过程中,主要依据一条具有可信性、有效性、可伸缩性的途径进行数据信息处理,这是Hadoop特有的优势。但是世界上一切事物都处在永不停息地变化发展之中,都有其产生、发展和灭亡的历史,发展的实质是事物的前进和上升,是新事物的产生和旧事物的灭亡,因此,要用科学发展的眼光看待问题。Hadoop同其他数据信息处理软件一样,也具有一定的缺点和不足。主要表现在以下几个方面。

首先,就现阶段而言,在企业内部和外部的信息维护以及保护效用方面还存在一定的不足和匮乏,在处理这种数据信息的过程中,需要相关工作人员以手动的方式设置数据,这是Hadoop所具有的明显缺陷。因为在数据设置的过程中,相关数据信息的准确性完全是依靠工作人员而实现的,而这种方式的在无形中会浪费大量的时间,并且在设置的过程中出现失误的几率也会大大增加。一旦在数据信息处理过程中的某一环节出现失误,就会导致整个数据信息处理过程失效,浪费了大量的人力、物力,以及财力。

其次,Hadoop需求社会具备投资构建的且专用的计算集群,在构建的过程中,会出现很多难题,比如形成单个储存、计算数据信息和储存,或者中央处理器应用的难题。不仅如此,即使将这种储存形式应用于其他项目的上,也会出现兼容性难的问题。

2 实施数据挖掘的方法

随着科学技术的不断发展以及我国社会经济体系的不断完善,数据信息处理逐渐成为相关部门和人们重视的内容,并且越来越受到社会各界的广泛关注和重视,并使数据信息分析和挖掘成为热点话题。在现阶段的大数据时代下,实施数据挖掘项目的方法有很多,且不同的方法适用的挖掘方向不同。基于此,在实际进行数据挖掘的过程中,需要根据数据挖掘项目的具体情况选择相应的数据挖掘方法。数据挖掘方法有分类法、回归分析法、Web数据挖掘法,以及关系规则法等等。文章主要介绍了分类法、回归分析法、Web数据挖掘法对数据挖掘过程进行分析。

2.1 分类法

随着通信行业快速发展,基站建设加快,网络覆盖多元化,数据信息对人们的生产生活影响越来越显著。计算机技术等应用与发展在很大程度上促进了经济的进步,提高了人们的生活水平,推动了人类文明的历史进程。在此背景下,数据分析与挖掘成为保障信息安全的基础和前提。为了使得数据挖掘过程更好地进行,需要不断探索科学合理的方法进行分析,以此确保大数据时代的数据挖掘进程更具准确性和可靠性。分类法是数据挖掘中常使用的方法之一,主要用于在数据规模较大的数据库中寻找特质相同的数据,并将大量的数据依照不同的划分形式区分种类。对数据库中的数据进行分类的主要目的是将数据项目放置在特定的、规定的类型中,这样做可以在极大程度上为用户减轻工作量,使其工作内容更加清晰,便于后续时间的内容查找。另外,数据挖掘的分类还可以为用户提高经济效益。

2.2 回归分析法

除了分类法之外,回顾分析法也是数据挖掘经常采用的方法。不同于分类法中对相同特质的数据进行分类,回归分析法主要是对数据库中具有独特性质的数据进行展现,并通过利用函数关系来展现数据之间的联系和区别,进而分析相关数据信息特质的依赖程度。就目前而言,回归分析法通常被用于数据序列的预计和测量,以及探索数据之间存在的联系。特别是在市场营销方面,实施回归分析法可以在营销的每一个环节中都有所体现,能够很好地进行数据信息的挖掘,进而为市场营销的可行性奠定数据基础。

2.3 Web数据挖掘法

通讯网络极度发达的现今时代,大大地丰富了人们的日常生活,使人们的生活更具科技性和便捷性,这是通过大规模的数据信息传输和处理而实现的。为了将庞大的数据信息有目的性地进行分析和挖掘,就需要通过合适的数据挖掘方法进行处理。Web数据挖掘法主要是针对网络式数据的综合性科技,到目前为止,在全球范围内较为常用的Web数据挖掘算法的种类主要有三种,且这三种算法涉及的用户都较为笼统,并没有明显的界限可以对用户进行明确、严谨的划分。随着高新科技的迅猛发展,也给Web数据挖掘法带来了一定的挑战和困难,尤其是在用户分类层面、网站公布内容的有效层面,以及用户停留页面时间长短的层面。因此,在大力推广和宣传Web技术的大数据时代,数据分析技术人员要不断完善Web数据挖掘法的内容,不断创新数据挖掘方法,以期更好地利用Web数据挖掘法服务于社会,服务于人们。

3 大数据分析挖掘体系建设的原则

随着改革开放进程的加快,我国社会经济得到明显提升,人们物质生活和精神文化生活大大满足,特别是二十一世纪以来,科学信息技术的发展,更是提升了人们的生活水平,改善了生活质量,计算机、手机等先进的通讯设备比比皆是,传统的生产关系式和生活方式已经落伍,并逐渐被淘汰,新的产业生态和生产方式喷薄而出,人们开始进入了大数据时代。因此,为了更好地收集、分析、利用数据信息,并从庞大的数据信息中精准、合理地选择正确的数据信息,进而更加迅速地为有需要的人们传递信息,就需要建设大数据分析与挖掘体系,并在建设过程中始终遵循以下几个原则。

3.1 平台建设与探索实践相互促进

经济全球化在对全球经济发展产生巨大推力的同时,还使得全球技术竞争更加激烈。为了实现大数据分析挖掘体系良好建设的目的,需要满足平台建设与探索实践相互促进,根据体系建设实际逐渐摸索分析数据挖掘的完整流程,不断积累经验,积极引进人才,打造一支具有专业数据分析与挖掘水准的队伍,在实际的体系建设过程中吸取失败经验,并适当借鉴发达国家的先进数据平台建设经验,取其精华,促进平台建设,以此构建并不断完善数据分析挖掘体系。

3.2 技术创新与价值创造深度结合

从宏观意义上讲,创新是民族进步的灵魂,是国家兴旺发达的不竭动力。而对于数据分析挖掘体系建设而言,创新同样具有重要意义和作用。创新是大数据的灵魂,在建设大数据分析挖掘体系过程中,要将技术创新与价值创造深度结合,并将价值创造作为目标,辅以技术创新手段,只有这样,才能达到大数据分析挖掘体系建设社会效益与经济效益的双重目的。

3.3 人才培养与能力提升良性循环

意识对物质具有反作用,正确反映客观事物及其发展规律的意识,能够指导人们有效地开展实践活动,促进客观事物的发展。歪曲反映客观事物及其发展规律的意识,则会把人的活动引向歧途,阻碍客观事物的发展。由此可以看出意识正确与否对于大数据分析挖掘体系平台建设的重要意义。基于此,要培养具有大数据技术能力和创新能力的数据分析人才,并定期组织教育学习培训,不断提高他们的数据分析能力,不断进行交流和沟通,培养数据分析意识,提高数据挖掘能力,实现科学的数据挖掘流程与高效的数据挖掘执行,从而提升数据分析挖掘体系平台建设的良性循环。

4 结束语

通过文章的综合论述可知,在经济全球化趋势迅速普及的同时,科学技术不断创新与完善,人们的生活水平和品质都有了质的提升,先进的计算机软件等设备迅速得到应用和推广。人们实现信息传递的过程是通过对大规模的数据信息进行处理和计算形成的,而信息传输和处理等过程均离不开数据信息的分析与挖掘。可以说,我国由此进入了大数据时代。然而,就我国目前数据信息处理技术来看,相关数据技术还处于发展阶段,与发达国家的先进数据分析技术还存在一定的差距和不足。所以,相关数据分析人员要根据我国的基本国情和标准需求对数据分析技术进行完善,提高思想意识,不断提出切实可行的方案进行数据分析技术的创新,加大建设大数据分析挖掘体系的建设,搭建可供进行数据信息处理、划分的平台,为大数据时代的数据分析和挖掘提供更加科学、专业的技术,从而为提高我国的科技信息能力提供基本的保障和前提。

参考文献

[1]唐东波.基于神经网络集成的电信客户流失预测建模及应用[J].大众商务,2010(06).

[2]刘蓉,陈晓红.基于数据挖掘的移动通信客户消费行为分析[J].计算机应用与软件,2006(02).

[3]魏娟,梁静国.基于数据挖掘技术的企业客户关系管理(CRM)[J].商业研究,2005(07).

[4]田苗苗.数据挖掘之决策树方法概述[J].长春大学学报,2004(06).

[5]王晓佳,杨善林,陈志强.大数据时代下的情报分析与挖掘技术研究――电信客户流失情况分析[J].情报学报,2013.

[6]刘京臣.大数据时代的古典文学研究――以数据分析、数据挖掘与图像检索为中心[J].文学遗产,2015.

浅谈大数据时代篇3

【关键词】 大数据 信息化 消防 人才

一、引言

当今是信息科技的时代,随着软、硬件的快速发展,信息科技步入了大数据时代。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产,大数据具有特点为:大量、高速、多样、价值、真实性[1]。而公安部早在2008年已经注意到信息化的重要意义。时任公安部孟建柱部长在2008年9月召开的全国公安厅局长座谈会上,做出了“三项建设”的重大战略部署,最早提出信息化建设并指出将信息化建设作为未来几年内全国公安机关的首要工作任务予以推进。随后2010年公安部专门《公安部消防局关于进一步推进公安消防部队信息化建设的意见》,进一步指导全国消防部队开展全面信息化建设。如今,消防部队信息化建设相继完成:(1)消防信息管理;(2)灾害信息管理;(3)火灾预防管理;(4)警务统计管理;(5)办公信息综合管理等。因此消防部队依托大数据等信息化技术快速发展的背景进一步实现全方位信息化是适应社会经济快速发展、更好履行消防部队职责使命,实现消防部队灭火与抢险工作现代化的必由之路。

二、消防部队对大数据建设的需求

目前,消防部队信息化建设已经步入了稳步建设、综合集成、全面发展的“大数据消防”时代,对信息的数据量与数据的传输速度越来越高。主要体现在以下几个方面:(1)火灾的复杂性越来越高,需要大量的实际火灾调查统计数据,需要运用计算机更直观的模拟、重现火灾,认识火灾总结火灾规律,要完成更深层次的认知火灾离不开大数据的统计与分析[1];(2)报警与事故现场情况统计传输一直是消防信息化建设的难题,现场信息具有很强的时间性,灾情发生后大量信息需要及时统计传输至指挥中心与赶往现场的指挥员,这一问题的解决离不开大数据的建设;(3)消防管理的信息化,当下的消防管理离不开大数据,需要通过大数据将队伍监督管理、通信调度指挥、灭火救援预案的制定、后勤保障的管理等综合起来,进行时时监管。

三、消防部队在大数据背景下信息人才队伍现状分析

近年来,各级消防部队响应公安部以及部消防局号召,大力开展信息化建设,无论是软、硬件建设还是人才队伍建设投入巨大,总体业务水平有所提升。但是与信息化条件下消防部队防、灭火、抢险救援、应急灭火救援作战的要求还有较大差距,特别是如何将大数据等新兴信息技术引入消防部队并大规模应用提升消防部队信息化水平方面仍面临诸多问题。

3.1信息化人才匮乏

公安消防部队信息化建设开展以来,通过近年来的大力发展建设,消防部队信息化硬件建设取得长足发展,相应的对信息化人才的需求数量越来越多质量越来越高。但从目前消防部队信息化人才队伍来看,大部分人员仅仅能胜任基础性的工作,信息化人才短缺,特别是高层次的信息化人才严重匮乏,信息人才队伍建设滞后于信息化硬件建设的需求,始终处于低水平运转。总体而言信息化人才队伍处在低层次,信息化人才基数低[2]。

3.2信息化人才队伍不稳定

受于消防部队人员编制限制、人员流动频繁、消防部队人才吸引、培养、管理使用、奖励激励机制的相对滞后等诸多原因,造成消防部队信息化人才队伍不稳定。随着干部的晋升、战士复转,很多人才刚刚熟悉胜任通讯信息岗位,能够熟练操作各类信息软件及设备却要离开,新补充的官兵又不能在短时间内胜任信息通信岗位的工作需要,经常出现青黄不接。消防部队长期以来只能一方面花费大量人力物力培训信息通信人才,另一方面信息通信人才又不断白白流失,出现“需要的进不来,进来的用不上,用上的留不住”的尴尬局面。信息化人才队伍的人才、培养、使用、流失这一致使信息化人才队伍不稳定的恶性循环亟待解决。

3.3信息化人才总体专业程度偏低

信息化本身就对人才的专业性要求极强,目前消防部队大多数信息化人才只具备简单的计算机、互联网维护、通信设备故障检修等技能不具备通信设备及信息系统维护等专业技能,精通信息化、大数据、移动互联网等专业知识的人才少之又少是信息化总体水平不高,始终处于低水平运转。然而信息时展的步伐如此之快,信息技术飞速更新迭代,然而消防部队信息化“硬实力”与“软实力”建设严重失衡,硬件建设投入巨大,但受制于信息人才的专业水平,特别是现有信息化专业技术人才知识结构及水平与信息化建设需求存在很大差距,达不到预定目标。因此在现有的信息人才基础之上,依托大数据等信息科技快速发展的背景再将消防部队信息化提升一个大台阶是很难完成的艰巨任务[3]。

四、在大数据背景下加快信息化人才队伍建设的对策

凡事预则立不预则废,在大数据背景下信息化人才队伍建设是一项系统工程,非一朝一夕能够完成的事业,需要从长计议。要尊重和把握信息化人才培养与人才成长的规律,既要考虑当前实际情况做好当前信息人才的使用保障信息通讯工作正常运行,更要对中长期信息化人才的培养、引进、使用进行长远规划[4]。

1、做好与信息化建设相配套的信息化人才规划。现行的消防部队通信人员岗位设置依托于上世纪消防通信技术,已经不能完全适应在大数据背景下的消防部队信息化建设的需要,要依据现有工作需、科学的确定信息化人才队伍的规模,优化工作岗位的数量与分工,使行政管理岗人员和技术工作岗人员都能有所作为,实现信息化人才效益的最大化。

2、完善信息化人才队伍的管理。消防部队在大数据技术背景下的信息化建设离不开人才,要改变以往的用人观念,更新信息化人才观,要时刻以人才为根本,牢固树立“人才是第一资源,人才最重要”的观念。实现从“管理人才”到“尊重人才,服务人才”的转变,要积极营造有利于信息化人才发展成长的环境,以优厚的待遇、健全的机制、良好的环境为保障进行人才引进人才培养人才使用,同时进一步完善人才的考评机制,将人才量化考评实现制度化常态化,真正做到能者上,庸者下,从而使更多的信息化人才愿意来,愿意干,愿意留;真心实意愿意为消防部队信息化建设贡献自己的一份力量。

3、重视信息人才的引进培养。重视现有通信人员的培训教育,创造良好的人才培养氛围,要以消防部队信息化建设为依托,充分利用士官学校消防通信专业这一培训优势,鼓励消防部队基层通信人员报考,坚持“基础性、应用型、实践性”的原则,以消防部队通信实际工作需要为目标,培养一批能熟悉通信原理、熟练操作各种通讯设备、能快速排除简单通信故障的应用型人才。统筹人才引进规划,科学合理吸收引进信息化人才。科技日新月异,许多今日新兴技术,明日就会广泛应用于生活中。消防部队信息队伍恰恰缺乏这样既精通成熟的信息通讯技术又能快速掌握新兴技术的综合型人才,每年要合理利用从高校毕业生中接收大学生警官和直招士官的政策,有计划的每年招收一定数量的信息专业人才,增强消防部队信息化人才储备力量[4]。

结束语:大数据背景下的消防信息化建设最终离不开人才,需要一批既懂通信技术又熟悉消防业务的交叉型人才。虽然消防部队在信息化人才队伍建设刚刚有所起色,作为打造信息化现代消防部队的需要,还需在人才队伍建设上加大投入将信息化人才队伍发展壮大。

参 考 文 献

[1]郑外.大数据时代下消防信息化建设的研究[J],计算机光盘软件与应用, 2014(10).

[2]陈尚浩.浅析消防信息化专业人才队伍建设[J],信息通信,2012(6).

浅谈大数据时代篇4

关键词:大数据;互联网;应用行业

中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2015)06-0255-02

互联网是一个互动的平台,并且可以互相沟通,互相交流。每天打开网络,扑面而来的不仅仅是各类信息也许是或正要发生的改变,人们无时无刻不被包围在这张无形的网中,成为人们日常生产和生活中不可缺少的一部分。短短几十来年的爆炸式发展,深刻改变了人们的工作、工作及生活方式,甚至影响了整个社会进程。而就在互联网在高速发展中前行时,大数据时代已悄然而至。

1 什么是大数据

大数据(big data)的概念是由美国硅图公司(SGI)的首席科学家John R.Masey于1998年提出的,大数据是一个数据集,是指在无法容许的时间范围内用常规软件工具对其内容进行捕捉、管理和处理的数据集合。最先提出“大数据时代”到来的是全球领先的咨询公司麦肯锡,麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。

业界将大数据的特征归纳为四个“V”,第一,具有海量的数据规模(Volume),大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T);第二,多样的数据类型(Variety),在编码方式、数据格式、应用特点等方面存在的差异,多信息源并发形成了大量的异构数据,例如网络日志、视频、图片、地理位置信息等等;第三,价值密度低(Value),商业价值高;第四,快速的数据流转(Velocity),涉及到感知、传输、决策、控制开放式循环的大数据,对数据实时处理有着很高的要求,通过传统数据库查询模式得到的“当前结果”很可能已没有价值了,最后这一点也是和传统的数据挖掘技术存在着根本性的差异。

2 互联网中大数据的应用

麦肯锡称:“今天的数据,已经渗透到当今每个行业和业务功能区域,成为一个重要的生产要素。人们对于大量的数据挖掘和利用,预示着一个新的生产力增长和消费者剩余影响的到来。”大数据在物理、生物、环境、生态学等领域以及军事、金融、通信等行业存在已有一定时间,近年来,互联网和信息产业的发展已引起了人们的关注。互联网行业的大数据是指这样一种现象:互联网公司在日常运营中形成的积累用户网络行为数据,其特点是海量的数据规模、多样的数据类型、价值密度较低、快速的数据流转及时效性要求高。毫无疑问,大数据将加速推动互联网的发展。大数据能提供宏观经济分析服务,能有效地支持信息消费,大数据的应用也体现在我们的生活之中。中国互联网协会理事长邬贺铨在河南省首届互联网大会主题演讲中指出“随着互联网的快速发展产生大数据,大数据反过来加速推动互联网各种各样应用的演进。在可预见的将来,通过对大数据的全面挖掘将产生更多新的应用,将促使产生更多的新业态,将给我们带来更多的便利和惊喜。”

2.1 网络广告个性推送

很多人讨厌广告的原因,在于它推送的是对你无用的信息。互联网的出现更是放大了这一特点,而如今人们发现自己搜索过的或者买过的商品都能被针对性的推荐,出现在浏览的网页广告中。这便是随着信息数量的持续增加,大数据的到来,在这些数据中,隐藏了消费者的消费习惯、市场的变化、产品的趋势以及大量的历史记录,这些关键数据对于企业和组织的后续运营和发展起到了至关重要的作用。更准确的营销手段已经成为了一种广告工具,这种个性化的广告推广,主要是为了缩小范围来针对某一类人群。美国亚马逊的推荐系统就是一个很好的例子,亚马逊收集了大量来自每个客户的数据,如曾经购买了的哪些商品,以及哪些商品只是浏览而没有购买,浏览时停留了多久,还有哪些商品是合并在一起购买的,利用大数据分析准确判断出客户的兴趣爱好、购买意愿,通过它寻找到产品之间的相关性,并以此来推荐关联性最高的产品给客户。亚马逊的最终期望是达到最成功的推荐应该只有一样,那就是用户要买的下一样产品。

而“京东+腾讯”这样的“电商+社交”的合作在全球尚未有先例,目前在国内第一次尝试打通。前不久,京东和腾讯签订了“京腾计划”,所谓的“京腾计划”指的是京东和腾讯将基于各自最强资源和产品建设名为“品商”的创新模式生意平台,旨在为品牌商提供一套有效的品牌建设、提高营销效果和客户体验的完整的解决方案,基于腾讯的社交行为数据和京东的购物行为数据,才能对用户的喜好做出精准判断,为品牌商提供精准的目标消费群体画像和多维的联系接触渠道,帮助品牌商实现精准营销,精准投放广告。

2.2 网络安全

大数据已经与我们的生活息息相关。微博的社交关系,淘宝的购物记录,GPS导航的移动数据,快递的物流信息……这些形形的数据包括了人们的各种行为细节,同时也记录了人们大量的个人隐私。不难看出,大数据时代的到来,给传统的网络与信息安全带来了新的问题,传统防御威胁的手段已逐渐失效。大数据将安全带入了一个全新、复杂和综合的时代,不安全的那些蛛丝马迹在浩瀚数据的掩护下,正在精准地发起一次又一次的攻击。近年来,有关网络威胁导致服务器宕机、个人和企业信息泄露事件频繁发生,网络信息安全问题已成为全球关注的焦点。然而,任何事物都具有两面性,人们常常担心大数据带来的不安全性,但同时大数据技术也是一种保户信息安全的工具。

对于互联网,利用传统安全设备从终端数据或本地网络中发现未知的威胁,就如在森林中找到指定的叶子,效率极低。从技术、人员、数据等几个方面拥抱大数据技术,基于数据为驱动来解决问题。在数据采集、测试、分析的过程中以威胁为中心,利用数据来驱动安全是一种检测APT类型威胁(高级持续性威胁)的有效手段。

3 互联网与大数据颠覆传统行业

如在教育行业,教师可以利用大数据技术和智能算法对每位学生的学习情况进行分析,依据学生在作业中反映出来的薄弱知识点,定向推送学习内容和测试题目,有效提升学习效率。在高考志愿填报和录取环节,让互联网大数据为考生提供帮助,根据分数、兴趣、专长选上自己心仪的大学和专业,大大减少了志愿撞车,这在过去几乎无法想象。其背后揭示的趋势更令人兴奋,技术不仅在弥合知识鸿沟,技术背后的“隐力量”正在逐渐打破信息的不对称,推动教育公平。而且,随着用户的激增,大数据的运算技术将被进一步开发,未来借助智能化的大数据运算技术,学习内容将会“靶标式”推送,只针对个人,而不针对多人,一直以来教育所追求的“因材施教”将会完全实现,那么这将彻底改变传统的学习模式。同时,建立大数据心理模型,对学生进行个性化的发展及长远规划,将单一的以成绩为主导的教育转变为对个性的全面认可与挖掘,从单一走向多元。

又如电视剧《纸牌屋》的大获成功更是让全球影视界对大数据的应用刮目相看。美国视频网站NetFlix收集数据如观众在视频观看过程中的每一次暂停、快进,或是对这个视频的评论,基于大数据投资拍摄的这部电视剧,无论是剧情设置还是选择演员、导演阵容,都以用户在网站上的行为和使用数据做支撑,从而受到观众热捧,NetFlix也凭借该剧名利双收。这些由观众在不经意间产生的“数据”,正成为影视业提取数据的一个方式。而正是这些数据,影响着影视剧从前期拍摄到后期营销的全产业链。

互联网与大数据的价值最好的体现在对已有行业潜力的再次挖掘,而不仅在于自身能生产多少新东西,用互联网思维和大数据思维去重新提升传统行业,使得信息透明化、对称化,对产生的大数据进行整合利用,也使得资源得到最大化利用。

参考文献:

[1] 官建文, 刘振兴, 刘扬. 国内外主要互联网公司大数据布局与应用比较研究[J]. 中国传媒科技, 2012(17): 45-49.

浅谈大数据时代篇5

关键词:大数据;隐私权;保护

当前,随着互联网、云计算等技术的成熟与发展,人们的生活被海量的数据充斥,人类社会进入了创造力与破坏力并存的大数据时代。

2016年的政府工作报告提出了促进大数据广泛应用的论述。的确,当前生活中个人出行前的路况查询、手机软件上附近餐馆的查找,春运时分,政府部门根据大数据定位功能计算分析出人口迁徙情况而及时调配资源等,无不体现大数据带来的便利。然而,大数据也对人们的隐私造成了新的威胁。个人隐私信息在无形间被广泛抓取并保存,隐私信息存在被循环利用的威胁,个人隐私权已突破原始“物理的、强制入”的手段而更易被侵犯,传统隐私权保护机制面临空前的挑战。

一、大数据环境下个人隐私存在的安全风险

从隐私信息获取的角度来说,信息抓取技术的运用使得人们在进行网络活动时,身份信息、手机号码、地址、网络搜索痕迹、手机软件的实时定位、社交动态等在不知不觉中成为大数据的一部分,继而被数据化存储于数据库中,为政府、商业机构等控制利用,个人却对此难以掌握。

就隐私信息的传播、利用而言,公民个人、媒体可通过报刊、电视、广播、网络收集、传播他人信息;拥有数据库的机构在丰厚的商业利润驱使下可能会将掌握的个人数据分析、整合并加以利用;更甚的是,美国的“棱镜门”事件暴露出一些国家的政府以“国家安全”为由实时监控个人数据信息。人们将可能生活于无隐私的真空世界。

而非法获取、披露、买卖网络私人信息、私人数据的情形愈演愈烈,如大量的学生信息被倒卖,个人身份信息、社会关系信息、财务信息、通信信息等也不同程度地被泄露。于是,垃圾短信、垃圾邮件满天飞,营销电话骚扰日夜不止,网络诈骗、电信诈骗方式层出不穷,更有因定位信息而被跟踪遇害的骇人事件。公民的隐私及人身安全受到威胁。

二、大数据对传统隐私权保护机制的冲击

(一)打破了隐私权私域性的特点

隐私权作为私法性的权利,具有支配性与排他性。然而,大数据时代,公民隐私信息的被抓取、利用与传播使得其私人性愈发减弱,随之而来的社会性与公共性愈发增强。

此外,随着政府公民个人信息数据库的建立,电子政务、网络化的管理使得政府履行公共事务管理以及公共服务职能时变得更为高效便捷,然而这从另一方面又预示着公民个人隐私信息隐藏着被政府等公权力侵犯的危险,单纯的对私主体侵犯个人隐私权进行规制已不能满足对于防范公权力的要求。

(二)颠覆了隐私权保护的“告知与许可”原则

“告知与许可原则”在我国的确认体现于《关于加强网络信息保护的决定》与《电信和互联网用户个人信息保护规定》的规定,其要求“收集、使用公民个人电子信息,应当明示收集、使用信息的目的、方式和范围,并经被收集者同意”。然而,在大数据时代,用户个人信息被抓取于无形,网络服务商可在无论是否告知用户的情况下采集、掌握用户的数据。虽有授权许可协议、隐私保护合约等的存在,但其有时会失去实质意义,因网络用户若不同意相关协议便不可享受相应的网络服务,因而常出现网络用户不得不被动同意合约的情形。

数据的二次利用更是常超出数据收集时的使用范围,其创新性用途具有未可知性,要求网络服务商将不可预知的用途告知用户以及要求用户许可不可预测的使用行为未免强人所难。且因大数据的大容量化特点,要求数据控制者一一告知用户,也不具备可操作性。而从另一方面,让用户概括许可数据所有可能的用途,又相当于网络用户失去了对自己隐私信息的控制权,这无疑与“告知与许可原则”的实质相悖。

(三)增加了证据收集、保存、举证及责任认定的难度

大数据时代,个人隐私信息以电子数据形式存在,一旦隐私权被侵害,公民个人很难确定信息的泄露源以及诉讼对象,网络的匿名性也成为原告确定侵权人身份、维护自身权利的阻碍。而另一方面,互联网公司又负有对网络用户的法定保密义务,如何协调二者之间的关系成为需斟酌的问题。此外,证据的查找需一定网络技术的支持,这使得侵犯个人隐私信息案件中存在原告取证难、举证难等问题。责任认定以及赔偿标准的确定等也存在着问题。

三、大数据时代个人隐私权保护的完善

(一)强化数据控制者的责任

加强对数据控制者利用网络收集、使用个人数据的规制,严格遵守目的限制、目的明确原则。发挥隐私保护合约的实质性作用,规避网络用户为享受网络服务而被动接受合约的现象。强调数据控制者对数据的再利用行为进行评测,若数据的使用超出收集数据时的目的,应及时告知信息主体,获取认可。在处理数据时,防止对信息主体的名誉造成损害,在获得授权前,不得将个人隐私信息非法出售,须进行妥善保管,哪怕是有违公序良俗的个人信息,如婚外男女关系,也应给予保护;用户已分享于网络或经用户同意已存储于网络服务器之上的信息也属隐私的范畴,数据控制者处理、利用时亦应注意对其的保护。引入数据泄露通知制度,当发生数据丢失、被窃或未经授权而被接入,致使个人隐私信息存在受损的可能性时,数据的控制者应通知受损主体或向有关监管部门通告。

(二)赋予个人信息主体更多主导权

个人信息主体的主导权应贯穿于信息的获取、存储和使用的全过程。赋予个人信息主体对于哪些信息会被获取以及信息的使用目的的知情权;赋予个人信息主体请求数据控制者编辑、修改错误信息的权利,以及请求及时删除并停止传播侵权信息的权利;赋予个人信息主体对于自身信息除法定利用与合理利用外,二次利用、转售或提供给第三方的自主决定权。

(三)提高个人隐私保护意识

个人隐私保护意识的薄弱与缺失助长了个人信息的被滥用。因此,应加强隐私保护宣传教育,提醒个人在信息时尽必要的注意,如拒绝共享实时位置、分享含自身身份信息的照片前作必要的马赛克处理,避免因信息的与共享而为自身带来不利。主动关注自身信息的被使用情况,当遭遇个人隐私被侵权时,能够及时运用法律法规维护自身合法权益。

(四)完善权利救济机制

加强个人隐私保护立法。今年两会上,南京邮电大学杨震教授牵头提出了《关于启动立法的议案》,这类专门的立法保护行为对个人隐私权的保护也有利。

在专门的法律未出台前,完善现有权利救济机制较为重要。针对侵犯个人隐私案件取证难、举证难的问题,可适用过错推定原则,由数据控制者承担证明其自身不存在过错的责任。数据控制者本身在处理、使用数据时就须履行必要的注意义务,且其在取证、举证方面拥有技术与资金的支持,相较个人而言更具可执行性。而在法律责任的承担上,数据控制者亦应根据其是否尽到必要的注意义务来决定是否能够免责。除此之外,对于防范可能出现的公权力侵犯个人隐私权的行为,可在宪法与行政法中增加相关规定,以形成对个人隐私权的公私法整合保护。(作者单位:扬州大学法学院)

参考文献:

[1]李睿.大数据时代的隐私权保护――以信息抓取为视角[J].财经政法资讯,2015(3):28-33.

[2]张宇敬,齐晓娜.大数据时代个人隐私权保护机制构建与完善[J].人民论坛,2016,2(中):156-158.

[3]杨震,徐雷.大数据时代我国个人信息保护立法研究[J].南京大学学报:自然科学版,2016,36(2):1-9.

[4]刘新年,王晓民,任博.大数据时代下,如何保护隐私权.检察日报,2013-08-23(005).

浅谈大数据时代篇6

[关键词]大数据;时代;档案管理

doi:10.3969/j.issn.1673 - 0194.2016.20.122

[中图分类号]G270.7 [文献标识码]A [文章编号]1673-0194(2016)20-0-01

0 引 言

大数据的迅速发展对各行各业的数据实现有效管理提出了新的要求,人们越来越意识到对大数据进行有效管理的重要性。档案行业的任务主要是保存社会档案为以后翻阅提供依据,需要对原始资料进行整理、记录以及保管。在大数据的时代背景下,每天产生大量的数据,给档案工作者提出了更高的要求。所以,在大数据的背景下,如何实现档案的有效管理已经成为重要议题。

1 大数据时代背景下档案管理面临的新的要求

大数据的数据规模大并且类型多样,这些都无法用传统的软件进行统计与处理,所以对我国的档案管理提出了新的要求。

1.1 对档案管理的管理理念与流程提出的要求

在大数据发展之前,档案管理模式多是由档案管理人员将档案资料分门别类做好记录,方便日后的查询。但大数据的到来,信息量迅速增多,很多档案信息是交叉的,若依旧采用原来的档案管理模式对档案进行管理,便无法将大量的信息有规律的分门别类的存放好,同时,大数据背景下的许多信息无法利用传统的档案管理模式进行保存。

1.2 对档案管理保存形式提出了新的要求

大数据背景下,对数据信息保存的方式多是利用电子文档、电子图片以及影像资料等方式,传统的通过纸质材料无法对这些文档进行分类与归档,甚至无法对其进行保存。所以,在大数据背景下,需要档案的保存方式多样化,找出关键因素对这些数据进行整理并保存。

1.3 对档案管理人员提出更高的要求

大数据的发展需要对数据与信息进行处理,并且数据信息更加多样化与复杂化。在传统的档案管理中,管理人员只有对档案管理的基本概念与操作了解就可以了。但是,在大数据的背景下,对档案管理人员提出了更高的要求,需要档案管理人员懂得多种技术,例如:对资料的分类、查询、会使用相关的软件、对数据的阅读等。所以,在大数据的背景下,需要大力培养高素质的档案管理人员。

2 大数据时代背景下如何促进档案的有效管理

2.1 培养进行档案管理的高素质人才

无论何种工作想要顺利进行都离不开人才,在大数据的背景下档案管理工作也需要高素质的档案管理人才。传统的档案管理人员缺乏相关的数据知识,专业能力水平较低。仅仅是对管理设备的更新无法从根本上解决问题,档案管理工作的效率依旧低下。所以,为实现档案的有效管理需要加大力度培养档案管理人才,提高档案管理人员的专业素质。主要从以下几个方面进行:①政府鼓励各个高校培养复合型人才,注重信息化与档案管理专业的交叉学科的教导;②将视野放到国外,引进他们国家的高素质的档案管理人才,指导我大数据背景下档案管理工作;③政府投入更多的资金加大人才培养,因为,培养人才不仅需要人力与时间,更需要相应资金的支持。

2.2 加强档案数据的安全性

在大数据的时代背景下,为档案管理也带来了很多便利,有利于工作效率的提高,降低档案管理工作中所花费的资金,但是同时有数据丢失的高风险性,而档案十分重要。所以,必须要加强档案管理工作的安全性,确保档案管理工作的顺利进行。大数据的背景下,一张小小的内存卡就能储存大量的重要数据,但是,电脑病毒的侵入与内存卡的损坏都会造成数据丢失的风险,所以,档案管理工作者要注意档案保存的安全性。首先,档案管理人员要具备档案安全管理的安全意识,避免电脑病毒侵入存有档案数据的电脑中。同时,政府要制定相关的政策,包括档案管理的工作细则,规范档案工作人员进行存档工作时的操作。

2.3 对档案管理人才结构进行优化

在我国档案管理工作中,多以老年人为主,中年人较少,年轻人基本不从事档案管理工作。我国档案管理工作水平低下,相当少的人才投入到档案管理工作中来,尤其是年轻人参与的人数更少。而在大数据的时代背景下,需要更多的人才投入到档案管理工作中,没有人才的参与档案信息管理就无从谈起。针对这一问题,档案管理工作的进行首先要对档案管理工作人员结构进行优化。改变现状,吸引更多的年轻人参与到档案工作中来,实现“年轻人为主、中年人为辅、老年人参与”的结构模式。

3 结 语

大数据时代的到来对档案管理工作既是机遇也是挑战。所以,档案管理一定要抓住这一机会,克服挑战,发展和完善档案管理工作,实现档案管理在大数据时代背景下的大突破,使档案的管理更加有效,档案资源为社会所利用。

主要参考文献

浅谈大数据时代篇7

[关键词] 大数据;金税三期;税务

doi : 10 . 3969 / j . issn . 1673 - 0194 . 2017. 01. 077

[中图分类号] F812.42 [文献标识码] A [文章编号] 1673 - 0194(2017)01- 0136- 02

0 引 言

金税工程是经国务院批准的部级电子政务工程,是国家电子政务“十二金”工程之一,是税收管理信息系统工程的总称。自1994年上半年到2001年上半年先后经历了“金税一期”和“金税二期”建设阶段。2005年9月7日,国务院审议通过金税三期工程项目建议书;2007年4月9日,发改委批准金税三期工程可研报告;2008年9月24日,发改委正式批准初步设计方案和中央投资概算,标志金税三期工程正式启动。金税三期工程的启动,充分体现了信息技术对税收管理服务和制度创新的支持作用,打破了税收部门之间以及各个层级机构之间的限制,在全国范围内形成统一的、不受时空限制的共享税务管理平台,优化了税收流程,提升了税收服务水平和工作效率。对进一步规范税收执法和优化纳税服务,提高纳税人遵从度和满意度具有重要意义。

1 金税三期工程优势亮点

金税三期工程正式启动以来,我国利用覆盖全国税务机关的计算机网络对增值税专用发票和企业增值税纳税状况形成了进行严密监控的一个完整体系。是否有能力采集数据是现代社会发展的关键。目前,西方的税收体系只能管理到资金流,我国由于具有全局规划的优势,在这方面已经走得更远。在税收大数据时代,我国金税三期工程颇具优势亮点。

1.1 建立了统一的征管平台

全国范围内涉税数据“大集中”的实现,是整个金税三期工程的核心,也将是我国未来税收信息化体系的核心支柱。“大集中”是一个有关涉税信息的收集、交换、流转、管理、分配、处理等职能整合、优化、重组的过程,实现真正意义上的统一税制的统一管理。此外,由于金税三期系统能够对涉税数据进行分类管理,税务工作人员可以利用大数据分析技术将纳税人所处行业、企业规模、经营状况以及管理水平等数据进行深入分析,挖掘出纳税人发生问题概率畸高的风险点,合理规避税务管理风险因素,降低税收征管风险发生的概率。

1.2 构建了现代纳税服务体系

税收工作的核心目标是履行法定的收入职能,金税三期系统从该目标出发,通过运用现代信息技术提高了税收征管的效率和纳税服务的质量,为纳税人构建了现代纳税服务体系,充分地体现了对纳税人合法权益的尊重和保护。首先,金税三期系统将税务管理的各个业务整合在一个平台中,纳税人在办理税务业务时不需要来回奔波于各个部门,实现了服务的便捷性和统一性。其次,金税三期系统支持多种申报方式,纳税人既可以选择网上申报,也可以选择电话申报、短信申报、邮寄申报、自动终端申报等,多元化的申报方式既方便了纳税人也丰富了纳税服务内容。再者,金税三期的数据分析与辅助决策支持平台给予纳税人对税务服务评价的渠道,完善了税务工作人员评价体系,为纳税机构改进工作提供参考。

1.3 实现了税务管理信息化战略

金税三期工程改变了传统的税务处理手段和处理模式,建立了税收管理信息系统,实现了税务管理信息化战略。金税三期系统的上线和运用,税收征管改革的重点逐步由凭证管理转向数据管理,逐步朝向信息化、数据化、网络化的方向不断推进,提升了税务工作人员的服务水平和工作能力,为税务专业化管理的转型奠定了基础。

2 大数据背景下金税三期系统存在的问题

在大数据环境下,税务管理人员需要处理海量的信息,从系统层面看,金税三期系统存在着数据采集不深入、数据信息难以归集、数据分析指标缺乏以及数据应用水平低等不足。

2.1 数据采集不深入

获取企业涉税信息渠道单一,难以对企业报告交易信息的真实性和完整性进行判断是制约税务审计有效性的重要因素之一。金税三期系统中,纳税人设立环节的数据采集主要是通过系统的“登记―税务登记”模块,需要采集纳税人的基本数据、法人和财务人员、注册资本、总分机构数据以及投资总额等内容。在生产经营环节,数据的采集主要是通过“申报”和“征收”模块,由于税务部门无法直接获得供货、购买以及销售等数据,数据的采集只能局限于纳税人的主动报送,而一些纳税人为了偷税漏税往往在财务数据中隐藏真实的经营情况,税务机关在数据采集上缺少主动性和真实性。

2.2 数据信息难以归集

在实际的数据归集工作中,由于全员建档思路的唯一档案完全依赖于企业和个人的有效身份证件信息的获取,对于在国内没有设立分支机构的非居民企业信息而言,如果没有办理组织机构代码证书,税务机关就无法判断其身份的唯一性,档案的建立无法满足唯一性的要求,涉税信息难以归集。再者,由于信息的归集在一定程度上依赖于纳税人的主动性,如果纳税人没有按照要求向税务机关主动办理税务登记,税务机关缺乏纳税人的组织机构代码证书,企业唯一档案无法建议,税务机关的涉税信息也难以归集。

2.3 数据分析指标缺乏

在大数据环境下,“金税三期”系统掌握了纳税人大量的涉税信息,这些信息是税务管理人员有效识别并且规避税收风险的依据。但是,各地税机关在实际数据分析中应用的分析指标并不均衡并且处于各自为战的状态下,指标的合理性和分析的深度都无法满足大数据环境的要求。大部分分析方法和分析指标只是用于检验企业报送的数据是否准确,无法对大数据进行深入并且细致的分析,也无法提高审计的有效性。

2.4 数据应用水平低

在金税三期系统中,通过“定制查寻”模块可以查询到纳税人的一系列涉税信息,如法制类、发表类、优惠类以及申报类等信息。但是当前的金税三期系统只能对纳税人的涉税信息进行汇总统计和查寻,不能运用一些数据挖掘工具进行数据挖掘和数据的深入分析,缺乏直接的数据分析技术支持。例如,通过征收查询可以查询到纳税人开票入库的数据,但是无法分析企业是否根据生产经营状况足额缴纳入库。再如通过稽查查询可以查询到纳税人稽查立案的情况,但是却无法分析纳税人是否存在偷税漏税的行为。总体而言,在大数据背景下,金税三期系统数据应用水平较低。

3 加强大数据在金税三期税务管理中的应用

大数据时代,税务数据分析的数据源并不局限于税务行业,而是涉及到社会的方方面面。所以要以跨行业数据源的视角,才能解决现实中的问题。

3.1 利用大数据分析预测纳税人税收遵从情况

大数据环境下,税务部门的税务系统可以与其他机构系统相连接,通过大数据对纳税人的生产经营活动进行分析,预测纳税人税收遵从情况。例如,在税务申报征收中,“金税三期”系统可以利用大数据平台与工商部门信息共享,获取纳税人的合同订单、原材料及产品信息,分析纳税人的生产经营状况,将纳税人的收入所得与其缴纳的税款进行对比,准确定位纳税人的税源和税收等级,避免纳税人出现偷税漏税的现象。

3.2 利用大数据进行税务稽查,防范风险

大数据环境下,由于各个部门各个系统的数据都是共享的,案源、稽查、审理、执行等环节得到紧密的衔接,各个环节交接过程中浪费的时间得到缩短,提高了管理的效率。再者,“金税三期”系统还可以通过对比欠税纳税人银行账户信息、工商登记信息、公安法人管理信息以及工资支付情况等信息,及时掌握欠税人的资金流向,对欠税人的资金进行动态监控,防止欠税人进行资金转移,降低税款流失的风险。

3.3 利用大数据为纳税人提供专业化的服务模式和内容

大数据不仅能为税务部门的税务工作提供方便,而且也能够为纳税人提供更加专业的服务。基于大数据应用的税务服务,通过纳税人行为的主动分析可以为纳税人提供实时、动态、个性化的服务。在纳税人纳税之前,基于大数据的“金税三期”系统能够根据纳税人的企业特点、经营范围、经营模式以及规模大小等为纳税人提供相关的政策公告、信息查询和自动算税等服务。在纳税人纳税的过程中,“金税三期”系统为纳税人提供了一个现代化的纳税服务体系,纳税人通过多种纳税渠道即可实时申报纳税。在纳税人缴纳税款之后,纳税人可以通过税务平台查询纳税公开信息,也可以对工作人员的服务提出建议和举报,为纳税人的维护权益提供渠道。

总之,金税工程三期的实施必将为税收征管工作提供更有力的支撑,它是税收管理信息化建设一个大的里程碑,也将是税收工作全面提升的一个重要阶段。

主要参考文献

[1]谭荣华,何国煜,刘若鸿. “金税三期”框架内纳税服务问题的探讨[J]. 中国税务,2010(5):54-56.

浅谈大数据时代篇8

在互联网和IT行业之外的传统行业也在关注大数据,传统企业希望通过大数据技术指导企业战略,了解产业发展、商业模式、市场竞争中成功的关键要素,进而提高企业核心能力。然而,传统企业不具备互联网企业对数据信息的敏感度,它们产生海量的数据却不能有效利用数据,或者说数据产生、收集、存储都可能是数据链条的末端,有关数据的进程便完全停止。所以,传统企业需要在大数据背景下实现转型。在今天,新技术不断地颠覆传统产业,企业深知“慢一拍”会是什么后果——柯达被数码时代抛弃,诺基亚被智能机时代抛弃,苏宁在电商时代匆忙追赶,电信在互联网时代寻求突破各行各业的企业都可能在大数据时代掉队,反过来也有机会得以焕发青春。

大数据时代,所有的企业都将由数据驱动,数据将成为企业和公共组织越来越重要的资产。同时,企业更需要高效的大数据工具,让数据资产产生真正的价值。在这个时候,人们首先会朝着互联网企业看过去。互联网产业是信息产业,是数据产业,它们生产、交换、再次加工以及最终呈现到用户面前的“产品”都是数据。因此,在大数据时代,有学者提出“泛互联网化”的思路,以实践收集数据资产、发挥大数据商业价值。这正是广义上的物联网的概念,数据产生、收集、传输、存储、处理都实现互联网化,各行各业都互联网化。

在这个大背景下,企业实现大数据的步骤变得明朗起来。在企业明确自己的大数据项目计划之后,下一步便是实施满足大数据要求的IT建设。

面向云计算的企业IT建设

大数据离不开云计算的支持,云计算是大数据诞生的前提和必要条件。

目前,已经发展成熟的云计算拥有强大的计算、存储能力,可以作为大数据集中采集和存储数据的基础。云计算和大数据的关系可以理解为:云计算为大数据提供了计算能力、存储空间和访问通道,而大数据则是云计算的终极应用。

大数据时代的第一定律是“样本即全体”。随着数据获取、整理、挖掘的成本伴随着摩尔定律不断降低,借助于IT公司提供的数据分析工具,企业将有可能获得产业链上下游的全部数据,从而将企业的市场决策、供应链管控、内部管理的效率提高到前所未有的程度。在IT系统的建设过程中,企业首先面临的最大困难是在内部解决数据的产生、收集以及存储问题。当然,此时的数据也可能不够大,但面临的问题没有本质区别。很明显,能够建设完整大数据IT系统的企业凤毛麟角,大多数企业(特别是传统企业)也没有这个必要,因为大数据对于它们来说是辅助而非核心业务。企业可以选择将部分业务外包出去,再将生成的数据传输回来,但这时又要面临数据的传输问题。总之,大数据IT建设之前,要考虑哪一部分是本地建设,哪一部分置之云端。

模式一旦确定,平台的选择便成为关键,选择哪一种数据分析工具,哪一种数据库,哪一类云服务等等。不同的行业、不同的企业建设大数据IT系统的方案不尽相同,这里不作展开讨论。不过,对大数据IT系统在软硬件方面的一些发展趋势,企业需要重点关注。因为IT技术的发展日新月异,选择一个具有竞争力和强大生命力的平台,企业才能少走弯路,才能真正从投资中获益。

分布式计算 x86当道

大数据领域,在处理海量数据以及非结构化数据方面,Hadoop的作用无可估量。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,具备高可靠性、高扩展性、高效性和高容错性等特点。Hadoop的诞生源于x86平台,得益于这种先天优势,IT核心厂商英特尔也提供了性能更高,更加稳定和易用的独立发行版Hadoop运行环境以及相关的解决方案,其发行版Hadoop环境以44.02%的占有率成为企业最关注的Hadoop版本。

在实际应用中,x86平台在安全和性能方面有着不俗的表现。例如在金融领域的应用中,英特尔通过将处理器内置的安全机制与外部丰富安全软硬件相结合,使其x86平台在安全特性上能够达到不输于小型机的整体表现。而在业务连续性上,高端x86平台表现同样抢眼,让核心业务在运转如飞的同时保证其安全稳定。同时,x86已经成为数据库应用负载的主流平台。在企业大数据应用中,x86无疑已经具备了足够的基础和潜力。出于对基础架构一致性、扩展性和兼容性等方面的考虑,x86将成为构建新型数据分析、商业智能应用方面的最佳选择。

高性能数据库向HANA看齐

大数据的4个“V”中包括了数量(Volume)、多样性(Variety)、速度(Velocity),这也是区别于过去数据处理的一大特点。大数据工具应当具备高性能的数据处理能力,SAP推出的数据分析平台HANA无疑是最受关注的一个产品。目前软硬件集成一体化的架构是一种趋势,SAP HANA的内存分析和软硬件集成化架构保障快速高效,使得用户在应对大数据带来的挑战时又多了一个“利器”。

根据IDC调查报告显示,未来接受并部署一体机的企业将超过半数(成本允许情况下),软硬件集成的一体化解决方案也有望成为未来数据中心架构的新标准。而内存取代磁盘作为主要数据存储和处理介质也是未来的一大发展趋势,内存技术对IT系统性能的提升作用是十分显著的,高性能甚至实时的数据分析将成为企业业务创新的一个重要前提。很多公司利用SAP HANA平台,将原本需要几个小时才能做出来的业务数据分析,缩短到仅几秒钟就能通过相关工具完成,比原先的分析速度要快上一万倍——大数据所需的高性能便体现在这里。

数据仓库特殊性尤为重要

推荐期刊