线上期刊服务咨询,发表咨询:400-808-1701 订阅咨询:400-808-1721

大数据论文8篇

时间:2023-04-01 10:06:57

大数据论文

大数据论文篇1

(一)保险业应用数据的传统

对于传统型数据的应用,保险业有着悠久的历史。人们在长期的生活实践中总结发现,在随机现象的大量重复中往往会出现几乎必然的规律,这种规律即大数法则或大数定律。概率论中的大数法则就是保险人计算保险费率的基础,只有在承保大量风险单位的情况下,大数法则才能显示其作用。根据大数定律的另一个特点,风险单位的数量越多,风险的预期损失就越接近实际损失。保险人正是凭借这种方法比较精确地预测风险,合理厘定保险费率。长期的数据分析传统不仅为保险业积累了许多数理分析人才,同时也养成了保险业数据分析的传统和习惯。这些都为保险业应用大数据垫定了良好的基础。

(二)保险业应用大数据的硬件条件

数据具有大量、高速、多样、价值的特点,这说明大数据中的数据具有即时性而不是一成不变的,数据量庞大而复杂,对处理分析能力有很高的要求。保险业虽然有很丰富的对传统数据的数理分析经验,可是对超大型数据的分析必须依赖专业的存储技术和计算技术。保险公司需要先租赁互联网企业专业的数据存储设备,运用互联网企业的云计算分析能力对数据进行计算,寻求想要的信息。

(三)保险业应用大数据的软件条件

近年来,许多有过传统数据分析基础的人,开始关注大数据的分析,一种新的职业也随之诞生,即“数据科学家”。与传统科学家不同,数据科学家还需要有互联网思维、懂软件程序和统计学。大数据技术仅仅为我们提供参考数据,它是一种信息资源,是一种帮助人们理解世界的工具,但是它不解释信息,对数据的分析解读仍然需要专业人才来进行。由于保险公司的经营方式、经营基础、经营环境和经营对象等方面与其他企业存在明显差异,保险公司应该成立自己的数据分析部门,培养了解自己行业的专业数据分析人才。

二、大数据在保险业中的应用——以众安财险为例

(一)众安财产保险公司背景

众安财产保险公司(下文简称“众安”),是我国首家互联网保险公司,是保险业与互联网业合作的一种大胆尝试。众安保险是由平安、阿里巴巴、腾讯等国内知名企业发起,保监会批准成立的网络保险公司,公司的注册资本金10亿元人民币。众安作为一家互联网在线财产保险公司,完全颠覆了我国现有的保险营销理赔模式,不设任何的地域性分支机构,而是完全通过互联网实现销售和理赔。这一转变是对保险业运营模式的大胆尝试。

(二)大数据在众安财产保险公司的应用

1.大数据在业务费率制定中的应用。

传统的费率厘定是通过分析这一类人的风险发生概率,再根据风险发生的概率厘定这一类人的保险费。获得的数据量越大,在数据中获得的有效信息也就越多。众安在拥有庞大的有效数据和云计算能力的前提下,有能力将费率的厘定更加具体化,由一类人细化到几十个人甚至一个人。随着风险的复杂化,平均费率已经不能准确反映每个成员的风险发生概率,一些细微的个人生活习惯往往就会增加发生风险的概率,支付宝、淘宝、微信等APP已经成为每个人生活的一部分,对这些功能性APP的数据进行整理分析,可以细化人群,分析使用者的生活习惯,通过对客户生活习惯的分析,一方面可以细化同类人群,另一方面可以更准确地评估人群将会面对的风险。

2.大数据在客户服务中的应用。

客户关系的维护,除了即时快速解决客户的问题之外,还需要根据客户的不同投其所好,提高客户消费的满意度,从而提高客户的忠诚度。众安财险的庞大数据量中,记录了许多客户的日常生活数据,大到浏览、交易记录,小到登录社交网络的时间,就像现在许多APP或者门户网站所推出的根据浏览的记录对你进行你可能喜欢商品的推荐。众安通过对客户在淘宝、支付宝、微信等多家公司的各种信息数据的收集分析,有能力分析出一个客户的个人喜好、经济水平、生活习惯和生活规律。在客户需要服务的时候及时为客户解决问题,甚至在可能发生问题前对客户进行提醒,避免损失的发生。对庞大的客户群体施行这一行为是传统保险业客户服务部门无力为之的。众安良好的数据分析能力,合作伙伴的强大数据收集能力,都能有效提高众安的预测能力,并为众安带来质的变化。

3.大数据在业务开拓中的应用。

众安通过大数据分析,获取客户需求、心理等方面的信息,获取潜在的目标客户,进行有针对性的行销策略,力求达到事半功倍的效果。良好的市场细分可以合理分配公司的营销资源,避免不必要的资源浪费,在寻求经济收益增长的前提下控制成本。优质的数据加上强大的数据分析能力,使得众安在对客户的了解和对市场的预测方面有着其他传统公司无法比拟的能力。

(三)实例分析总结

大数据论文篇2

关键词:大数据 交易平台 数据资源 数据分析服务 融合

1.引言

目前发展大数据产业已经上升为国家战略,大数据的价值也得到了社会的广泛认可。众多研究[1-5]表明,大数据不仅为政府治理开辟了新思路,还是企业创新的重要源泉和高校科研的重要支撑。大数据交易平台是整个大数据产业的基础与核心,它使得数据资源可以在不同组织之间流动,从而让单个组织能够获得更多、更全面的数据。这样不仅提高了数据资源的利用效率,更重要的是,当一个组织拥有的数据资源不断丰富和立体化,有助于其通过数据分析发现更多的潜在规律,从而对内提高自身的效率,对外促进整个社会的不断进步。

在现有的大数据交易平台上,数据供应方和需求方各自供需信息,交易双方浏览这些信息,如果发现合适的交易对象,则进行大数据资源的买卖,交易平台只作为信息中介存在。这类大数据交易的本质,其实是单独的大数据资源交易,现有平台可以统称为第一代大数据交易平台。第一代大数据交易平台在供需平衡、数据定价和时效性三个方面都存在较大的不足。本文针对这些不足进行改进,设计了一种全新的第二代大数据交易平台,命名为:融合数据分析服务的大数据交易平台,该平台将数据资源交易与数据分析服务进行深度融合,实现了数据与服务的一体化交易。本研究不仅为当下正在建设的各类大数据交易平台提供有益的借鉴,也丰富了大数据交易的基础理论体系。

2.相关研究

目前大数据交易的相关研究中,比较有代表性的有:

(1)大数据的财产属性和所有权。王玉林等[6]对大数据的财产属性展开研究,认为大数据的法律属性会直接影响大数据产业的发展,而大数据交易实践本身就反映出大数据具有财产属性。但大数据与传统的财产权客体存在较大不同,它符合信息财产的特征,是信息财产权的客体,应受到相关法律的保护。齐爱民等[7]从宏观的角度分析了国家对于其主权范围内数据的所有权,剖析了个人拥有的数据权以及数据的财产权。

(2)大数据的定价问题。刘朝阳[8]对大数据的定价问题展开研究,首先分析了大数据的基本特征、价值特征等定价基础。接着讨论了效用价格论、成本价格论等定价模式。最后分析了大数据的定价策略,并对大数据定价的双向不确定问题进行了详细论述。刘洪玉等[9]认为在大数据交易过程中,由于缺乏足够的历史参考,其数据资源的交易价格很难确定,因此提出一种基于竞标机制的鲁宾斯坦模型,用于大数据交易双方进行讨价还价,以求达成一个交易的均衡价格。翟丽丽等[10]从资产的期权价值角度来评估大数据资源的价值,并指出数据在不断变化和更新,加上数据的非独占性等情况的出现,数据资产的价值可能会下降,最后综合这些因素构建了一个评估模型来计算数据资产的价值。

(3)大数据交易的安全与隐私保护。史宇航[11]认为非法的数据交易会对个人数据等高价值信息的安全造成影响,对非法数据交易的购买方和协助方都应进行处罚。提出应先明确数据的法律属性,再以数据交易所为平台进行交易,并对数据交易所的法律地位进行了分析。殷建立等[12]为应对大数据时代数据采集、交易等过程中的安全问题,综合考虑技术、政策和管理平台等方面的因素,构建了一种个人数据溯源管理体系,该体系可在数据应用时实现个人数据的追踪溯源,从而保护其个人隐私。王忠[13]认为大数据环境下强大的数据需求会导致个人数据的非法交易,为应对这种情况,应该建立个人数据交易许可机制,通过发放交易许可证、拍卖授予等措施实现隐私保护。

(4)大数据交易的发展现状与问题。杨琪等[14]认为我国的大数据交易还处于行业发展的早期,大量数据源未被激活,原因是大数据产业价值链的各个专业环节发展滞后,并且对数据交易中的安全问题和隐私泄露等有较大的担忧。应该对数据产品进行改造,使其更商品化,并且通过政府开放公共数据等措施逐渐消除数据流通中的安全顾虑。唐斯斯等[15]首先分析了我国大数据交易的发展特点、交易类型等现状,接着指出目前大数据交易存在法律法规相对滞后、行业标准不完善、交易平台定位不明确、数据质量不高等问题,最后提出应加快相关法律和标准建设,并推动数据开放,加强交易方式的创新。

除了上述四个主要研究方向以外,李国杰等[16]从理论的角度分析了大数据研究在行业应用和科学研究方面的重要作用,这从客观上反映了大数据流通的必要性。涂永前等[17]认为大数据时代企业管理和运用数据资源的相关成本会成为企业的主要交易成本,这会改变企业的组织结构,并导致企业边界的变化,企业会进行多方向的扩张,这为促进大数据产业发展的相关法律的制定提供了理论支持。总的来看,由于大数据交易本身属于较新的领域,因此相关研究总体上较少,已有研究也大多集中在上述几个研究方向上。实际上,大数据交易平台是实现大数据交易的重要载体,是大数据资源流通转换的主要节点,交易平台本身需要随着整个大数据产业的发展,不断的改进和升级,而现有研究中恰恰缺少对大数据交易平台本身进行创新的研究。由此,本文针对现有大数据交易平台的不足,结合实际设计了一种全新的融合数据分析服务的大数据交易平台,为实践和科研提供借鉴和参考。

3.现有大数据交易平台的不足

大数据本身作为一种新兴事物,当把它作为一种商品进行交易时,其交易平台的设计很自然会参照传统的商品交易模式,即:交易双方先供求信息,再经过讨价还价,达到一个均衡的价格则成交,卖方将大数据资源经过脱敏处理后,交付给买方。目前无论是政府主导的大数据交易所,还是企业或者高校创建的大数据交易平台,都是采用类似的交易模式,这也是第一代大数据交易平台的突出特点。实际上大数据与传统商品有很大的区别,照搬传统商品的交易模式会出现很多问题。本文将从供需平衡、数据定价和时效性三个方面分析现有大数据交易平台的不足。

3.1 数据供需的错配

现有大数据交易平台的第一点不足就是数据供需的错配,即:供应方提供的数据资源往往不是需求方所需要的,而需求方需要的数据在交易平台上找不到,即使有相近的数据资源,也存在很大的数据缺失或冗余,买回去也无法使用。对数据供应方来说,由于无法准确预知数据买方多样性的需求,它只能从自身角度出发,将可以公开的、并且自认为有价值的数据资源放到平台上待售。对需求各异的买方来说,供应方提供的标准数据很难与自己的应用方向精准匹配,这也是目前大数据交易还不够活跃的原因。当然,当供需双方建立初步联系以后,供应方甚至可以为需求方个性化定制大数据资源,但即使这样,供需错配的问题仍然无法解决,原因就在于单个的数据供应方无法提供多维的数据资源,只有多维的数据资源才具有较高的分析价值。

3.2 大数据资源定价困难

大数据资源定价困难是现有大数据交易平台的第二点不足。大数据资源和普通商品不同,普通商品可以直接消费或者作为再加工的原材料,其价值都可以通过最终的消费品价格得到体现。而大数据本身的价值无法直接衡量,需求方购买它的目的是作为数据分析的信息源,但是否能发现潜在的规律还未可知。因此无法在购买前,准确判断出待售数据资源的价值大小。此外,需求方在不确定某大数据资源是否能真正能给组织带来收益情况下,很难给出一个较高的价格,这在客观上会影响数据供应方的交易积极性,加大了供需双方达成交易的难度。

3.3 数据的时效性不强

现有大数据交易平台的第三点不足,就是数据资源的时效性不强。目前很多大数据交易平台上待售的数据资源都以历史数据为主,这是因为数据资源在交易前需要经历脱敏处理,将涉及政府信息安全、企业商业机密和个人隐私等敏感信息进行变换和替代。此外,供应方还需要对原始数据进行初步的清洗,整理成一定的数据格式集中存贮和交付,方便需求方进行数据分析。由于一般的数据供应方并不具备对大数据进行实时脱敏和清洗的能力,只能将采集到的数据资源,经过一段时间的离线处理后,再放到交易平台上,所以只能供应历史数据。随着社会节奏的不断加快,历史数据很可能并不能反映当下的真实情况,越来越多的数据分析都需要用到实时数据作为信息源,这是未来大数据交易必须克服的一个短板。

4.融合数据分析服务的大数据交易平台设计

本文提出将数据分析服务融合到目前的大数据交易中,以此来克服现有交易平台的不足,本节将首先对数据分析服务进行概念界定,再依次介绍平台设计的总体思路和核心模块的设计,具体如下。

4.1 数据分析服务的概念界定

数据分析是指运用各类数据处理模型和信息技术手段,对数据资源进行深度的挖掘,从而发现其中蕴含的规律,作为管理决策的依据。数据分析本身是一种能力,如果一个组织将其数据分析能力提供给其他组织或个人,并收取一定的费用,这就是数据分析服务。在大数据环境下,数据资源不仅体量巨大而且种类多,对数据分析能力的要求不断提高。在这种情况下,只有少数组织具备独立处理大数据的能力,其他的组织比如大量的中小企业,都需要从组织外部寻求专业的数据分析服务,来满足自身的需要。因此,数据分析服务和大数据资源一样存在巨大的市场需求。

4.2 平台设计的总体思路

本文将提出的融合数据分析服务的大数据交易平台,定位为第二代大数据交易平台,它将大数据资源交易与数据分析服务两者进行深度融合,在交易平台上实现数据与服务的一体化交易。大数据交易平台的角色也从原来的数据资源买卖的信息中介,转变为大数据综合服务商。在融合后的大数据交易平台上,数据需求方不再提交数据资源的需求信息,而是直接提出自己的应用方向和想要得到的结果,交易平台再根据需求方的应用方向,反向匹配数据资源和数据分析服务。这个匹配的过程不是单一的数据集或服务的查找,而是对全平台的数据资源进行有效整合,形成高价值的多维数据,再结合复合型的数据分析技术,得到最终的分析结果,最后将分析结果与基础数据一同交付给需求方。交付基础数据的目的,一是方便需求方进行分析结果的对照,为决策提供更精准的参考。二是需求方可以根据基础数据进行衍生挖掘,进一步提高数据的利用效率。平台设计的总体思路绘制成图1。

图1 平台设计的总体思路

4.3 核心模块的设计

融合数据分析服务的大数据交易平台共划分为四大模块,具体如图2所示。

图2 融合数据分析服务的大数据交易平台的主要模块

系统管理模块具体又分为用户管理、系统维护和安全管理。安全管理是系统管理模块的重点,主要包含三个方面的功能:第一,负责整个交易平台的系统安全,通过对交易平台进行实时监控,阻止外部的非法入侵行为,保障平台的正常运行。第二,对数据供应方提交的数据资源进行审核,如果发现是非法数据,则阻止其交易,并及时将有关情况反馈给相关的政府监管部门,由它们进行调查处理。第三,检查所有数据是否经过脱敏处理。如果发现部分数据存在未脱敏或者脱敏不合格的情况,交易平台将负责对该数据资源进行脱敏处理,从而保护数据中的隐私不被泄露。

大数据资源池模块、数据分析服务模块和协同模块是交易平台的三大核心模块,是数据与服务两者融合并实现一体化交易的关键,本文接下来将对这三个核心模块的功能进行详细设计。

4.3.1 大数据资源池模块

大数据资源池模块主要包含三个方面的功能:数据资源格式的整理、数据的多维度整合、大数据资源的云存贮。具体如下。

(1)数据资源格式的整理。由于大数据交易平台上的数据资源来自不同的数据供应方,因此其数据资源的格式会有较大的差异。如果不经过格式整理就直接进行数据分析,很可能会因部分数据无法准确读取,而影响数据处理的效率,严重者还会导致数据分析中断。数据资源格式整理的主要任务是将同一类型数据的格式进行统一,对部分缺失的数据属性进行补充,对错误的数据格式进行修正。

(2)数据的多维度整合。在上文3.1中提到供需错配的一个重要原因,就是单个数据供应方无法提供高价值的多维数据。所谓多维数据是包含用户或者行业多个背景和情境的大数据资源,这些多维数据使用户或行业多个侧面的信息产生了关联,有利于发现深层次的潜在规律。融合数据分析服务的大数据交易平台应该作为数据整合的主体,将单个数据供应方提供的零散的数据资源,进行多维度的整合,当缺少某一个维度的数据时,再向相应的数据供应方进行定向的采集,最后得到相对完整的多维数据,具有很高的分析价值。

(3)大数据资源的云存贮。大数据资源经过格式整理和多维度整合以后,已经可以作为数据分析服务的信息源。下一步就是将这些数据资源进行统一的云存贮,以便数据分析服务调用。以往部分大数据资源由于体量巨大或实时更新的需要,无法上传到交易平台上,或者只提供部分调用接口。融合数据分析服务的大数据交易平台通过建立云存贮中心,将整合后的多维数据进行统一存放和调用,有助于提高数据资源的存取效率。

4.3.2 数据分析服务模块

数据分析服务模块首先根据数据需求方的应用方向,匹配出合适的多维数据资源,再选择相应的数据分析模型分配所需的计算能力,最后将得到的分析结果反馈给需求方。本文将数据分析服务划分为三个大类:基础性分析服务、高级分析服务、深度定制的分析服务。具体如下。

(1)基础性分析服务。基础性分析服务是指那些常规的数据统计,比如:总体中不同对象的占比分析,基于不同属性的关联分析或相关性分析等。这些分析服务耗时较短,分析技术较为简单,只要数据资源本身完备,就可以迅速得到结果。基础性分析服务由大数据交易平台本身来提供,可以面对不同的需求方,实现快速交付。

(2)高级分析服务。高级分析服务是指那些较为复杂的数据分析服务,比如:精准的趋势预测、全面的用户兴趣画像、非结构化的信息挖掘等。这些分析服务需要大量专业的数据处理技术,比如:兴趣建模、视频分析,音频分析、深度语义分析等,必须由大数据交易平台对接第三方的数据分析服务商,由它们来提供高级分析服务。大数据交易平台在同一数据分析领域,应引入多家数据分析服务商,通过动态的竞争,来保证服务的质量。

(3)深度定制的分析服务。大数据分析目前还处在快速发展阶段,很多前瞻性的技术还在试验当中,应该说数据分析技术的发展相对于旺盛的现实需求来说是滞后的。当需要用的某一数据分析技术,在目前的市场上还找不到现成的提供方时,就需要大数据交易平台为其进行深度的定制,交易平台通过多方位的研发能力评估,寻找合适的技术主体来进行专门的技术攻关。

4.3.3 协同模块

协同模块主要包含两个方面的功能:数据分析服务之间的技术协同、交易各方的管理协同。具体如下。

(1)数据分析服务之间的技术协同。在面临较为复杂的数据分析任务时,可能需要用到多个领域的数据分析技术,这时单个的数据分析服务商可能无法独立完成。因为不同的行业领域,都有其行业技术的独特性,需要长时间的专业积累。在这种情况下,就需要多个数据分析服务商相互合作才能完成。数据分析服务之间的技术协同,就是通过一定的技术标准和操作规范,让多个数据分析技术提供方,能够在完成同一任务时,在技术上不冲突,能够相互并行的完成对数据资源的处理,按时按质的交付最终的分析结果。

(2)交易各方的管理协同。在融合数据分析服务的大数据交易平台上,交易的参与者一共有四类,分别是数据资源的供应方、数据分析服务商、需求方和交易平台自身。数据需求方在提交自己的应用方向和预期结果的同时,提交自己的交易预算。交易平台根据需求方提交的应用方向和预期结果,对数据资源和数据分析服务进行反向的选择。如果数据分析任务中只用到了基础性分析服务,则整个交易为平台方、需求方、数据资源供应方的三方交易。如果某数据分析任务,平台自身无法完成,需要用到第三方的数据分析服务商,则整个交易包含了全部四类参与者,是一个四方交易。交易的基本原则是实现参与各方的利益共享。交易各方的具体利益分配如图3所示。

图3 交易各方的利益分配

需求方希望在获得预期结果的同时,其支付的成本在可接受的范围内。交易平台在对数据和服务进行反向匹配后,会出现两种不同的情况:第一种情况是在原交易预算下,可以达到需求方预期的结果,则可成交。第二种情况是,原交易预算较低,在该预算下无法达到需求方要求的结果,这时交易平台会和需求方沟通,提出新的报价,需求方经过考虑后,与平台进行讨价还价,它们在价格上达成一致时才能完成交易。由于交易数据是整合后的多维数据,因此原始数据资源供应方的收益,由平台从总交易价中支付,具体的支付方式可分为平台一次性买断或按次数支付。同一数据资源对于不同的需求者来说,其价值是不一样的,融合数据分析服务的大数据交易平台根据最终的一体化交易成交价,反向对数据资源进行定价,相对于现有的大数据交易平台来说,是一种进步。交易平台的深度参与,会使数据交易的频率加快,原始数据资源供应方会获得更多的收益。数据分析服务商根据具体的数据分析任务,直接参与由平台发起的竞价,达成交易后由平台支付。交易平台本身的收益则是需求方支付额减去其他各方收益的差价。

5.融合数据分析服务的大数据交易平台的优势

本文3.1到3.3中指出现有大数据交易平台存在数据供需错配、大数据资源定价困难、数据的时效性不强三大不足。融合数据分析服务的大数据交易平台作为改进后的第二代大数据交易平台,可以很好地克服上述三点不足。除了这三个方面的优势以外,由于融合后可实现数据与服务的一体化交易,这将扩大交易对象的覆盖范围,提升交易的活力,具体如下。

5.1 直接面向应用,从根本上避免了数据供需的错配

在融合数据分析服务的大数据交易平台上,需求方对交易平台直接提出应用方向和预期结果。交易平台对全平台的数据进行多维度整合,如果缺失某个维度的数据,可以进行定向的采集和补充,最后形成高价值的多维数据。这些多维数据才是真正具有分析价值的数据资源,这是单个数据供应方无法提供的。在得到多维数据后,结合平台自身和第三方数据服务商的分析能力,得到最终的分析结果。交易平台最后交付给需求方的是数据分析结果和基础数据,这种直接面向最终应用的大数据交易方式,从根本上避免了数据供需的错配。

5.2 融合后定价更有根据

在现有的大数据平台上,数据需求方是将数据资源买回去以后自己分析,而在购买数据资源之前,不能预知数据分析效果的好坏,因此无法进行有效的价值判断,这是定价困难的关键点。在融合数据分析服务的大数据交易平台上,需求方不再直接对数据资源付费,而是对最终的数据分析结果付费,并且数据分析结果是根据需求方的要求反向定制的,是符合需求方利益的。需求方可以通过评估预期结果对自身的重要性或收益的改进程度,给出适当的交易预算。交易平台以该预算为参照,对数据和服务进行选择,若出现原预算约束下无法实现预期结果的情况,交易平台再与需求方进行沟通,双方讨价还价后达成交易。这样相对于现有的大数据交易平台来说,融合后定价更有依据。

5.3 融合后可提供实时数据

在融合数据分析服务的大数据交易平台上,数据资源采用云存贮的模式,由平台进行统一管理,这提高了数据资源的安全性。在数据安全有保障的前提下,由交易平台出面和数据资源供应方进行实时数据的对接,将实时数据纳入大数据资源池中。对于单个的数据资源供应方来说,实时的数据脱敏难度太大。但大数据交易平台不一样,它可以利用规模优势,组建强大的计算能力,对大数据资源进行实时的脱敏和清洗,极大地提高了数据资源的时效性。

5.4 融合后将扩大交易对象的覆盖范围,提升交易的活力

融合后可实现数据和服务的一体化交易,让很多自身不具备数据分析能力的组织和个人,也能方便地利用大数据,特别是大量的中小企业,这将大大增加交易对象的覆盖范围。

交易对象的增多会促进交易频率的增长,从而为数据资源供应方带来更多的收益,这样会提升它们参与交易的积极性,鼓励它们供应更多的数据资源,从而提升交易的活力,整个大数据交易行业就形成了正向循环的良好发展态势。

6结语

本文对大数据交易平台本身进行了改进与创新,设计了一种全新的第二代大数据交易平台,即:融合数据分析服务的大数据交易平台。该交易平台可以直接面向需求方的应用方向,实现数据和服务的一体化交易,不仅从根本上避免了数据供需的错配,还使大数据交易的定价更有依据,平台的深度参也让提供实时数据成为可能,这些将从整体上提升大数据交易的效率。融合后数据和服务的一体化交易降低了大数据应用的技术门槛,鼓励更多组织和个人参与,增加了交易活力。未来笔者将继续关注大数据交易平台的创新研究,为实际应用和学术科研提供更多有益的参考。

参考文献

[1]赵强,单炜.大数据政府创新:基于数据流的公共价值创造[J].中国科技论坛,2014(12):23-27.

[2]徐继华,冯启娜,陈贞汝.智慧政府:大数据治国时代的来临[M].北京:中信出版社,2014.

[3]李文莲,夏健明.基于“大数据”的商业模式创新[J].中国工业经济,2013(5):83-95.

[4]侯锡林,李天柱,马佳,等.大数据环境下企业创新机会研究[J].科技进步与对策,2014,31(24):82-86.

[5]张峰,张迪.论大数据时代科研方法新特征及其影响[J].科学学研究,2016,34(2):166-170,202.

[6]王玉林,高富平.大数据的财产属性研究[J]。图书与情报,2016(1):29-35,43.

[7]齐爱民,盘佳.数据权、数据主权的确立与大数据保护的基本原则[J].苏州大学学报:哲学社会科学版,2015(1):64-70.

[8]刘朝阳.大数据定价问题分析[J].图书情报知识,2016(1):57-64.

[9]刘洪玉,张晓玉,侯锡林.基于讨价还价博弈模型的大数据交易价格研究[J].中国冶金教育,2015(6):86-91.

[10]翟丽丽,王佳妮,何晓燕.移动云计算联盟企业数据资产评估方法研究[J].价格理论与实践,2016(2):153-156.

[11]史宇航.个人数据交易的法律规制[J].情报理论与实践,2016,39(5):34-39.

[12]殷建立,王忠.大数据环境下个人数据溯源管理体系研究[J].情报科学,2016,34(2):139-143.

[13]王忠.大数据时代个人数据交易许可机制研究[J].理论月刊,2015(6):131-135.

[14]杨琪,龚南宁 .我国大数据交易的主要问题及建议[J].大数据,2015(2):38-48.

大数据论文篇3

对于新媒体文学意味着什么大数据让新媒体文学回到“去作者化”的共在混融状态:在传统声音媒介时代,读者与作者共同创作、修改诗歌;到了纸质媒介时代,作者的地位上升;在新媒体文学时代,读者可以对作家进行积极主动的反馈,但这种反馈呈现出信息零碎化、评价随性化以及无法把握所有地域、身份、族裔的不完整状态;到了大数据时代,新媒体文学借鉴《纸牌屋》的数据挖掘模式,可以对读者信息进行全数据收集整理,以最大的吸引力呈现一个文本(其中包括一种可能性,即同一个故事开头,针对不同人群有不同的故事演进和情节,乃至人物设置)。舍恩伯格认为,“大数据是指不用随机分析法这样的捷径,而采用所有数据的方法”,因此,我们分析的大数据其实应该被称为“全数据”。在网络新媒体时代,人类所有的网络行为都可以被数据化,而这些数据又能完全被收集、存储、交换和分析。人们在不经意之间产生的数据总量大到我们难以想象的程度。“据有关研究报告,2013年中国产生的数据总量超过0.8ZB,相当于2009年全球的数据总量。预计到2020年,中国产生的数据总量将超过8.5ZB,是2013年的10倍,一个大规模生产、分享和应用数据的崭新时代正在到来。”新媒体文学在发展过程之中当然也生产了大规模的数据,这些数据对新媒体文学意味着什么呢?第一,以PC和移动终端为主要载体的新媒体文学产生巨大的相关信息数据库,比如新媒体小说阅读量排行榜、新媒体作家数据库、读者阅读时间和习惯、哪些文学章节被反复阅读等等。与此同时,因为网络媒介的公开性和“无门槛”标准,新媒体文学的阅读者和创作者数量达到了文学史上前所未有的奇迹。2014年,中国网络文学的读者已突破5亿人,保守估计整体收入突破65亿元。这样大规模的用户群保证了巨大的数据量,也使文学网站拥有所有与网络文学相关的数据。网络文学带来的巨大经济效益成为对网络文学进行大数据分析的资本基础和动力。作为迄今为止最为强大的分析技术,大数据的重要价值在于预测趋势,即“正在发生的未来”。通过对这些大数据的分析,内容生产者可以有针对性地将作品推送给受众,而这种经过精心设计的文学作品恰好就是受众所需要的。这是因为大数据分析可以采用理想状态的全数据分析(目前还不能完全达到),而全数据分析由于分析的数据量巨大,单个数据的误差可以在分母巨大无比的全数据海洋之中被忽略。相反,在数据量有限的时代,我们就只能追求单个数据的精准。“因为收集信息的有限意味着细微的错误会被放大,甚至有可能影响整个结果的准确性。”当数据量持续积累增加时,对单个数据的精准性追求不是全数据的方式,放弃精准性、适度接受不精准性,仍然不会影响其结果。这类似于医用手术无影灯,从各个角度照射对象,永远不会存在盲区。盛大文学董事长邱文友认为,事实上国内文学网站在10年前就在运用大数据思维了:文学网站上有200多万名作家,700多万部作品,怎么在茫茫作家海中找出下一个唐家三少?靠数据分析。此外,在网络连载过程中,作家跟读者之间有互动,这些讯息也是数据。“比如作家本想让甲娶乙,可是绝大部分读者希望甲娶丙,这时候作家可以选择,是按原来思路,还是按小说可能延伸的商业价值去改写结局?所有决策的因素、动机跟方式,也是数据分析。”瑏瑡但是受网络技术发展的限制,当时新媒体文学的数据挖掘不可能像现在这样彻底和全面。第二,大数据时代新媒体文学批评走向多元化。当前的新媒体批评既包括传统精英式的学院派批评,也包括点赞、跟帖式的草根批评;学院派批评以黄鸣奋、欧阳友权为代表,草根批评以崔宰溶为代表。“黄鸣奋和欧阳友权以从西方新媒体技术层面发展出来的超文本理论作为理论生发点,对网络文学进行后现代性的学理探讨。”瑏瑢而崔宰溶认为,对中国网络文学的研究需要从原著理论(vernaculartheory)和网络性理论入手,才能真实地对新媒体文学进行研究。新媒体文学的接受者并不会以文化精英式的方式来俯视作品,他们对新媒体文学的批评是纯感受性的、本能直观的和零散局部的。这种自下而上的反叛式文学批评,迥异于传统精英式的学院批评。对中国新媒体文学的研究必须从网络的“原著居民”(网络文学读者)出发,由于他们大部分时间栖居于网络之中,因而对新媒体文学具有不受传统文学理论影响的本性感受力和知识系统。瑏瑣笔者认为,无论是西方网络文学理论还是原著理论,在大数据时代,它们都会被作为大数据库中的一个组成部分,再结合“总点击量”“总推荐”“月排名”等进行分析,从而寻找出读者最有可能喜欢的作品。无论如何,大数据时代给新媒体文学研究带来一种新实证研究路径。米埃尔(Miall)认为,文学的实证研究像灰姑娘一样总是被人们忽视或反对,早晚会有一天,实证研究将统领整个文化研究领域。人们会通过实证来研究理论观念,反思文学的本质和文化地位。瑏瑤网络技术的发达与新媒体文学的繁荣促成了大数据分析对于新媒体文学的数据实证性研究。

二、大数据思维给新媒体文学带来的理论思考新媒体文学的大数据分析

从学理上带来三组思考:一是大数据推动了新媒体文学的发展,然而新媒体文学能被彻底数据化吗?如果不能,那在什么样的层面上可以被数据化?新媒体文学与大数据思维融合的真正重要意义在何处?二是新媒体文学遭遇大数据思维之后,是否意味着对于新媒体文学的研究可以完全转换为数据式的实证研究?如果不能,对新媒体文学的研究还有哪些方面是大数据不可能涉及和完成的?三是当我们将文学接受者的大数据作为文学创作的唯一和最高标准之后,新媒体文学在题材选取、形式美学和叙事节奏等方面是否走向绝对迎合读者的趋势?如果是的话,新媒体文学作家的意义何在?他们又应该采取迎合还是引领的姿态呢?

第一,新媒体文学活动都发生在网络之上,因而可以被充分数据化。大数据自产生之日起,就迅速与人类已有的知识和学科产生了极强的关联,比如医疗健康、交通规划、公共管理、教育培养等领域都在你看不见的地方悄悄运作着大数据分析。“大数据时代的经济学、政治学、社会学和许多科学门类都会发生巨大甚至本质的变化和发展,进而影响人类的价值系统、知识体系和生活方式。哲学史上争论不休的世界可知论和不可知论都将转变为实证科学中的具体问题。”瑏瑥大数据的此种趋势根源于它能将所有网络行为数据化的能力,比如在新媒体文学活动之中,我们可以轻松采集到作家和读者的数量、年龄层、分布地域、经济状况、教育程度、阅读习惯、题材喜好,等等。除此之外,大数据可以分析:哪种题材的文学受众最多?同一种题材之中,什么样的文学桥段让读者喜欢?幽默、推理、悬疑还是浪漫?文学作品之中什么样风格的语言会更受哪种人的喜爱?什么样的故事情节发展路线和结局是最受人欢迎的?等等。这些方面都可以通过读者的评论和阅读数据反馈到内容提供商和文学作家那里,从而对作品进行实时调整。但是,我们不能因为大数据有这样的效果,就认为新媒体文学可以被完全大数据化。其实,作为技术和艺术合一的新媒体文学在多个维度上是不能被量化的,比如作家的灵魂高度、文学思想的深邃性、文学的意境、文学的美感、文学的终极关怀和文学对人性的探测等都不能被量化,而这些维度恰恰是文学之为文学最核心的内容。不管大数据技术怎么发达,它所追求的绝对客观性其实在数据产生之初就不存在。数据无论在表面上看起来多么客观地再现对象情况,它本身其实是在一种具有倾向性和差异性价值观基础上被建构的。因而,大数据的生成和分析永远不可能摆脱自己天生就具有的价值主观性。我们能看到的数据是研究者有能力或者热切希望看到的数据,若非如此,即便大量数据生成了,也不能被数据识别系统发现。这就好比雷达效应,你的关注点除了对象之外别无他物,但是“他物们”却客观大量地存在于你的意识之外,只不过你无意或不能去抓取它们。所以,大数据不管看起来多么科学客观,背后其实与主观价值判断是分不开的。“大数据”并不等同于“大智慧”,即使占有大量的数据,还必须有对数据具有专业化分析能力的人。Netflix的CEO里德•哈斯廷斯利用数据分析的方法也是受他前期从事碟片租赁服务的启发。他一方面熟悉在网络上怎么通过数据分析为别人推荐自己喜欢的电影和电视剧,另一方面他在无数的观影之中对影片具有极强的审美鉴赏能力。科技和人文的结合让他具有对《纸牌屋》数据进行采集和分析的能力,这才是Netflix进军艺术界成功的原因。所以,同样的大数据在不同主体那里得出的结论或者采取的应用是相距甚远的。就好比同样是医学CT扫描,仪器是相同的,照出的片也是相同的,为什么大家愿意去权威医院检查呢?问题的根源在于对CT成像进行分析的医生水平,同样的CT成像,在拥有不同经验的医生那里得出的结论很可能有天壤之别。大数据作为一种技术在教育、电影、艺术等人文领域广泛运用已是不争的事实,除了让人文领域的成果与经济效益直接产生关联之外,它的最重要意义其实是在哲学思维层面。大数据分析使我们抛弃传统哲学一直追求的现象背后的原因,而转向为关注事物和事物之间的关系性,即从因果关系转变为相关关系。瑏瑦这种思维方式转变是顺应时代的实用需求而产生的。一方面,大数据思维不去深究因果关系,而是绕开因果关系,退到因果关系的上层———相关关系(包含因果和非因果关系)。这种搁置因果的选择更是由于因果关系和相关关系之间复杂的关系:“(1)两个事物间有因果关系时,这两个事物间往往会有相关关系;(2)两个事物间不存在因果关系时,这两个事物间也可能会有相关关系(虚伪相关关系);(3)两个事物间有因果关系时,这两个事物间也有出现零度相关关系的可能(虚伪零度相关关系)。”瑏瑧当略过这些复杂关系,只关注“相关关系———结果预测”,就会省去无数不必要的麻烦,而直接得出需要的答案。“相关关系的核心是量化两个数据值之间的数理关系。相关关系强是指当一个数据值增加时,其他数据值很有可能也会随之增加。”瑏瑨2004年,沃尔玛公司分析顾客消费时的各种数据时,意外察觉到数据和数据之间的相关性:飓风来之前,手电筒和蛋挞都销量增加,因而超市毫不犹豫地将它们放在飓风用品附近。这个例子就表明在大数据时代,深究原因并不一定能找到答案,而对数据进行相关性分析才是其核心。另一方面,大数据带来的相关性分析由于技术的成熟变得比因果分析更容易。丹尼尔•卡尼曼(DanielKahneman)甚至认为,人类之所以一直热衷于因果关系思维,是因为在信息不发达的社会采用因果思维可以快速地作出决定。相反,在那个时代如果采用相关思维会特别费力且不可能有任何结论。大数据由于技术的支撑完全可以支持相关性思维,但我们在现实之中会发现传统因果思维得出的结论被置于大数据时代后是有问题的。

第二,新媒体文学的学术研究与新媒体文学的大数据研究不能混为一谈,二者采用的研究方法不同,而这两种方法也只有被局限在一定范围之内才能发挥出自己的长处。19世纪,类似大数据思维的实证主义就已经僭越过文学的领地。当时实证主义提出,表象本身才是具有研究确定性的对象,对象背后所谓的本质是并不存在的。实证主义“反对追求绝对的知识,它停止去探求宇宙的起源和目的,拒绝认识诸现象的原因,只专心致志地去发现这些现象的规律,换言之,去发现各种现象的承续与类似的关系”瑏瑩。实证主义的“只研究怎么样(how),而不研究为什么(why)”瑐瑠主张与大数据思维追求相关关系而悬置因果关系的方式极为相似。文学虽然作为语言的艺术具有强烈的主观情感色彩,但是对文学的研究在很大程度上可以采用实证主义的方法,比如对文学流派、文学史、作家时代背景、作品传播状况的研究等。实证主义既要有“实”,又要有“证”:从研究对象入手得到大量材料,在此基础上,还需要进行分析论证的过程,否则材料只是死物。反过来,我们认为实证主义精神只能限定在以上研究领域才是对文学研究有益的。如果实证精神进入文学意义范围,文学的灵魂、精神和审美只能被理性实证逻辑消解磨灭,最后成为他者的“嫁衣”。从传统的实证主义对文学的研究经验可知,任何一种研究方法是不可能包打天下的,对文学研究不同的维度只能用不同的方法。针对新媒体文学的实证主义(大数据思维),只能研究新媒体文学的,即对新媒体文学的传播效果进行分析,预测新媒体文学会怎么样,提供什么样的文学作品其传播力更强等。然而,对新媒体文学研究本身就不能是技术式的,而应该是美学式的。在具体研究方法上,新媒体文学与传统文学走的是不同的理论路线。但就其艺术品格来说,文学应该研究的依然逃不脱深层的价值审视:从感官刺激的表层能否将读者引向一般生活状况,如生死、战争、世俗、宗教等,进而感受人类的终极意义和终极关怀。即使新媒体文学从表征上带有后现代的去中心、平面化和反经典的倾向,但我们还是坚信好的文学与人性追求是同一的,狂欢式的浅薄带来的是“娱乐至死”的悲哀。

大数据论文篇4

1.海量信息思维模式

以往人们总是尝试先发现问题,再获取相关信息,探索解决之道。而大数据时代,人们总是先尽可能多的去获取和储存信息,而信息数据价值密度低、数据量大,当遇到问题时再尝试解决问题,其解决的效率和精准度率也有所提升。这种“海量信息”的思维在进行服装流行款式、流行色彩的市场调研时,依然十分适用。

2.新媒体思维模式

信息数据附着在各类新媒体之上,数据格式多种多样,从网页论坛、视频、网络日志、微博微信、甚至地理位置信息等等。新媒体思维正在改变服装市场的营销方式,服装企业传统的营销手段是实体店集中推广、平面广告以及电视媒体宣传,节假期间雇佣大量劳动力街头派发促销传单。而大数据时代,服装企业充分利用互联网的植入式广告、病毒式推广以及低成本营销,打造网络交易平台,全方位收集消费者信息数据,分析消费者潜在消费动机与偏好,从而在推广品牌的同时扩大销售量。

二、大数据时代对高校服装设计教育的启示

1.教学方式的变革

随着笔记本电脑、平板电脑逐步进入课堂,教材、教学活动不断被数字化,教育方法应以更丰富多彩的形式融入课堂。网络教学和讨论方式也是大数字时代课堂经常采用的一种教学方式。以服装设计课程为例,在服装风格与流派章节学习中,鼓励学生利用网络资源,进行相关文献查阅,了解不同历史时期服装风格的含义与表现,以演示文档的形式进行小组讨论,并设计“最受欢迎的大学生潮流服饰搭配”问卷进行市场调研,感受数据的多样性以及数据分析方法。

2.课程知识点的设置

“因材施教”的理念在班级授课制中开展有着相当的难度,在有限的教学时间和教学空间内,教师对学生的“材”无法充分的了解和引导。在大数据时代,教师可以对每个学生学习数据进行分析,将学生的整个学习过程数字化,例如知识点可以被数字化并与测试题建立联系,测试题中每道题的完成时间、错题数等都以数据的方式记录。计算机通过错题分析出每个学生对各章节知识点的掌握程度,从而从根本上落实“因材施教”的教育理念。在服装结构设计类课程中,将知识点与知识点进行组合并设计考核题目,例如人体测量部位与原型版的对照练习,放松量章节的知识点与不同类型板型对应,款式分析与服装风格分析相关联,从而建立知识点与测试题的联系,用相关性思维解决结构类课程中的每一个细节问题。

3.侧重对学习过程的评价

随着笔记本电脑、平板电脑逐步进入课堂,教材、教学活动不断被数字化,学生学习过程也将逐渐数字化,学生的学习过程更加受到关注,而对于这些数据的分析与利用,将使得每位学生的发展都有据可依。例如,在服装工艺类课程中,将更注重实验课程环节的设计与实验过程考核,根据自学能力、创新能力和动手能力来评定学生的综合成绩。鼓励学生海量收集学科咨询,通过自主学习发现问题解决问题,而通过不同考核项目的得分,分析学生的自学能力与学习类型。

三、大数据时代对高校服装人才培养提出的新要求

1.获取有效信息数据的能力

互联网上各类教学视频、教学文库林林总总,各类网络学院、网络公开课、精品课程应接不暇。高校须引导学生自主学习,加深学生对当今社会变革的理解和认知,使学生具有大数据思维能力和判别能力,能够在时间学习中利用资源,使数据为专业学习所用。

2.分析数据的能力

要求学生能根据不同的需求,利用有效的问题解决思想和方法论,最终形成有效的数据,并能够为大多数人使用。利用定量和定型的分析方法,挖掘数据之间的相关性,并形成数据分析报告。该项能力需在服装专业考察、服装创新实践平台等实践环节的课程中,得到充分的训练。

3.团队的建立和管理

大数据论文篇5

1.思想政治教育是主流社会的政治社会化教育,是培养有社会责任、敢于担当、守护底线的教化活动,主体理念必然会在其中得以彰显。作为主体性教育的思想政治教育也应该遵从这一原则,它应该有助于学生主体性的实现和发展,是学生主体性苏醒的标志和政治社会化的体现。当前,伴随着改革开放的浪潮,中国社会向信息化社会日益迈进,我们生活的世界的样态和思想观念的形态都发生了极大的变化,整个社会生活的多样性、人类文明的多样性、世界的丰富多彩都通过大数据的形态走进了千家万户,深深包围了人们的生活、工作和娱乐。如果我们注意到世界的多样性,注意到各个国家历史文化差异,社会制度选择不同,社会发展模式各异,我们就能理解世界各民族有不同的意识观点,不同的文化内涵,对不同问题有着不同的见解。在大数据广泛渗入的今天,我们应当以宽广的视野,包容互鉴,取长补短。但是,随着大数据时代的降临,人们对信息的把握不得不以一种开放式、反思性的方式存在。西方社会思潮随着大数据载体不断涌入,整个中国社会思维主体呈现出个性化、多元化的趋势,主要体现为价值观的多样多元,价值取向的异质开放,主流价值观与其他价值形态共生,个体生活对数据的依赖增强,此时,人们思想活跃,文化行为多样,社会生活开放,行动场景多元以及对权威进行多元化解读。传统的认知框架不断被消解和边缘,新的认知模式正在形成。当前,过度的冗余信息对我国社会的主流价值观和核心思想体系产生了解构效应,对社会中的人们的信仰产生冲击。任何敏感事件都伴随着海量的大数据信息,或真或假,或左或右,或虚或实,或有或无,使得人们无所适从。人们的立场观点也由此产生角度多元、难以统一、复杂多变的特征,进而出现信仰危机、认知错乱、道德滑坡等问题。

2.思想政治教育客体受到大数据信息的冲击传统的思想政治教育是通过对主体对客体的“灌输”,把统治阶级的意识形态传递给被统治阶级,进而整合社会观念,引领社会思潮,占领意识形态的观念高地。但是,随着大数据时代的降临,作为受教育的客体和作为教育者的主体在逻辑上可以持有几乎等量的信息,这使得传统的思想政治教育面临着巨大的挑战。也就是说,受教育者面对的教育者已经不是单一的“灌输”主体。此时,各种利益主体的代言人都在利用大数据平台发出自己的声音,甚至是截然不同的声音。他们都有自身的逻辑演绎以及或虚或实的信息来源。受教育者在这种真假难辨的信息环境中,往往采取一种工具理性的思维。工具理性的膨胀将导致对价值理性的蒙蔽,因此,作为受教育者的客体必须在思想政治教育者的指导下,形成自身的筛选机制,进而能够透过大数据现象,看到大数据背后的本质。同时,大数据技术的不完善也会带来风险。随着大数据技术的不断发展,因特网随之不断普及。人们在对非结构化数据超越结构化数据、结构化数据量激增和对结构化与非结构化数据进行的分析中,前两个问题的解决是第三个问题能够得以实现的基础和前提。也就是说,没有良好的数据存储、保护、迁移和梳理,想要对数据进行分析无异于天方夜谭。然而,道德缺失现象仍然存在于大数据超文本链接中,受教育者看到的正面信息容易遭受境外势力的歪曲、删除或攻击。大数据技术使用过程中,若有不当操作,就会导致泄密,对国家安全造成影响。

3.思想政治教育过程受到大数据信息传播的干扰思想政治教育是政治社会化过程,是主流价值对人们思维和思想的引领。思想政治教育的任务就是用社会主义核心价值观引领整个社会思潮,引导人们树立和践行社会主义核心价值观。需要指出的是,人的思维无疑是一个复杂的巨系统,人们所思所想的原材料来源于大数据的建构。大数据的多样性使得人们思维认知产生种种调适,是在对不确定的消融中产生出自身的逻辑体系。当高速度、时交性和数据异构性的数据充斥到整个思想政治教育过程中时,一旦缺乏理论梳理和指导,就容易对整个教育活动产生干扰。同时,思想政治教育还是信息传播和衍射的过程,整个思想政治教育过程就是一个信息交汇、碰撞和衍生的过程,实质就是为了消除受教育者(收信人)对主流思想的认同的不确定性。但是在大数据模式下,大量信息的出现和高速流动增加了信息的不确定性,尤其是冗余信息的不断增多,导致信息流动悖论的出现。在思想政治教育过程中的信息流动模式同样可以参考信息流动的一般模式

二、新要求思政教育的大数据应对总之

1.大数据已经对思想政治教育提出新的挑战,思想政治教育特征也发生了相应的变化。马克思在《〈黑格尔法哲学批判〉导言》中曾经指出:“批判的武器当然不能代替武器的批判,物质力量只能用物质力量来摧毁,但是理论一经掌握群众,也会变成物质力量。理论只要说服人,就能掌握群众;而理论只要彻底,就能说服人。所谓彻底,就是抓住事物的根本,但人的根本就是人本身。”我们必须高度重视大数据发展对思想政治教育和意识形态安全带来的挑战,要积极防范西方敌对势力利用网络和大数据手段进行渗透、颠覆。因此,从信息化社会的新形势新情况出发,思想政治教育一定要认真研判大数据时代的要求,积极应对大数据带来的种种挑战,科学把握思想政治教育的大数据机遇。

2.要牢固树立起大数据时代的思想政治教育观念伴随着新型智能化信息技术的日新月异,人们的生活理念和思想观念都发生了颠覆式的变化,网络和信息已经成为人们生活中不可分割的一部分,传统的主客体二分法的灌输式教育已经不能适应新形势的需要。如果从不同渠道获得的信息是矛盾的,人们将无所适从,难以建立共识。”但是,大数据时代的意识形态是一种现实的力量,更是社会历史中的一个客观领域,是人们的一种现实的生存体验。因此,要回应数字化媒体化时代信息的要求,思想政治教育就要树立起大数据的观念,配备高性能的软硬件系统和经验丰富的技术人员,实现对海量信息的提取、抽样、分析,利用大数据进行舆论监测。同时,积极研判大数据给思想政治教育带来的影响,时刻关注大数据带来的社会变革,更新思想观念,重视数据、尊重数据、“让数据发声”,使大数据成为在信息化条件下开展思想政治教育工作的有力抓手。

3.要深入挖掘大数据时代的思想政治教育资源随着现代社会进入网络时代,互联网已经成为当今社会最繁忙、最具活力、最富有挑战性的教育工具。人们的各种社会生活已经深深地与网络连接在一起。尤其是在丰富的现代信息技术背景下成长起来的“95后”青年大学生对于移动互联网等新媒体的依赖性正在不断增强,他们生存在日益网络化、数字化的环境中。在网络空间,大数据信息的流动往往是以“对话”的方式展开的。福柯指出:“人类的一切知识都是通过话语获得的,任何脱离话语的事物都不存在,人与世界的关系是一种话语关系。”大数据的话语权力和网络思潮的分散式传播已经重构了意识形态的话语权。针对大数据的特点,我们应当清醒地认识到,强制性的力量已经无法实现主导意识对主流意识的转变,现在要增强思想政治教育的实效性、针对性和操作性,必须拒绝居高临下的高姿态,拒绝冷眼旁观的清高,而是积极地参与大数据的话语空间,在全面收集信息的基础上,将大数据信息进行汇总、整理、归类和分析,利用必要的技术手段过滤信息垃圾,达成对教育对象的全面认识和准确把握。

4.要科学运用大数据时代的思想政治教育方法要多学科、多种研究工具地利用大数据来分析思想政治教育的内在机理;顺应量化研究的新崛起,创新网络思想教育的研究范式;实现宏观覆盖与微观深化相结合。在宏观层面,要注重群体性特征,把握群体性思想,寻找的内部联系和运行规律。从微观上看,用大数据思维来整理和梳理个体的行为特征和思想状况,用事件和行为来透视其思维状态,进而有针对性地进行教导和教化。面对大数据信息价值观念的多元化、碎片化,为了维护大数据价值的秩序,就要整合各种资源为我所用。正如指出的那样:“创新是一个民族进步的灵魂,是一个国家兴旺发达的不竭动力,也是一个政党永葆生机的源泉。”创新就是要破除不合时宜的旧的观念、旧的范式,建立适应时代要求的新的范式,因此,要不断创新,整合多种资源,科学地找准网络思想政治教育的着力点,运用大数据的相关关系分析法,探索网络思想政治教育的预测功能。

5.要理性把握大数据时代的思想政治教育环境布迪厄认为:“从分析的角度来看,一个场域可以被定义为在各种位置之间存在的客观关系的一个网络,或一个构型。”在大数据的环境下,社会大众拥有获得信息资源和表达思想观点的更大空间。在这个空间中,受众的不同倾向性意见的相互作用构成了一个大数据的意见“场域”,转接信息形成议题。如前所述,这是客观存在的复杂大数据意识形态现象。伊格尔顿指出:“意识形态远不只是一些自觉的政治信念和阶级观点,而是构成个人生活经验的内心图画中变化着的表象,是与体验中的生活不可分离的审美的、宗教的、法律的意识过程。”大数据作为现实社会的反映,依然是人的生存空间,人们会在这开放空间中表达一个真实的自我。但是,在网络中我们时刻都可以闻到一种意识形态的味道,不仅这些大数据符号充满了意识形态的深刻底蕴,就连大数据技术本身也难免沦为一种深刻的意识形态。在这里,同时也许在那里,人们的独立见解不仅不会消融在意识形态的硫酸池中,而且恰恰通过意识形态表现出来。在复杂的大数据信息中,人们仿佛听到了卢梭的声音:“人是生而自由的,但却无处不在枷锁中。自以为是其他一切主人的人,反而比其他一切更是奴隶。”大数据技术在为人们提供便利的同时,也影响了人们的思想形成。针对大数据时代的这一观念,教育者可以依托大数据平台的信息,对数据及其来源进行有效鉴别,形成良好的“信息资源观”和“信息价值观”,并善于选用适当的数据计量方法或应用程序软件等对数据进行统计分析,挖掘大数据潜在的思想政治教育价值,找出事件之间的关联性,并对事件的发展走向及趋势进行预测,最终提升思想政治教育的效果,使得思想政治教育成为无缝对接的“合力型”教育,促进教育内容获得“内化于心、外化于言,实化为行”的实效性。

三、结语

大数据论文篇6

只有在同一时间同一地区大量采集样本,才有可能满足RCT随机对照实验的样本要求。RCT样本问题可望在大数据时代得到解决,随着泛在随时采集样本的大数据时代的到来,以及不间断采集医疗数据的可佩戴设备出现,样本数据的稀缺等问题将随巨量数据消失。而随着新型大数据分析挖掘工具的出现,特别是深度学习技术的不断发展和应用,证据及其结论的准确可信性必将大大提高。目前,深度学习识别5749个人脸的精度已达99.15%,其准确程度已经超过人眼和大脑。因此,深度学习必将为循证医学带来一场新的革命。本文将分析循证医学在数据证据获取、分析、制作等方面所面临的挑战,介绍医疗大数据时代的数据采集、整合、分析和处理方法,介绍面向医疗大数据的深度学习技术自动提取疾病特征的原理和方法,以及医疗大数据及基于云计算的深度学习对循证医学所带来的各种变革。面向大数据的深度学习将特征提取与决策分析过程合二为一,大大降低了医生在临床及医学研究中应用循证医学的劳动强度。结合医疗大数据、云计算和深度学习的循证医学,将克服过去数据证据稀少、偏颇、失信、不公、过时等不足,将具有更加广阔的推广应用前景和发展动力。

1循证医学与数据证据

循证医学,简之就是“遵循证据的医学”,又被称为实证医学。循证医学重视医生的临床经验,即传统意义上的经验医学,同时又强调诊断、治疗等决策应在临床证据最为符合病症的基础上作出[1]。在循证医学的创立、发展与传播方面,英国的科克伦(ArchiebaldL.Cochrane)、美国的费恩斯坦(AlvanR.Feinstein)以及萨克特(DavidL.Sackett)做出了重大贡献,成为循证医学的奠基人。科克伦强调大规模随机临床试验的重要性。他认为只有在大规模临床试验中使用随机分组策略,才能避免因样本分组而产生的选择性偏差,保持对照组和试验组样本的背景因素平衡,从而才能做出最终正确的比较与评价。他建议及时将切实医学证据传播给使用者,接受专家评估并对可信度进行适当分级,以使医学证据能被及时整理、归纳与更新。费恩斯坦奠定了现代流行病学的数理统计与逻辑基础。从1970年到1981年,他在美国《临床药理学与治疗学》杂志(ClinicalPharmacologyandTherapeutics)上,以“临床生物统计学”(ClinicalBiostatistics)为题连续发表了57篇论文,将数理统计学和逻辑学导入到临床流行病学,科学系统地建立了临床流行病学的有关理论体系。萨科特则为循证医学的传播与发展做出了巨大贡献。他发起并主编了与循证医学有关的两本著名杂志:《美国内科医师学会杂志俱乐部》和《循证医学》。

1997年,他还主编出版了《循证医学》一书,该书被译为多种文字并在世界上广为传播。正是在《美国内科医师学会杂志俱乐部》上,加拿大盖亚特(rdonH.Guyatt)于1991年首次提出了循证医学一词[3]。从循证医学与数理统计和逻辑学的渊源,便可以看出循证医学注重证据的内涵。它是一门非常强调证据制作的学科,同时又非常重视医学证据的传播和评估,这正是它区别于以往医学的特点。通过评估产生可信证据,通过传播发挥证据价值。医生在诊断与治疗过程中,不仅基于经验直观判断,而且结合证据科学决策,更加客观地进行诊断与治疗。短短十多年的时间,在世界各国医学研究与临床实践中,循证医学得到了广泛深入的应用。科克伦最初创建的世界循证医学协作网已经包括约50个专业协作小组,所收集的医疗证据几乎覆盖所有临床医学领域。1996年,我国华西医科大学建立了中国循证医学中心,并于1999年正式加入世界循证医学协作网;2001年,中国循证医学中心创办了《循证医学》杂志,发表在各类杂志的循证研究论文达45842篇。但是,循证医学也有其面临的问题,如对证据进行科学评价等问题。临床证据目前还没有完整、科学的定义,证据评价标准及推荐级别尚未完全统一,不同国家不同疾病的证据质量分级不尽相同。而且,随着人类对疾病认识的加深以及诊疗手段的革新,评价标准还会随这些因素的变化而变化。

循证医学的基础是数理统计学,要求RCT的实验样本及环境一致,以便排除个体差异及环境干扰,但这在现有条件下近乎不可能实现。号称大规模随机对照实验的样本偏少,对照组和试验组难有条件一致的个体,环境随时间空间变化造成实验对照控制困难。目前,大规模的医学样本采集困难,几百个样本已经算是比较大的样本了;而根据统计理论如要达到90%的敏感度,至少需要约1300个的数据样本。为了克服RCT样本不足的问题,Meta分析方法得到了广泛应用:通过综合已有研究多个样本集的结果,可以推得大规模样本集的综合结果。Meta分析取得了很多有价值的研究成果,但是,Meta分析的基础也是数理统计学,其运用的前提是样本及实验环境一致,正是在这一点上它备受质疑。首先,不同样本集的权重控制难于完全公正,因为其实验环境难于恰当评价和把控,实验结果难免有过度包装和偏颇之嫌。Meta分析存在的另一个问题是:它所依赖的数据往往不是最新的即时案例,制作的证据可能因环境与气候的变化而失去应用价值。总之,循证医学所面临的问题包括:证据的稀缺性、偏倚性、可靠性、及时性、公正性,以及环境的一致性等方面的问题。由于证据的一致性和及时性存在问题,基于历史数据进行Meta分析备受质疑。2014年,《英国医学杂志》在名为《循证医学濒临破产》的文章中指出[5]:循证医学的证据属于间接证据,基础建立在已经发表的研究文献上,利益冲突容易影响证据的公正性,证据环境与临床决策环境存在距离;循证医学助长了过度诊断、过度治疗,并可能存在沦落为利益集团代言人的危险。

2大数据对循证医学的影响

大数据(Bigdata)又称巨量或海量数据,是指数据规模巨大以至在合理时间内,无法通过当前主流软件工具,获取、处理、分析以便决策的结构复杂的数据[6]。大数据如下具有4V特点:Volume(巨量)、Velocity(瞬速)、Variety(多样)、Value(价值)。巨量是指已经不能再用GB(即1024MB)和TB(即1024GB)为单位,来衡量大数据的存储容量或规模,而要以PB(即1024TB)、EB(即1024PB)乃至ZB(即1024EB)为单位来计量数据容量。在巨量的医疗大数据中,各种条件的样本都会存在,因此,证据的稀缺已经不是问题。瞬速是指兼具方向的快速变化,即数据随时间和空间快速变化。大数据中的样本通常是全空间的、多维度的、全时间的及瞬时变化的。由于大数据地域环境广,数据样本量巨大、正反样本齐全,证据的“制作”已不再必要,而是随时随地客观地存在。瞬速性通过可佩戴健康监测设备体现,这为及时获取病患信息提供了极大便利。多样是指数据的种类繁多、结构复杂、因果并存、甚至同一数据表现出不同形式。数据的多样性对数据的理解和分析是一个巨大挑战,但同时也为样本分析结果的验证带来便利。因此,在医疗大数据环境下,不仅随时可以采集样本进行分析处理,还能对分析得到的结果马上进行验证,从而能够保证医学证据的可靠与可信。

价值是指相比小规模、历史数据而言,大数据具有更高的研究和使用价值。由于任意时刻任意地点都有大量样本,样本的稀缺性和及时性已经不是问题,这为医学研究扫清了采样障碍;同时由于样本丰富冗余多样,也为研究结果的验证提供了便利;大数据除具有巨量历史数据外,还有不同地域环境的巨量即时数据,这使循证决策更具应用价值和时效性。大数据将首先改变医学数据的采集方式。大数据的形成往往依靠自动采集技术,随着可佩戴监测设备如iWatch等的出现,医学数据的采集及积累速度将出现爆炸性的增长。以往的数据同大数据相比,如同沧海之一粟。且以往的数据往往靠手工采集完成,普遍存在稀缺、偏倚、可靠、及时、公正等问题,这样采集的证据必然会影响医学研究的结论。基于手工证据进行决策,其结论未必准确及时公正可靠。医疗大数据不间断地在不同地点同时采集,不仅包含历史数据以及即时数据,甚至还可能包含未来需求信息,例如,ogle就是通过人们对感冒药品的搜索来预测流感的。大数据的出现将改变医学数据的管理方式。在网络数字化高度发达的今天,尽管已经出现了电子病历,但纸张病历在数据管理中仍然重要。然而,纸张病历有其固有缺陷,如容易破损或丢失、整理归档的周期过长、借阅的时间成本极高、研究采样的工作量巨大等等。伴随大数据出现的数据融合技术能将不同医院的电子病历整合在一起,并同可佩戴健康监测设备的数据及时集成,大大减少了电子病历的整理、借阅和数据采集时间,这不仅对病人的疾病诊断和预警监控更加有利,同时也对医生的临床及医学研究更有帮助。通过语音和可视眼镜等现代化的数据浏览设备,医生在查房间隙就能获知下一病人既往病情,从而能大大减少医生的劳动强度,使医生有更多时间治疗病人,有更多的时间进行医学研究。

大数据的出现将改变医学数据的分析方式。以往在收集样本数据以后,通常使用SAS或SPSS等软件,对采集的数据进行统计分析,发现相关病因或建立决策模型。这些软件受计算能力及内存容量的限制,只能处理样本量不大的数据,并且处理的数据维数有限,例如,SPSS不能超过40维,而医疗大数据的维数成千上万。通过手工或统计软件的计算方法,将无法满足医疗大数据的分析需要。

当维数超过30个致病因素时,可能要考虑230种因素组合,普通统计软件已无法计算和处理,必须依靠内存及速度“无限”的云计算。必须研究与开发基于大数据和云计算的分析与挖掘技术如深度学习技术,使其能够自动完成高维病因数据的分析与主要病因的提取。总之,医疗大数据的采集、整合、分析、处理、研究完全靠人工完成已极其困难,没有利用云计算的统计分析软件也难于完成医疗大数据的分析和处理。在大数据时代,必须借助深度学习等技术完成医疗大数据的分析和挖掘。虽然医疗大数据能够弥补数据样本的不足和不公,但只有借助更为先进的分析工具和软件,才能为循证医学带来进一步的变革和发展。

3大数据对循证医学的变革

证据制作是循证医学的核心,证据能为医生的诊治提供参照,因此,循证医学得到了快速发展。但是,矛盾、偏颇、过时的证据也使循证医学备受质疑。首先是证据及其结论存在大量的矛盾,使人们对循证医治的结果产生怀疑;其次是证据偏颇使其成为利益代言人的工具;其三是证据时过境迁使医治达不到预期效果。而医疗大数据的出现恰好能够弥补以往证据采集与制作的不足。首先,医疗大数据使证据的稀缺问题得到解决;其次,随大数据广泛汇集的医生及病人评价,可有效避免证据成为利益代言人的工具;其三,可穿戴等自动采集设备可保证证据的时效性。这将有助于循证医学同中医的结合。中医的治疗过程通常比西医长,其证据采集及疗效评估存在很大问题,而随着可穿戴健康监测设备等技术的发展,长期持续采集治疗证据及疗效将不再困难,从而有助于循证医学在中医等领域发展壮大。此外,随大数据兴起的先进数据分析与挖掘技术,将对循证医学起到巨大的推进作用。临床决策分析评价是确定循证治疗方案的关键步骤,现有的决策分析评价模型包括决策树、Markov过程等一系列模型,这些模型在面临高维大数据时力不从心,难于继续提供较高的决策精度,使医生对医治方案是否有效失去信心。随着大数据深度学习技术的出现,病因的分析和提取已完全自动化,且大大降低了建立决策分析模型的工作量,提高了治疗方案的决策精度。对于任何疾病诊治方案,考虑的疾病致病因素越多,即证据或特征维数越多,得到的参考信息就越多,诊治的准确性就会相应提高。但是,医生在遇到大量高维的证据数据时,往往面临从中选择少数有效证据的难题。例如,假定要考虑30个致病因素或检验指标,建立决策模型就要考虑230种因素组合,从中筛选一个最优因素组合作为模型输入的工作量是巨大的。因此,要得到由若干最优证据构建的最佳决策分析模型,医生们所投入的研究精力可想而知。

筛选最优因素组合是医生们最费精力的工作,目前这项工作可以被深度学习自动完成了。深度学习最早由Hinton等人在2006年提出,它是一种无监督的特征学习和提取技术,它通过低层特征的组合构建更加抽象的高层特征。2012年,Lecun等人利用卷积神经网络真正实现了高效的多层深度学习。传统的神经网络学习只有单向认知过程,通常只包含一个隐含层,因层数较少而被称为浅层学习。深度学习则包含认知和生成两个过程,并且每个过程都包含多个隐含层,其模型的总体框架如图1的虚框部分所示。如图1所示,深度学习的“输入层”可以理解为各种致病因素以及各种检查化验结果,例如遗传环境因素以及肝功全套指标等;自底向上的箭头表示认知过程,自顶向下的箭头表示生成过程,即深度学习由两个互逆的过程构成;认知权重向量WnT和生成权重向量Wn表示深度模型的知识。原始“输入层”经“隐含层H0”认知得到输出,输出又经“隐含层h0”生成得到新“输入层”,如果原始“输入层”和生成的“输入层”完全一致,则说明认知产生的输出是完全正确的。根据信息论的有关理论,学是会产生损失,新旧输入不可能完全一致。因此,只要两者近乎一致就可以了。认知和生成权重同隐含层的每个输出相关联,wake-sleep深度学习算法用于双向调节权重:(1)利用下层输入和认知权重向量WiT产生输出表示,然后使用梯度下降法调节生成权重向量Wi;(2)利用输出表示和生成权重向量Wi产生输入表示,然后使用梯度下降法调节认知权重向量WiT。通过逐层学习最终得到顶层的认知和生成权重向量WnT、Wn。在深度学习完成后,如果要建立决策分析模型,只需将顶层输出即自动提取的特征,作为分类模型如支持向量机的输入,并用类别标记如肝硬化分级训练支持向量机,就可以得到用于决策分析的精确分类模型,分类模型如图1的虚框外部所示。2014年,香港中文大学汤晓鸥教授领导计算机视觉研究组(mmlab.ie.cuhk.edu.hk),开发了一个名为DeepID的深度学习模型,在LFW数据库上识别5749个人脸的准确率已达99.15%,其精细和准确程度已经超过了人眼和大脑。医疗大数据及深度学习必将为循证医学带来一场新的革命。不仅数据缺失、偏颇以及过时等问题会被迎刃而解,而且证据收集、制作以及诊治方案的决策都将会自动化,这将扩大循证医学在所有领域包括中医等领域的应用范围,大大降低医生在证据制作、治疗方案决策与疗效评估等方面所付出的精力,推动循证医学向更深更广更加现代化的方向发展。

4总结

医疗大数据带来的变革将是全方位的,它不仅为医学研究和证据制作带来便利,同时也将促进中医等替代和补充医学的发展。作为大数据采集的一项关键技术——便携式/可佩戴健康数据自动采集技术,将大大提高医疗数据采集以及证据制作的效率,解决中医等疗效数据需要长期采集观测的难题,弥补循证医学存在的证据偏颇、不公、过时等缺陷,促进循证医学更加客观、公正、可靠地在临床治疗中应用。在循证医学的证据评估以及利用方面,伴随大数据出现的云计算能够提高证据分析与处理的效率,大大节省医生临床应用和医学研究所需要花费的时间;面向大数据的深度学习能够从浩瀚的高维医疗数据中,自动完成疾病致病因素及环境因素等的筛选与提取工作,并能建立精度远远超过人脑的决策分析模型,从而大大提升医生建立和应用循证治疗方案的信心,有助于循证医学被各科医生更加广泛地接受和应用。尽管深度模型包含更多的隐含层,其学习时间要远远长于浅层学习,但两种模型的决策时间相差不大,因此,这并不妨害深度模型的有效应用。特别值得一提的是,深度学习将证据提取与决策分析两个过程合二为一,大大降低了医生在临床及医学研究中应用循证医学的劳动强度。基于大数据、云计算和深度学习的循证医学,由于能够降低劳动强度、提升工作效率、提高决策精度,因而将具有更加广阔的应用前景和发展方向。

5展望

大数据论文篇7

在大数据环境中一些由新兴信息技术引发的信息词语如:物联网、Web2.0、云计算、移动互联网等等层出不穷。尤其是大数据环境中智能图书馆、智慧图书馆、服务发现、文献发现等等热点信息也是扑面而来、让人目不暇接。对大数据概念和特点的认识、大数据的管理与应用、在结构性数据、半结构性数据以及非结构性数据等复杂化情况下如何挖掘85%非结构性数据中有价值的信息?金融、电信、保险等行业如何寻找模式能高速、有效的利用大数据帮助组织机构做出更好的商业决策;如何以具备成本效益的方式快速可靠地从Hadoop中存取数据?各行业如何应对大数据时代的到来?等等,诸多的信息知识以及信息的利用都是需要人们去认识和探讨并有效进行管理和利用。大数据带给图书馆的影响与挑战,以及大数据环境下图书馆服务的模式、未来发展趋势目前已成为业内人士探讨的热点,在大数据环境中如何加强信息素养教育也是图书馆员要面对和思考的问题。信息素养能力是信息社会对人的发展的核心问题。2003年布拉格宣言中提出“信息素养是终身学习的一种基本人权”。学习查找信息、获取信息、利用信息是每个人都应该具备的基本素养和权力。高校信息素养教育是指对高校大学生进行如何获取信息、处理信息的培养和教育,它是通过在高校文献检索利用课以及新生入学教育等形式来实现,其内容包括图书馆的使用、文献信息的获取、信息意识的培养、信息道德的遵守、信息安全的防范等。高校信息素养教育对象主要是针对大学生读者,目的是培养大学生对信息的获取并能有效使用信息,提高大学生适应社会的能力。图书馆员肩负着高校信息素养教育的重要职责。在大数据环境中大数据与知识信息紧密相联,如何处理和挖掘分析海量数据而获得有价值的信息,使图书馆的服务质量得以提高,高校教师、图书馆员以及大学生如何在大数据环境中认识和获取、使用信息,高校信息素养教育就更显得重要。

二、大数据环境中对民族地区高校信息素养教育提出更高要求

在大数据环境中图书馆提升服务质量,做到创新服务到位并非一件容易的事情。如何借助正在到来的数据技术去从事真正的知识服务是图书情报行业人士正在思考和实践应用的问题。王世伟认为:大数据为图书馆数据库的重组再造以及相应的数据应用和读者咨询提出了新的挑战和新的发展机遇,成为图书馆库库相联的重点。复杂数据的产生与保存、分析等将对图书馆的服务、图书馆馆员以及大学生信息素养教育等等也面临着新的挑战和影响,如何利用大数据技术去挖掘、识别、组织和分析在服务过程中所遇到的用户行为中的结构化数据、半结构化数据与非结构化数据等信息,这对拓宽图书馆服务、创新图书馆服务都是必不可少的重要内容。由于大数据时代的到来对图书馆创新服务提出了更高的要求,随之而来用户要求也在提高,这必将对信息传播者的素质要求也越来越高。因此,在大数据环境中对民族地区高校大学生信息素养教育也提出了更高的要求。但从实际情况看,大数据概念及基础理论知识信息在民族地区高校还是显得较为陌生,因此,充分发挥图书馆的教育职能,重视提高大学生读者的信息素养,加强对当今信息的获取、信息的安全、信息的利用认识和教育迫在眉睫。

三、大数据环境中民族地区高校信息素养教育的几点思考

(一)加强对民族地区高校大学生对大数据环境诸多信息知识的认识在大数据环境中,“图书馆的传统业务将向数据分析、数据挖掘方向转移,对大量数据的分析与处理将成为图书馆的主要业务”[8]120-122,同时,“大数据给图书馆知识咨询服务带来机遇,知识咨询服务是大数据时代图书馆知识服务的主要方式与手段,是一种有别于传统咨询服务的创新型服务”。图书馆知识咨询服务也应当包括信息素养教育的内容。大数据时代图书馆对庞大的各类数据的挖掘与提高数据分析能力是图书馆发展战略的关键,大数据的管理与应用涵盖了图书馆创新服务模式、读者借阅习惯、信息捕捉能力、数据挖掘与分析以及加强读者信息素养提高有效利用信息等,因此,图书馆通过信息知识教育、文献检索课教学讲座、提供多媒体课件等多种方法对大学生进行大数据概念等基础理论的认识,如认识大数据概念及4V特征、结构化数据、半结构化数据与非结构化数据;哪些是结构化数据?哪些是半结构化数据和非结构化数据?大数据是如何进行高速获取和应用等等信息知识,这些较为陌生的信息知识是图书馆馆员以及大学生都需要学习和了解的。

(二)加强高校大学生的信息安全教育美国高等教育信息素养能力五大标准其中一条就有:“具有信息素养能力的学生懂得有关信息技术的使用所产生的经济、法律和社会问题,并能在获取和使用信息中遵守公德和法律”。它要求图书馆在网络信息资源的开发与利用的服务过程中,怎样建立一个符合信息时代的信息伦理机制,使传播者和用户懂得如何自由获取信息的权利,尊重信息知识产权、保护信息隐私、防止信息垃圾及信息污染,不传播不良信息等,这表明对传播者也必须有一个统一的行为规范[11]。大数据环境中面临着读者隐私安全和隐私保护的问题较为突出,如何维护用户的个人隐私权是面临的一个新的要求。图书馆在利用大数据分析用户过程中,将会遇到用户隐私保护或泄露等问题,因此,在对读者个人数据的采集、管理、挖掘、分析提供个性化服务的同时,也要注重用户个人隐私的维护。要加强高校大学生信息安全教育,引导大学生在获取和利用信息中遵纪守法。

(三)加强对大学生信息利用的学术规范认识和教育笔者认为:图书馆员获取信息的能力应当是比较强的一个群体,除了如何考虑让读者怎样去获取资源并安全有效、的利用资源,还有更重要的一点是引导学生读者如何规范的利用学术资源,做到学术严谨和规范。传统的图书馆从最早使用目录柜来整理信息使信息有序化到现在由于数字化的不断推进,信息源的出现多种多样:如各种数据库、音频视频、微博、优酷、微信、电子邮件等等各种海量的信息呈现在人们面前,承担信息素养教育的教师既要要引导学生成为知识的探索者,让学生根据自己的需求弄清如何获取、在哪里获取、如何有效地利用与本课程有关的信息资源等问题,更要加强大学生信息利用的学术规范和教育,这是包括高校教师、图书馆员有效利用信息也必须懂得遵守的一个学术自律行为。

大数据论文篇8

物流行业的大数据,可以从多个维度进行解构:结构化数据、半结构化数据、非结构化数据(刘禹,2013;ElenaGeaninaUlaruetal.,2012)。物流行业的大数据既包括存储在数据库里的结构化数据,也包括日志文件、XML文档、JSON文档和电子邮件等半结构化数据,而更多的数据类型是办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等非结构化数据,半机构化、非结构化数据约占大数据总量75%-85%。内部数据与外部数据。物流企业的大数据既有来自企业经营的内部交易数据、CRM数据,也有来自其他数据源的外部数据。物流企业的大数据兼具公共、私密二重属性。外部数据的公共性特征比较明显,而内部数据由于和行业标准和商业机密密切相关,因而具有私密性。与数据结构的多维特征相对应,物流企业大数据的格式也是多样的。除了传统的纸质文件、档案、报表、表格、记录、信函等之外,更多的是以数字数据存在的Web文本、视频、短信、音频、视频、邮件,存储信息、配置文件、符号、图片、档案等。数据格式的多样性和互不兼容、数据访问的随机性,为数据的采集、存储、分析、应用带来了困难。

二、物流行业大数据的应用特征

(一)大数据的应用潜力巨大

在大数据概念兴起之前,企业主要借助内部数据、结构化数据进行决策。商业智能(BI)技术的应用似乎将企业带入了“智慧世界”,但BI仍然对外部数据、非结构化数据无能为力,没有“走完最后一公里”,无法有效满足决策需求。在大数据时代,企业的外部数据权重急剧上升,决策价值越来越突出,这意味着仅仅依据占数据总量15%左右的结构化数据进行决策越来越失之偏颇(T.K.Dasetal.,2013),物流企业决策者驾驭业务的战情数位仪表盘其实是残缺的。事实上,一些沿袭原来的IT解决方案的物流企业,普遍遇到数据处理系统扩展困难、处理时间长、传输效率低、成本过高的问题(ElenaGeaninaUlaruetal.,2012)。大数据应用技术就是能够妥善解决这些问题的性价比比较高的数据计算与存储方式。据ICT权威研究机构CCWRE-SEARCH的研究结论(2012年),无论是从信息技术应用的契合度还是从短期内投资大数据的可能性进行测度,物流行业都具有大数据应用技术推广的优越条件。但他们同时还指出,虽然物流行业对“大数据”概念的知晓率为91.8%,但究其应用而言,总体上还处于“认知”阶段,这意味着大数据在物流行业应有较大的应用潜力。

(二)大数据的供应链特征明显

物流行业大数据的应用正越来越呈现出供应链特征。这个“数据供应链”,存在着数据收集、数据处理、数据分析、数据价值提取、数据价值消费等多个环节(HsinchunChenetal.,2012),参与者包括原始数据提供者、数据收集者、数据平台商、数据应用技术开发者、数据服务提供者、数据产业投资者,数据价值消费者等多个主体。就物流企业而言,在这个数据供应链中,可以承担多重角色:既可以是原始数据供应者(主要是内部数据、结构化数据),也可以是数据产业投资者、数据价值消费者。实力雄厚者甚至可以向其他角色拓展,具有优秀的数据供应链整合能力的企业将会赢得较大竞争优势。图1给出了物流行业数据供应链的简化模型,并借用MichaelPorter的五力分析模型对数据供应链各个环节的竞争态势进行了分析。

三、大数据应用对物流企业竞争力的影响

(一)大数据应用影响物流企业竞争力的机制

图2给出物流企业竞争力影响因素的分析框架(王海燕,2012;静涛,2010)。物流企业的竞争力影响因素涵盖环境、资源、能力三个方面,其中环境要素可以进一步细化为:行业经济发展水平、宏观调控、社会人文、物流技术等;资源要素可进一步细化为物质资源和无形资源等;能力要素可细化为战略决策能力、运营管理能力、市场营销能力、品牌管理能力、创新发展能力等(张莉,2012)。这里以前文论述为基础,分析大数据应用对物流企业竞争力提升的影响机制,如图3所示:大数据通过影响物流企业竞争力的环境、资源、能力三个要素,提升其竞争力,而物流企业竞争力的提升则表现为快速反应、稳定可靠、灵活性和弹性提升,顾客满意度提升,经济效益提高等等(ElenaGeaninaUlaruetal.,2012)。

(二)大数据应用提升物流企业竞争力分析

在物流企业竞争力三个影响因素中,环境因素是外部、不可控要素,资源和能力属于内部要素、可控要素,因此,这里重点分析大数据在物流企业的应用对两个要素的影响及其表现。1.对资源要素的影响。大数据时代,数据被许多权威人士比作“新型石油”,日渐成为一种战略性资源和企业的核心资产。大数据及其所承载的知识和信息作为一种极具战略价值的经济资源,通过参与企业的经济活动和营运过程,正在充分地发挥其独特的整合效应,促进物流企业提高组织效率、降低成本、创新服务、维系良好的品牌形象和客户关系、增进经济效益等。其作用机制如下:第一,盘活物流企业的人力资本。在大数据日益进行着渗透性应用的背景下,将推动人力资源决策由“经验+感觉”模式向“事实+数据”模式转型,人才测评和任职匹配将更高效、更精准;处于休眠状态的企业内部营运数据将被唤醒,培训需求的甄别将更便利。过程数据和结果数据的空前丰富使得“过程+结果”的绩效考核方式将更容易导入,对绩效辅导和绩效提升更有利。第二,直接增加物流企业的结构资本。大数据应用技术将推动物流企业的组织结构的进一步优化,与战略的匹配度更高,组织内外信息流动更顺畅,协调机制更完善,内部沟通更“智慧”,资源管控和利用率水平更高,对市场机会和环境变化的动态适应能力更强。不仅如此,对物流企业信息技术的升级应用、知识产权的保护、品牌推广和商誉提升也将产生巨大影响。这些都会直接增加企业的结构资本。第三,为企业赢得更多关系资本。在企业内部沟通更舒畅、更外向的情况下,面向客户的、创新型的共有价值观更容易形成和维护,员工所期望的个性化关怀更容易实现,这将推动物流企业的文化建设。同时,大数据的应用还将推动物流企业创新业务模式,主动采用整合传播,提升品牌美誉度,更好地开展公共关系。物流企业在推行个性化定制化服务、高效的商业伙伴和顾客关系管理会更主动,这些都会为物流企业赢得关系资本。2.对能力要素的影响。第一,提升物流企业的战略管理、战略决策能力。大数据的应用有利于企业推行数据驱动的敏捷决策,从长远来看,还会推动企业组织架构和业务流程的全面变革,企业决策权力的配置将更合理,决策的制度化、流程化程度更高,决策更公开、透明、精准、有效、可追溯。基于数据的决策有助于消弭主观偏见和思维定势的消极影响,提升企业的战略洞察力,把握行业发展的新趋势,抓住战略性投资机会。在物流企业竞争力的变现越来越取决于供应链的整体效能的背景之下,物流企业还可以在确保顾客隐私和商业机密的前提下,通过与供应链上各合作伙伴的数据共享、交换或者交易,动态检测行业趋势、聚焦优先目标、优化服务组合、避免无端浪费、探索全新的业务模式等。第二,增强物流企业的运作管理能力。大数据的应用可以提升企业业务营运的可视化程度,推动知识和信息在组织内部的共享;精确掌控企业各项资源的运行情况,比如人员的作业状况,设备运作状况,车辆的位置、时间、速度、性能等,有利于企业高效调度各项资源,提升运作效率。以快递企业为例,大数据的应用可以为企业满足个性化订单、开展定制化服务、实施弹性配送等提供技术支撑。它们可以在业务营运的特殊时期,比如“双11”到来之前,基于大数据的分析,适时调配物流资源,实现业务营运的主动性、前置性,提升配送运作效率和顾客满意度。第三,拓展物流企业的市场营销能力。大数据应用技术有助于提升市场研究的效率,有关顾客偏好、情绪、消费体验等真实信息将更容易取得,有利于对目标客户的精确细分、重点客户和高价值客户高效筛选(徐艺欣,2013)。大数据所承载的有关资源、成本、服务、定价等即时性关键信息,有助于企业动态监测市场动态,有效率开展竞争,更好地赢得客户,增加市场份额。在物流服务营销方面,可以实施针对高价值的顾客的精准营销、广告的精准投放、广告或者促销效果的精准测定等(胡玉萍,2011)。大数据应用技术还有利于物流企业摆脱繁杂的中间环节、传统的营销模块式营销组织的依赖,极大地降低营销成本。第四,提升物流企业的品牌管理能力。物流企业可以有效利用大数据技术进行舆情监控、品牌健康度动态监测、品牌声誉管理,高效监控可能有损品牌形象和企业声誉的负面信息,有效应对恶意炒作或商业欺诈、从容地进行危机管理(ChrisSnijdersetal.,2012)。另一方面,可以通过口碑营销在较低成本的投入情况下扩大品牌影响力。第五,增强物流企业顾客管理和客户关系维护能力。企业可以根据大数据所承载的信息与顾客进行深度沟通,改善顾客体验,取得他们对本企业、竞争对手物流服务的真实评价,有效应对竞争压力,提高快速响应能力,培育顾客粘性和忠诚度,通过建立稳定的忠实客户群,实现客户价值的链式反应增值,支撑企业长期、稳定、高速、可预期的发展。第六,增进企业创新发展能力。大数据应用有助于企业建立广泛的外部合作伙伴网络,推进整体创新战略,将问题的“搜索者”和“创意者”、“解决者”结合在一起,为合作创新机制的建立提供了动力源泉(MerjaMahrtetal.,2013)。大数据的最大价值在于从海量数据中发现新知识,创造新价值,其中的重要体现就在于有助于推动业务模式的创新,比如物流企业在条件成熟时就可以通过数据交易、数据应用辅导等业务获取经济利益、提升竞争优势。

四、物流企业推动大数据应用的思路

推荐期刊