线上期刊服务咨询,发表咨询:400-808-1701 订阅咨询:400-808-1721

数据分析分析技术8篇

时间:2023-06-09 10:02:15

数据分析分析技术

数据分析分析技术篇1

关键词:计算机;数据库技术;应用;措施

一、引言

随着社会的不断进步和发展,人们生活和生产过程中需要分析、处理的数据量急剧增长,而传统的数据管理方式已不能满足现阶段数据管理的需求。在计算机技术、通讯技术以及信息技术的支撑下,计算机数据库技术得以应用。计算机数据库技术可以解决人工数据管理中的不足,如加快统计、分析、处理速度,避免出现人为疏忽问题等等。就目前来说,计算机数据库技术的应用范围越来越广泛,其不但降低了人力、物力,而且在极大程度上保证的数据的准确性,尤其是对一些大型企业而言,这对其经济效益的实现是至关重要的。基于此,对计算机数据库技术的应用进行分析也就具有极为重要的意义。

二、计算机数据库技术的特点

所谓的计算机数据库技术是指通过有效整理用户接收的数据,并按照规定的方式对数据进行管理和储存,实现数据库中的数据与其它程序科学结合的技术。就目前而言,计算机数据库技术主要涉及网络数据应用系统和网络信息系统两个方面,包含了管理、接收以及系统处理三个研究阶段。计算机数据库技术作为当前数据管理中最为流行且重要的技术之一,它为通讯、文化以及经济等多个领域带来了便利,提高了这些领域的工作效率。当然,计算机数据库技术之所以能够实现上述功能也是基于其自身特点的。总的来说,计算机数据库技术主要具有以下特点:(1)共享性:共享性是计算机数据库技术的亮点之一,它也是计算机数据库建立的主要目的。计算机数据库共享性的实现可以实现部门内、企业内,甚至是全球范围内的数据共享,这使得数据得到最为充分的应用。(2)独立性:计算机数据库技术的独立性包含物理独立性和逻辑独立性两个方面。独立性的实现可以改变数据的储存位置、储存方法以及储存设备。(3)灵活性:数据管理不是单纯的数据储存和取出,同样还包含数据筛选、整理等功能。灵活性的实现可以方便数据的查询、编辑、输入,从而使数据的利用效率得以提高。(4)可控性:随着数据量的急剧增加,经常会出现数据冗余等现象。而可控性的实现可以删除冗余数据,从而提高数据利用效率。(5)组织性:组织性是说计算机数据库技术中的数据储存是有规律的,可以在数据之间形成一定的关联性和组织结构。组织性的实现便于数据的查询以及筛选。

三、计算机数据库技术的应用现状

随着计算机数据库技术的发展和成熟,计算机数据库技术的应用范围和领域也在逐渐扩展。按照领域来划分,计算机数据库技术主要应用在海河流域、统计与地质数据库系统生态环境以及地方志等。在这些领域的应用中计算机数据库技术的应用现状主要表现在以下几个方面:(1)应用范围。随着计算机技术、通讯技术以及信息技术的发展,计算机数据库技术的生命力更加强大,应用前景也更加广阔。其涉及的领域可以说包含了农林牧副渔等行业。而随着各行各业中信息管理水平及效率的提高,各行各业中的计算机数据库应用也开始在更大程度上推动了各行各业生产力的发展。总的来说,计算机数据库技术的应用在各行各业中均展现了优越的应用优势,得到了各行各业的广泛认可。(2)发展趋势。计算机数据库技术的应用效果可以通过实际情况得以反映,因此实际效果直接决定了计算机数据库技术的发展和应用。总的来说,计算机数据库技术的发展和应用经历了四个主要阶段即网状数据库阶段、层次数据库阶段、关系数据库阶段以及面向对象数据库阶段。经过四个阶段的演变,计算机数据技术已经基本成熟,其可控性、可操作性以及适应性均得以加强。就目前而言关系数据库和面向对象的数据库应用最为广泛。而随着计算机数据库技术的不断发展,未来阶段计算机数据库技术将会增加声音、影像等数据的管理。借助计算机数据库技术直接对这些数据进行操作也将是计算机数据库技术的未来方向。(3)安全性能。计算机数据技术在数据管理的过程中要以保障数据的安全为基础,尤其是对于一些隐私性的信息。随着计算机数据库技术的发展,数据的安全逐渐引起了领导管理人员的重视,为了确保计算机数据库技术的安全使用,计算机数据库系统增加了数据备份和恢复功能,这将有效解决数据丢失带来的损失。而且随着计算机数据库技术与加密技术的有效结合,计算机数据库中的信息得到了有效保护。此外,提高计算机数据库技术安全性能的措施还有抗风险软件的使用、账号加密等等。

四、加强计算机数据库技术应用的措施

就目前而言,计算机数据库技术已经得到较好的应用,但随着数据量的急剧增加,计算计数据库技术还需要不断的完善和发展。首先来说,还应以提高计算机数据库技术的安全性能为工作重心。在计算机数据技术的应用过程中越来越多的商业机密被储存在计算机数据库中,而近年来网络诈骗、木马病毒又层出不穷,这使得现有的计算机数据库技术安全措施将不能满足未来阶段的需要。因此需要采取一定的措施保障计算机数据库技术的安全,如增强数据管理人员的安全意识、完善安全管理措施、规范计算机数据库技术的操作流程、加强安全软件的研发和应用等等。其次,还要注重技术理论与的实践结合,计算机数据库技术的理论与实践应是相辅相成的,因此在理论研发的过程中应充分考虑实践中的实用性、可靠性和安全性。此外,还要加强数据的完整性,在数据录入的过程中应尽可能的借助客户端来完成,从而避免数据的非法劫持,保障数据的完整性;同时,还可以对计算机数据的的表或是触发器进行约束,这样将提高系统的可靠性、运行效率以及保障数据的完整性。

数据分析分析技术篇2

[关键词]大数据;互联网+;农业;智能灌溉

引言

随着科技的日益进步,计算机的相关技术被引用到各个领域。智能灌溉系统是融合传感器技术、自动控制技术、计算机技术、无线通信技术与移动终端控制等多种高新技术,自动采集光照、温度、土壤水分、空气湿度等信息,通过无线通信技术传输给信息管理系统,自动控制喷水灌溉、通风除湿等设备,从而调节环境参数。智能灌溉系统应用大数据策略,在云服务平台进行数据分析处理,以关联图表显示历史记录,为农业专家提供决策支持,同时获取国家气象局天气预报信息,根据天气状况和作物需要智能调节喷水灌溉策略,调整用水量,实施精准灌溉,提高水资源利用率。智能灌溉系统支持多种应用场景如智能花园、温室大棚、高尔夫球场等,提供Web版、桌面版、移动终端3种管理系统供用户使用,使其随时随地操作管理。智能灌溉系统采用WiFi技术实现远程无线通信,采用Zigbee技术构建底层无线传感网,节能低耗,能够根据应用场景规模灵活增加无线节点模块,不会因为监测点过多而使布线复杂,降低系统维护运营成本。

1职能灌溉系统总体结构

系统总体结构如图1所示。系统实验室模型及部分实物操作界面如图2所示。

2智能灌溉系统功能模块简介

本系统根据物联网三层体系结构设计,功能模块划分及其主要设计内容如下表1所示。

3智能灌溉系统简易操作说明

下面主要说明桌面版管理系统、Web版管理系统、移动终端版管理系统的操作使用方法。3.1桌面版管理系统桌面版管理系统主要功能模块有:操作控制模块、数据与命令查看模块。其中,操作控制模块的功能如下:这部分提供了实时场景的选择,区域实时数据的显示,区域手动操作和自动控制的设置。可以通过输入服务器地址,进行场景的选择,然后对该场景下的区域进行手动控制,实时控制底层终端控制设备,也可以开启自动控制,输入要自动控制的参数范围,系统会根据输入的控制参数,进行自动控制。3.2Web版管理系统3.2.1登录界面系统的开始页面,界面简洁友好。只有获取权限才能进入控制系统。3.2.2首页这部分主要是显示项目的一些图片,页面下方是项目的介绍。3.2.3监控中心这是本程序的核心部分,在这个页面中,能够通过仪器表查看到当前的数据,并提供了天气预报,能够根据需要设置自动控制的外界条件,或是进行人工的操作处理。上述界面中,上面部分是最近一次采集到的数据,以仪器表的形式生动地展示出来,左下角是自动控制时的温湿度,光照强度的控制范围,在这里输入要控制的范围后,系统会根据用户输入的范围自动调控。右下角是系统的自动控制区域,在这里用户可以进行手动控制。3.2.4数据分析查看将历史记录以关联图表的形式展示出来,一目了然,为农业专家进行数据分析提供决策支持,最终确定适于作物生长的控制策略。3.2.5操作记录将用户的操作即自动操作记录下来,便于查看。3.2.6退出程序退出后,系统的工作模式不变,保持原状。点击退出后,登录状态被重置,并跳转到登录页面。3.3移动终端管理软件3.3.1登录部分这个是手机端的登录界面,简洁明了,选择联网模式,输入账号密码以及当前的服务器地址即可登录,可以选择保存密码,方便下次登录。3.3.2数据查看中心选择当前环境模式和区域,即可查看当前的实时数据。3.3.3控制中心选择当前的场景模式和区域,就可以对该区域进行控制,可以根据需要输入环境参数,设置自动控制的范围,也可直接进行手动控制。

4结语

数据分析分析技术篇3

【关键词】数据库 优化 技术

随着现代技术的不断发展与进步,各个企业为了提高知名度和企业的创新能力,都积极的采用了信息自动化管理体质。但是,要想很好的运用这种管理体制,企业必须充分运用现代化信息技术,其中,最为重要的手段就是数据库技术。而且,要想使企业的信息系统高效、安全地运行,至关重要的是数据库应用系统正常、高效地运行。因此,分析数据库优化技术是非常有意义的。

一、良好数据库性能的标准

对于同一个系统的实施可以设计出多个数据库模型,但是,这些模型由于性能目标的差异而显示出不同的效果。而且,对于同一需求、不同数据库的设计人员来说,也会设计出不同的模型。其中,数据库性能的高低一般用两个方面的指标来衡量:响应时间和吞吐量。而且,响应越快,吞吐量越大,数据库性能越好。下面是一般大型系统数据库的性能标准:(1)单条记录的更新应当在1秒之内。而多条记录的更新不超过10秒。(2)对于少于4个表的数据有一定限度的查询应在5秒内完成。(3)对于有一定限度的查询多表查询应在10秒内完成。但是,整个表的查询时间应在30秒内完成。

二、数据库优化应遵循的方法

数据库优化是指进行有目的地调整组件及改善性能,使得数据库的吞吐量增加,减少相应处理时间。下面是数据库性能优化所遵循的一些方法:1、设立合理的性能目标。在优化之前,需要确定专门合理的目标。而且,设立目标最重要的一点是可量化和可达到。其中,可量化是指在量化中需要的性能值。而可达到是指必须定义当前性能指标。2、确定影响数据库性能的瓶颈。当数据库运行了一段时间后,会发生性能低下,此时不能猜测并随便做一些更改,这可能造成更大的瓶颈或资源浪费。3、弄清影响数据库性能的因素。由于改善数据库性能所采用的方法都可能带来严重的负面影响,因此在达到预定目标时,应停止所有的工作。

三、数据库优化技术的方法

数据库优化技术的方法有很多,而且,不同的数据库又有不同的方法。下面具体列出几种主要的技术方法。

1、数据库服务器内存空间的分配。足够的内存可以加快数据库的运行速度和提高CPU的利用率。而且,内存不够的话将会严重降低CPU的利用率。

2、合理的物理存储路径。数据库在处理海量数据时,首先要考虑物理存储路径。其中,物理存储路径主要包括:数据在磁盘组上的分布状态、索引文件的组织、日志文件的分布等。而且,数据在磁盘组上的分布有几种方法:静态数据与业务数据相分离。其中,数据库中的静态数据主要是一些数据字典,这些数据修改的频率比较低,但是,查询率较高。其中,使用索引有助于快速访问表中的数据,它可以大大减少找到特定数据行所需的I/0操作。设计索引时应遵循如下原则:①在建立索引时,如果对一个经常被更新的列建立索引,则会严重影响数据库性能。一张表的索引过多会影响该表的更新性能,因为一旦发生更新行为,该表所有的索引都必须作相应的调整,这就会延误运行时间。②对小型表不必建立索引,因为对于小表来说直接扫描往往更快而且维护费用低。③对重复值非常大的列,应建立位图索引,不要建立普通索引。因为为这样的列建立普通索引,其查询效率不高,反而增加索引的维护量。

3、使用SQL语句的优化技术来提高数据库运行效率。SQL语句的运用可以大大优化数据库的性能。一个良好的应用程序允许数据库支持上万个并发用户,由于网络上的传输是会话式的传输,在数据库与客户端之间传送每个批处理和结果集,为了减轻客户端与数据库系统间过量的网络传输,必须采用大型数据库所提供的存储过程和触发器来最小化信息的往来传输,以减轻网络I/0的负载。

4、其他策略。随着Internet的飞速发展,人类对信息管理和信息交换的需求更是空前强烈和迫切,使得已在传统的商业处理领域内趋于成熟的数据库技术面临着许多新的问题和挑战。

数据分析分析技术篇4

【关键词】数据库;编程;存储;技术;分析

引言

在计算机的发展过程中,根据数据进行程序编辑,以及在计算机内部储存程序的编辑都是非常重要的方面,虽然会根据所操作的计算机不同,而在具体操作过程中而出现有所区别,但是要针对相关的技术进行具体分析后就能够发现,在数据存储方面只要编辑好数据库对应的程序,要取得好的工作成绩不不难,所以研究好关于数据库编程和数据库存储相关的技术,就能够代替真实人的工作,取得良好的工作效果,促进计算机行业的发展.

随着计算机的普及应用,计算机应用软件得到了快速的发展,从某种意义上来说,计算机之所以能够在各个领域中得到应用,很大程度上就是因为相应的应用软件,根据各个行业的特点,软件公司都开发了针对性的应用软件,通过这些软件的使用,能够给实际的工作带来方便,提升工作的效率,例如在工业自动化中,现在的计算机技术已经具有一定的智能性,可以代替人来进行操作,这种方式出现错误的几率很低,而且计算机不需要休息,生产效率得到了大幅提高,在计算机软件中,尤其是一些大型的软件,数据库是软件的核心内容,因此在计算机软件编写过程中,数据库编程和存储技术,也是一个核心内容,受到我国特殊历史原因影响,我国的软件行业发展较慢,因此数据库编程和存储技术的核心都掌握在西方发达国家手中。

1、数据库存储技术简述

1.1数据库存储技术的概念

数据库的发展很大程度上依赖于计算机性能的提升,在计算机出现的早期,并没有数据库的概念,当时计算机的性能很低,只能进行一些简单的数字运算,体积也非常庞大,还没有数据存储的概念,随着晶体管和集成电路应用在计算机制造中,计算机的性能得到了大幅的提升,开始在各个领域中进行应用,当计算机被用于数据管理时,尤其是一些复杂的数据,传统的存储方式已经无法满足人们的需要,在这种背景下,DSMS诞生了,这种数据库管理系统在当时看来,是数据库管理技术的一次革命,随着计算机性能的提升,逐渐出现了SQL、Oracle等,在传统的数据库编程中,由于数据库编写的时期不同,使用的编写语言也有一定的差异,目前常使用的软件有VB、JAVA、VC、C++等,利用这些编程软件,都可以编写一个指定的数据库,由于每个软件自身都有一定的特点,因此不同领域的数据编程中,所选择的编程软件业有一定的差异。

1.2数据库存储技术的发展

数据库的概念最早可以追溯到20世纪50年代,但是当时数据库的管理,还处于传统人工的方式,并没有形成软件的形式,因此并不能算数据库存储技术的起源,在20世纪60年代中期,随着计算机存储设备的出现,使得计算机能够存储数据,在这种背景下,数据管理软件诞生了,但是受到当时技术条件的限制,只能以文件为单位,将数据存储在外部存储设备中,人们开发了带有界面的操作系统,以便对存储的数据进行管理,随着计算机的普及应用,计算机能够存储的数据越来越多,人们对数据库存储技术有了更高的要求,尤其是企业用户的增加,希望数据库存储技术能够具有很高的共享能力,数据存储技术在这一时期,得到了很大的发展,现在的数据库存储技术,很大程度上也是按照这一时期的标准,来进行相应的开发,随着数据库自身的发展,出现了很多新的数据库存储技术,如数据流、Web数据管理等。

1.3数据库存储技术的作用

数据库存储技术的出现,对于传统的纸质存储技术来说,具有革命性的作用,由于纸质存储数据的方式,很容易受到水、火等灾害,而造成数据的损失,人类文明从有文字开始,就记录了大量的历史信息,但是随着时间的推移,很多数据资料都损毁了,给人类文明造成了严重的损失,而数据库存储技术就能够很好的避免这个问题,在数据库的环境下,信息都会转化成电子的方式,存储在计算机的硬盘中,对于硬盘的保存,要比纸质的书籍等简单的多,需要的环境比较低,最新的一些服务器存储器,甚至具有防火的性能,而且数据库中的数据,可以利用计算机很简单的进行复制,目前很多企业数据库,为了最大程度上保证数据的安全性,都会建立一个映像数据库,定期的对数据库中的信息进行备份,如果工作的数据库出现了问题,就可以通过还原的方式,恢复原来的数据。

2、数据库编程与数据库存储技术的关系

2.1数据库编程决定数据库存储的类型

通过对计算机软件的特点进行分析可以知道,任何软件要想具有相关的功能,都需要在编程过程中来实现,对于数据库程序来说也是一样,在数据库编程的过程中,能够决定数据库存储的类型,根据应用领域的不同,数据库存储技术也有一定的差异,如在电力、交通控制等领域中,应用的大多是实时数据库,而网上的视频网站等,大多采用关系数据库,其次还有商业数据库、自由数据库、微型数据库等,每种数据库的出现,都是为了满足实际应用的需要,虽然在不同历史时期,一种数据库成为主流,但是对于数据库程序的编写者来说,这些数据库的编写;并没有太大的差异,虽然不同的程序编写人员,由于所受教育和习惯的不同,在实际编写的过程中,使用的程序编写软件不同,但无论是VB、VF还是C++等,都可以实现每种数据库类型的编写,从某种意义上来说,数据库类型的确定,通常是在软件需求分析阶段中进行设计,然后在数据编程阶段来实现,

2.2数据库存储技术是数据库编程的核心

对于数据库程序来说,最重要的功能就是存储数据,通常情况在,一个数据库程序会分成几个模块,其中核心模块就是数据库存储技术。

结语

在目前国内经济发展形势下,针对于计算机的软件行业的形式,也在大力推动下,成为一个焦点行业,随着行业的发展,相关促进简便工作的程序也得到了相应的研究和发明中,就算是一些不具备计算机专业知识的普通使用着,不管在使用还是研发程序上也是介可以的,只是针对于数据库编程和数据库存储技术方面进行分析,但是作为系统的核心区域,所以相关的技术也是非常重要的,所以要想提升工作效率,缓解工作压力,就要结合使用情况,在所能应用的范围内,选择最具有优势的相应软件处理技术,以此为研发中心,开发出所需要的软件类型,进行所有的数据整理工作,对于办公室工作极大范围内的促进,对于数据库编程于数据存储方面的技术是非常重要的。

参考文献

[1]董慧群,王福明.基于LabWindows/CVI的数据库编程[J].山西电子技术,2011(04):55-56.

数据分析分析技术篇5

关键词 数据挖掘 基因序列 生物信息学 遗传疾病 患病家族连锁分析

在生物信息学的成果的理论基础之上,通过统计的方法查找未知的生物化学功能的疾病基因的位置。这个方法预先通过患病家族连锁分析,再推断包含这些基因的染色体区域片段,然后检查该区域来寻找基因[1]。

数据挖掘在DNA数据分析的发展状况

现今所采用的是分子生物学与微电子技术相结合的核酸分析检测技术[2]。DNA芯片技术的基本原理是将cDNA或寡核昔酸探针以105~106位点/cm2>/sup>的密度结合在固相支持物(即芯片)上,每个位点上的cDNA或寡核昔酸探针的顺序是已知的,将该探针与荧光标记的待测样品DNA,RNA或cDNA在芯片上进行杂交,然后用激光共聚焦显微镜对芯片进行扫描,并配合计算机系统对杂交信号做出比较和检测,从而迅速得出所需的信息。

基因数据挖掘常用的方法:①核酸与蛋白质比较的预测分析:蛋白质序列之间或核酸序列之间的两两比对,通过比较两个序列之间的相似区域和保守性位点,寻找二者可能的分子进化关系。进一步的比对是将多个蛋白质或核酸同时进行比较,寻找这些有进化关系的序列之间共同的保守区域、位点和profile,从而探索导致它们产生共同功能的序列模式。此外,还可以把蛋白质序列与核酸序列相比来探索核酸序列可能的表达框架;把蛋白质序列与具有三维结构信息的蛋白质相比,从而获得蛋白质折叠类型的信息。②针对核酸序列的预测方法:针对核酸序列的预测就是在核酸序列中寻找基因,找出基因的位置和功能位点的位置,以及标记已知的序列模式等过程。在此过程中,确认一段DNA序列是一个基因需要有多个证据的支持。一般而言,在重复片段频繁出现的区域里,基因编码区和调控区不太可能出现;如果某段DN段的假想产物与某个已知的蛋白质或其他基因的产物具有较高序列相似性的话,那么这个DN段就非常可能属于外显子片段;在一段DNA序列上出现统计上的规律性,即所谓的“密码子偏好性”,也是说明这段DNA是蛋白质编码区的有力证据;其他的证据包括与“模板”序列的模式相匹配、简单序列模式如TATA Box等相匹配等。

案例分析

疾病是由于基因的片段内的某个位置存在或发生改变而引起的,也就是发生突变。能否找出其中不同的地方,进而对其不同之处加以改变,使之成为正常基因?这都需要数据挖掘技术的支持。对基因的数据挖掘,就是对这些突变位置的寻找,并且找出该位置与所有者身患的疾病之间的关系。

方法的选择:笔者在设计中选用单纯的DNA序列进行比较,基因在计算机的表示和存储时,可以使用一条很长的字符串来表示基因的某一条序列,使用文件的形式进行对基因工作者的提取成果创建一级数据库,使用文件修整的方法进行数据的清洗,以满足数据在二级数据库中的一致性。同时在文件比较过程中,生成某两个数据文件的差异状况,保存在二级数据库库中,进一步的操作是对差异的位置的某个类型所占的比例。最后通过事先的对患者患病信息的统计得到的某种疾病在群中所占的比例,与其相比较,如果这两个比例相等,则可以认为这个位置的某个类型引起疾病的发生。从医学院得到一些基因片段文件信息和患者(所有者)患病情况。

系统的实现:基因片段在计算机中以文件形式存储,用文件名标识其所有者(源体)。片段起始地址和长度信息和所有患者患病情况保存在本机数据库中。在程序测试过程中,将片段复制成40份,对其中部分文件的序列进行稍作修改,对所有患者的患病状况进行稍作修改,以创造测试环境。显示在与基因数据挖掘软件同在一根目录下的序列文件的集合。

其中一个文件所存储的基因信息,见图1。

启动统计程序界面,单击清空数据库中的临时用表数据,将数据库中有可能的杂音信息去掉。并对其中的所有文件进行统计前片段剪切,使所有片段的起始地址和长度都相同,避免发生序列移位。

没有进行片段剪切之前,浏览文件所存的片段信息,片段剪切完成之后,设置进行比较操作的甲、乙组的文件添加,因为本次测试只检验片段中的一块区域(文件中片段的所有信息),所以在起始序号那里添加为0,终止序号那里添加为175。这样则可以保证统计文件的所有信息都被统计。

单击结果显示按钮,可以见到程序以表格和条形图标方式。可以看到1、3、5、12、14、16、18、13、31、34、87、94、139、166位置的条形段较高。说明在这些接受统计的片段中,在上面提到的位置处存在的差异较大,与某遗传疾病的关联的可能性就越大。

如果用户想要在初步统计结果的基础上,按照数据库中所有者的疾病状况进行详细统计的话,单击菜单栏的详细统计按钮,选择按疾病详细统计,则将弹出窗口。

选择弱视,输入,则在文本框中显示与其关联的位置为1、3、5、12、14、16、18、13、31、34、87、94、139、166。

由此,用户可以根据本系统所给出的预测对弱视遗传疾病与序列中的特定位置,选择适当算法进行进一步的计算及检验,证明预测结果是否符合关联理论。数据挖掘方法体系中的智能聚类的相关技术则可较好的解决类别数判定、结果验证等问题。

结 论

对于生物信息或基因的数据挖掘和通常的数据挖掘相比,无论在数据的复杂程度、数据量还有分析和建立模型的算法而言,都要复杂得多。从分析算法上讲,需要一些新的和好的算法;但技术和软件还远没有达到成熟的地步,因此需要不断探索及研究。

参考文献

1 黄诒森.生物化学[M].北京:人民卫生出版社,2002:29-37.

数据分析分析技术篇6

关键词:联机数据分析;处理数据;分析和转换数据

中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2016)03-0006-03

为了提升大学物理公共课程的教学水平,更好地了解学生的学习情况,需要引用联机数据技术,通过科学建立模型对教学数据进行处理和分析。维度模型的建立是为了能够全方位地剖析数据。

1 建立数据模型

建立模型是为了更加直观地表达数据和事实。对于同一批数据,人们总是会以不同的角度对其进行观察,这就是维度。维度模型从不同的角度分析数据,最终得出一张事实表。

如图1所示,维度模型包括了教材维度表,学期维度表,教师维度表,学生维度表和教学事实表。为了更好地分析教学效果,维度模型从四个不同的角度进行分析,每一张维度表上都注明了详细的数据内容。最后,在总结四张维度表的基础上,概括了最终的教学事实表。

2 OLAP技术

2.1 数据的采集

原有的Visual和SQL数据库上储存了学生的信息,教师的信息以及教学的数据等等。如图二所示,教务数据库中包含了课程信息表,学生信息表以及选课成绩表。DTS工具能够从不同的数据库中自动抽取需要进行分析的数据,并且将其全部集中在一个新的数据库中。新的SQL数据库既可以储存信息,还能够对信息进行管理。联机分析处理技术从不同的角度分析数据,有助于全面了解学生的学习情况和教师的教学质量。

2.2 数据分析的结构

从图2中可以看出,数据分析的结构包括了四层,其中最底层的是各种信息数据库和文本文件,在此基础上建立数据ETL,然后建立相应的维度模型,最后利用联机分析技术对数据进行分析。采集数据和转换数据是使用联机分析技术的基础,也是必不可少的一步。多维度分析是该结构中的最后一步,最终的结果将会把数据转换成图表的形式呈现出来。

2.3 转换数据

由于不同数据的语法可能存在差异,因此,把不同的数据转换成相同的结构显得尤为必要。在联机分析技术应用的过程中,转换数据是关键的一步,能否成功转换数据,决定了维度模型的建立是否具有科学性与全面性。转换数据是为了解决语法,语义结构不同引起的问题。

和数据语义不同相比,处理不同语法的数据显得更为简单。如果数据本身和目标数据之间存在语法结构不同的问题,那么只需要通过函数对其进行转换即可。一般来说,数据本身的内容并不会影响转换过程,只要建立原数据和目标数据之间的对应关系,就能解决数据名称存在冲突的问题。例如,学生数据库本身的信息包括了学生的ID和班级,这就相当于最终目标数据中学生对应的名称和班别。如果数据类型不同,可以运用相应的函数对其进行转换,例如trim()函数就能完成数据的转换。下面是利用函数对原数据中学生的ID,专业以及院名进行转换的过程,其转换代码如下:

Function Main()

DTSDestination(“ID”)=trim(DTSSourse(“名称”))

DTSDestination(“专业”)=cstr(DTSSourse(“专业”))

DTSDestination(“院名”)=trim(DTSSourse(“学院”))

Main=DTSTransformStat_OK

End Function

转换不同语义结构的数据是一个复杂的过程,它需要重视数据本身的信息和内容。因此,仅仅通过一步完成数据转换的过程是几乎不可能的,它需要将原数据进行一次次转换,才能得到最终的目标数据。例如每一个教师都有以及开展项目,在原数据中只能看到项目的名称和论文的名称,如果需要将其转换成教师的论文数量和项目数量,则需要经过两步的数据转换。

2.4 数据结果分析

原数据从SQL中提取出来,然后通过函数对其进行转换,最后利用联机分析技术进行数据管理和分析,从不同的角度研究数据,从而全面分析学生的学习情况和教师的教学情况。数据分析的方法有很多种,其目的都是为了全方位地剖析数据。

2.4.1 高校教师教学质量的对比分析

在教师维度表中,我们已经按照教师的从业年龄,学历以及职称对其进行划分,不同职称的教师,其教学质量有着明显的区别。教师的学历不同,教龄有所差异,这都和教学效果息息相关。

2.4.2 不同时期对教学质量的影响分析

联机分析处理技术能够从多角度分析数据,教学质量不可能是一成不变的,它与多个因素密不可分,时间也是其中一个因素。在不同的时期,由于政策的变动和外界因素的影响,教师的教学质量也会随之而受到不同程度的影响。

2.4.3 教学质量和其他因素息息相关

除了时间和教师的水平会对教学质量造成一定的影响,还有其他因素同样会影响教学效果,例如:学生的学习能力,学校选用的课本等。综合考虑各个因素对教学效果的影响,有利于教育部门更好地作出相应的政策调整。

3 计算机分析处理技术中的数据处理方法分析

无可置疑,计算机技术的出现颠覆了人们传统的思想和工作模式。如今,计算机技术已经全面渗透到我们生活中和工作中的各个方面。不管是在工业生产还是科研数据处理中,计算机技术都发挥着不可替代的作用。如今我们需要处理的数据正与日俱增,这就意味着传统的数据处理方法已经无法满足人们的需求了。仪表生产和系统控制要求数据具有高度精确性,这些数字在显示之前,都必须经过一系列的转换,计算以及处理。首先,数据会以一种形式经过转换器,然后变成另一种新的形式,只有这样计算机才能对数据进行处理和分析。处理数据是一个复杂多变的过程,它的方法并不是单一的,根据数据处理的目标不同,需要选择不同的数据处理方法。例如,有的数据需要进行标度转换,但有些数据只需要进行简单计算即可,计算机技术的不断进步是为了更好地应对人们对数据处理新的需要。

计算机数据处理技术的应用离不开系统,它比传统的系统更加具有优越性:

1)自动更正功能,计算机系统在处理数据时,对于计算结果出现的误差能够及时修正,确保结果的准确度。

2)传统模拟系统只能进行数据的简单计算,而计算机系统则能够处理复杂多变的数据,其适用范围和领域更加广。

3)计算机系统不需要过多的硬件,只需要编写相应的程序就能够完成数据的处理,在节省空间的同时也降低了数据处理的成本。

4)计算机系统特有的监控系统,能够随时监测系统的安全性,从而确保数据的准确度。

对于不同的数据,往往需要采用不同的处理方式,处理数据的简单方法包括查表,计算等。除此之外,标度转换,数字滤波同样是应用十分广的处理技术。

3.1 数据计算

在各种数据处理方法中,计算法是最为简单的一种,利用现有的数据设置程序,然后直接通过计算得出最终的目标数据。一般来说,利用这种方法处理数据需要遵循一个过程:首先,求表达式,这是计算法最基本的一步;其次,设计电路,在此之前必须将转换器的位数确定下来;最后,利用第一步已经求出的表达式运算数据。

3.2 数据查表

3.2.1 按顺序查表格

当需要搜索表格中的数据时,往往需要按照一定的顺序和步骤。首先,明确表格的地址和长度,然后再设置关键词,最后按照顺序进行搜索。

3.2.2 通过计算查表格

这是一种较为简单的方法,适用范围并不广。只有当数据之间表现出明显的规律或者数据之间存在某种关系时,才能够使用这种方法查表格。

3.2.3 利用程序查表格

相比于上述的两种方法,利用程序查表格是一种相对复杂的方法,但是这种方法的优点在于查找效率高,并且准确度高。

3.3 数据滤波处理

采集数据并不难,但是确保每一个数据的真实性却十分困难,尤其是在工业系统中,数据的测量难以确保绝对准确,因为在测量的过程中,外界环境对数据的影响往往是难以预估的。为了提高数据处理的精确度和准确率,需要借助检测系统对采集的数据进行深加工。尽可能地让处理的数据接近真实的数据,并且在数据采集的过程中最大限度地减少外界因素对其的影响,从而提高计算结果的准确度。

滤波处理技术的应用首先要确定数据的偏差,一般来说,每两个测量数据之间都会存在一定的误差,首先需要计算数据与数据之间可能出现的最大误差。一旦超出这一数值,可以认定数据无效,只有符合偏差范围内的数据,才能进行下一步的处理。

为了减少由于外界影响导致数据失真的情况,利用程序过滤数据是很有必要的。滤波技术有几种,根据不同的需要可以选择相应的数据处理技术,每一种数据滤波技术都有其适用范围和优点。数据滤波技术包括算术平均值滤波,加权平均值滤波,中值滤波,限幅滤波,限速滤波以及其他类型的滤波技术。

3.4 转换量程和标度

在测量数据的过程中,每一种参数都有相应的单位,为了方便数据处理,需要使用转换器把数据转换为统一的信号。标度转换是必不可少的,为了加强系统的管理和监测,需要不同单位的数字量。转换方法包括非线性参数标度变换,参数标度变换,量程转换,这几种转换方法在数据处理的过程中较为常见。当计算过程遇到困难,可以结合其他的标度转换方法进行数据处理。

3.5 非线性补偿计算法

3.5.1 线性插值计算方法

信号的输入和输出往往会存在一定的关系。曲线的斜率和误差之间存在正相关关系,斜率越大,误差越大。由此可见,这一计算方法仅仅适用于处理变化不大的数据。当曲线绘制选用的数据越多,曲线的准确程度越高,偏差越小。

3.5.2 抛物线计算方法

抛物线计算方法是一种常用的数据处理方法,只需要采集三组数据,就可以连成一条抛物线。相比于直线,抛物线更加接近真实的曲线,从而提高数据的准确度。抛物线计算法的过程,只需要求出最后两步计算中的M值,就能够直接输入数据得出结果。

3.6 数据长度的处理

当输入数据和输出数据的长度不一,需要对其进行转换,使数据长度达到一致。由于采集数据所使用的转换器和转换数据所选择的转换器不同,因此,当输入位数大于输出位数,可以通过移位的方法使位数变成相同。相反,当输入位数少于输出位数时,可以使用填充的方法将其转换成相同的位数。

4 结语

本文对联机分析技术进行了详细的论述,该技术的应用对于评价教学效果有着重要的意义。在物理公共课程中,教学数据数量巨大,如果利用传统的方法对其进行分析,将会耗费大量的人力物力,而采用OLAP技术则能更加快速准确地分析处理数据。数据分析是评估教学质量必经的过程,而使用QLAP技术是为了能够多层次,全方位地分析各个因素对教学质量的影响,从而更好地改进高校教育中存在的不足。除了分析物理课程数据,联机分析技术同样适用于其他课程的数据处理和分析。

参考文献:

[1] Ralph kimball,Margy Ross.The Data Warehouse Toolkit:the Complete Guide to Dimensional Modeling[M]..北京:电子工业出版社,2003.

数据分析分析技术篇7

[关键词]高清数字电视;数据传输技术;应用分析

中图分类号:TN949.197 文献标识码:A 文章编号:1009-914X(2014)34-0286-01

高清数字电视技术是一种现代化新型技术,有机融合了数据传输技术、电子技术、计算机技术、网络技术等多种技术,电视节目的画面质感更强,画面也更加清晰,深受广大新老用户的欢迎。和传统的电视技术相比,高清数据电视技术的抗干扰能力更强,数据传输效率也更高,同时也具有良好的兼容性。新时期下,电视行业应大力发展高清数字电视技术。笔者主要分析了目前高清电视节目的数据传输技术,希望能够进一步认识高清数字电视技术的优势及其应用价值。

1.关于高清数字电视数据传输网络

目前,我国高清数字电视的传输方式主要包括以下三种:①卫星。②地面。③有线。三种传输方式都有自己的特点,其中最为基础的一种传输技术是通过地面进行传输。目前,我国各级电视台都是采用地面传输的方式,地面传输主要是利用天线来传输信号,各地区可以接收高点发出的信号,然后通过一些处理技术就可以观看这些信息。模拟电视传输技术很容易受到其他信号噪声的影响,或者其他途径的干扰,因此,在接收模拟电视传输信号时,一般会通过天线的方式接收,因此,过去常常会在用户的楼顶发现公用天线。近年来随着光缆宽带技术的不断创新和发展,在很大程度上提高了光纤传输技术的质量,并且慢慢建立了一套光纤传输系统,这种光纤传输方式相对于天线传输技术的效果更佳,而且并不需要划分同一个频率区域,管理方式主要以“一地一网”、“一个城市一网”的方式为主,因此大大提高管理效率。其次,现代用户可以将电视机和有线制式机顶盒相连,可以使用户观看更多的电视节目。

2.关于高清数字电视数据传输技术分析

2.1 电视信号传输技术

从制作电视节目开始到电视节目传输到用户终端的整个过程中,利用高清数字信号技术可以实现全面数字化管理,基本的高清数字电视分辨率是720p或者是1080i。而高清数字电视的音频主要的数字格式是5.1,整个屏幕的宽度最佳控制比为16:9。目前,我国数字电视在制作方面的技术已经相当成熟,不管是在制作环节,还是编辑环节,或者是存储节目等环节都已经实现全高清化。具体而言,高清电视节目传输的内容主要包括以下几点。电视台在录制电视节目时,都会采用高清摄像机进行拍摄,因此节目的录制图像都属于高清版,通过相应的编辑、处理后,这些图像就可以成为HD一SDI高清信号,然后经过一些加工处理将这些高清信号进行传输,终端用户就可以观看这些电视节目。同时,为了能够使卫星或者有线网络传输这些HD-SDI高清信号,还需要进行编码压缩。目前,我国高清电视节目主要采用的编码格式为MPEG一2,但是我国电视节目的宽带只有22Mps,而国际规定的节目的标准是编码格式为H264,宽带介于7-11Mbs之间,由此可见,我国目前高清电视节目制作水平和国际要求仍然存在一定差距。

一般,H264编码器技术主要是利用ASIC芯片技术联合形成的解决方案,这种技术最大的优点在于编码质量较高,芯片开放性较差则是这种技术的最大缺陷,而且这种技术还存在一点弊端,更新速度较慢,这样在很大程度上会影响模块新功能的开发和发展。就目前芯片应用情况而言,Thomson公司设计的芯片质量较好。但是TI设计的DSP系列算法比较简单,花费的成本相对而言较低,但是性能不足。

在完成编码后即可通过有线网络或者卫星来传播TS信号流,一般信号传播都是没有损耗的。比如,我国中央电视台的电视节目都是通过卫星传播所有的高清电视节目,各地方电视台可以通过相应的设备接收信号,经过一些处理后可以利用TS传输流快速传输到制定的地方前端。地方电视台再经过有效的处理,比如复用、插入EPS或者加扰等方式,借用同轴电缆即可传输到用户终端,只要通过电视机、机顶盒,用户就可以观看高清电视节目。

2.2 传输转码技术

由于高清电视节目以及电视VOD业务的快速发展,有线电视的发展受到了很大威胁,为了有效避免较少使用MPEG一2高清节目频谱的现象,一般都会转化MPEG一2格式,将这种格式转化成宽带占用率较低的高清电视节目。如果编码格式有所不同,则其占据的宏模块也会有所不同,这样会大大增加MPEG一2格式的转化难度。目前,我国国内市场主要采用以下3种转化方案,第一种是通过ASIC芯片,将其完全解码,然后再重新进行编码。第二种是利用码流进行控制、压缩。第三种是通过计算机软件、系统进行转码。

3.高清数字电视数据传输技术未来的发展方向

国际上目前有很多国家、地区开始实施欧洲DVB一T标准,也由很多国家经过系统性分析后也选择DVB一T标准。近年来,我国电视行业得到了质的发展,为了和国际接轨,我国电视数据传输技术也主要以欧洲DVB一T标准为主,而且经过不断的实践和发展,也取得了比较可观的成绩。我国电视行业中新兴了各种各样的高效传输技术,特别是在高清数字电视中,数据传输技术取得了很好的发展。经过相关学者的研究,提出电视数据传输技术未来的主要发展方向应着眼于OMFD多载波技术,这一观点也得到了很多外国国家的认可。其次,在宽带无线局域网、第一代4G移动通信网络中,OFMD多载波技术也有很大的应用空间。

综上所述,数据传输技术是促进我国电视行业快速发展的一种核心技术,对于高清数字电视的画面清晰度、兼容性具有极其重要的意义,数据传输技术水平会直接影响到我国高清数字电视的发展,因此,我们应不断创新、发展数据传输技术,提高数据传输技术水平,促进我国电视行业的健康、可持续发展。

参考文献

数据分析分析技术篇8

关键词 商业银行 海量数据 数据分析技术 实践应用

当前计算机技术已经渗透到生产生活中的方方面面,并且随着计算机技术的发展和成熟,出现了越来越多的新型计算机技术,推动社会进入了大数据时代。大数据时代的到来,对商业银行来说是把双刃剑,在带来发展机遇的同时,使得商业银行面临着更大的挑战。多种网络平台的出现,极大地丰富了商业银行的在线支付方式,催生了虚拟交易体系,在这个过程中所产生的金融数据量是非常庞大的。为了更好地迎接发展机遇和挑战,就需要充分发挥数据分析技术优势,快速、准确完整海量金融数据的分析。

一、大数据环境下商业银行所面临的发展压力

(一)金融数据量持续增多

在信息网络时代背景下,人们的消费观念已经由现实消费逐渐转向网络消费。网络用户的增多,使得电子数据呈现出爆炸式增长趋势。在这种发展背景下,商业银行所需要存储、分析的金融数据也在持续增多,如何保证数据信息的完整性,从海量数据中筛选出有价值的信息,为客户提供高水平、高质量的服务,是当前商业银行发展过程中必须考虑并解决的问题,对提高自身竞争力具有重要作用。

(二)银行服务价值的转变

商业银行传统服务方式以柜面服务为主,常见的业务类型包括存取款业务、贷款业务等,在办理业务时客户一般都是直接到银行柜台。但是,在计算机迅速发展的背景下,柜台服务模式已经无法满足客户的实际业务需求,越来越多的人开始选择网络交易。为了满足用户的实际需求,商业银行就需要转变服务价值,在原有服务模式的基础上,构建虚拟服务体系,为用户提供多元化服务方式,适应当前金融行业的发展形势。[1]

(三)金融数据的安全保障

金融数据都是真实可用的,涉及客户的个人隐私,具有较高的私密性,但是因为金融数据的应用价值较高,很容易成为黑客窃取的对象,金融数据面临着较大的安全威胁。在大数据背景下,商业银行在对海量数据进行分析、处理时变得更加困难,再加上网络环境复杂程度的增加,金融数据更容易受到恶意攻击。为了避免客户信息泄露,商业银行就需要做好金融数据的安全保障工作,确保客户数据的安全性。

二、数据分析技术在商业银行海量金融数据处理中的应用优势

电商、银行以及物流是互联网时代的重要组成部分,这三大类企业在网络交易过程中分别扮演着不同角色,在应用数据分析技术时都有着自身优势,在商业银行海量金融数据处理中的具体应用优势,主要体现在信息、人才、资金、制度等几个方面。

(一)信息与人才优势

商业银行在经营过程中,所产生的金融数据都是非常重要的,所以商业银行的信息化建设尤为重要。各大商业银行相继建立了数据中心和备份中心,以此来实现数据的存储与分析,保证数据的完整性、准确性及安全性。再加上广泛的信息获取渠道,商业银行所形成的数据库结构是较为庞大和完善的。同时,我国的大型商业银行都设有自己的科研中心,以便不断对数据信息系统进行优化和改进,充分发挥出金融数据价值,提高其利用效率。在这个过程中会涉及软件开发、数据仓储等具体实践项目,这就培养了大批专业技术人才,为促进商业银行的发展提供了人才保障,同时也为数据分析技术的良好应用创造了有利条件。

(二)资金与制度优势

从近几年我国商业银行的发展情况来看,商业银行的获利空间是比较可观的,经济收益有明显提高趋势,这就为数据分析技术的充分应用提供了资金保障。商业银行可以借助盈利资金,加大信息化建设投资力度,建立先进的数据操作系统、存储系统、计算系统等数据化系统,以便更好地将数据分析技术应用于海量金融数据的分析中。同时,集团化经营已经成为我国商业银行的主要经营模式,经营管理理念是比较先进、成熟的,能够实现跨地区经营,构建覆盖面积较广的经营网络,数据共享比较方便,在应用数据分析技术的时候更加容易,可以有效提高海量金融数据的分析、处理效率。[2]

三、商业银行海量数据分析中数据分析技术的实践应用

(一)构建客户信息数据系统

在应用数据分析技术的时候,商业银行首先要构建客户信息数据系统,对客户进行全面了解。传统的商业银行客户信息系统主要是以记录客户的各项基本信息以及交易信息为主,包括客户姓名、性别、身份证号、资产配置等,很难对客户进行科学分类,在对客户特征和需求进行分析时容易出现扭曲,影响服务质量。为了避免这种现象,就需要应用数据分析平台,构建全景动态客户视图,根据客户的实际情况及时进行数据更新,对客户进行更加准确的定位,满足客户的实际需求,提高银行服务质量和服务水平。

(二)提供针对性的服务模式

传统的商业银行产品和服务,主要根据商业银行系统内部的数据进行处理或者根据客户基本的需求而制定,无法为用户提供针对。通过应用数据分析技术,能够获取客户的反馈信息,及时了解客户实际需求,进行深入分析,对银行产品和服务进行合理设置,并且不需要精确地把控个体作出选择的初衷,只需要汇总最终的行为结果。借助大数据平台的数据分析技术,通过客户行为数据与商业银行系统内数据信息的契合,可以制定出更加符合客户需求的产品和服务,为客户提供针对性的服务。[3]

(三)实时营销和个性化推荐

商业银行传统服务模式以柜台服务为主,受时间和空间的限制,业务办理效率较低,很难进行更好的个性化推荐。通过应用数据分析技术,能够对不同类型的客户信息进行分析,对数据进行深层次挖掘,为用户提供网络服务模式,既丰富了银行服务模式,提高了业务办理效率,又打破了时间和空间的限制,保证了营销的精准性和时效性,能够进行实时营销,同时还对用户进行精准定位,根据客户的喜好进行产品或服务的个性化推荐,实现针对性营销推广。

(四)优化商业银行运营模式

商业银行应用数据分析技术,能够及时了解市场动态以及营销反馈情况,根据不同营销渠道的推广效果,对营销渠道进行整合和优化,以便更好地完成金融数据的采集、整理及存储。同时,还能对ATM设备的投放效益进行分析,根据ATM设备的日常使用情况,对设备的放置方案以及存放额度进行调整,提高银行管理水平、加强资产控制力度。并且,还能及时了解银行的产品及服务反馈消息,以此作为依据对自身业务进行优化。

四、结语

面对越来越复杂的网络环境,以及日益增多的信息数据,运用数据分析技术对海量金融数据进行分析,已经成为商业银行的必然发展趋势,商业银行只有转变传统经营管理模式,加大信息化建设力度,科学运用数据分析技术,才能实现对数据有价值信息的深层挖掘,提高业务水平和服务质量,为实现银行的良好发展提供有力保障。

(作者单位为宁波银行北京分行金融市场部)

[作者简介:王曦苑(1991―),女,内蒙古赤峰人,硕士,国际会计与金融专业,研究方向:资本结构与公司绩效的关系分析。]

参考文献

推荐期刊