大数据的应用研究综述.doc

PAGE PAGE 1 大数据的应用研究综述 引言 当云计算、物联网对人们还是一个新的概念的时候，大数据出现了。大数据是云计算，事IT行业的颠覆性的革命的互联网，企业的发展，政府治理模式，将产生巨大的影响和个人习惯。大数据的挖掘和应用可创造出超出人们难以想象的价值，将是未来IT领域最大的市场利用之一,可以称的上又一次工业革命。本文对大数据的概念和它的应用、研究领域作了简单的介绍，还有它的现状和所面临的问题也作了简述。 1、大数据的基本概念 麦肯锡将大数据定义为：没法在一定时间内用传统数据库软件工具对其内容进行提取、管理和处理的数据集合。大数据是不是新的技术，也没有新产品，但一个新的现象，是近年来研究的热点。大数据具有以下4个特点即4个“V”： (1)数据量 (Volumes)巨大。大型数据集，已从TB级别，跃升到PB级别。 (2)数据类目 (Variety)繁多。种数据源来源很多，数据种类和格式冲破了以往任何时候所限定的结构化数据范围，网罗了半结构化和非结构化数据。 (3)价值(Value)密度低。在视频为例，连续监测屏幕，只有一个或两秒钟可能有用的资料 (4)处理数据的速度(Velocity)快。包含大量在线或实时数据分析处理的需求，1秒定律。 2、大数据产生的源泉 大数据主要来源于网络世界与物理世界。 1）网络世界。 大数据来自于人类社会，尤其是以互联网的发展作为数据的存储、传输与应用创造了环境。在社交网络服务的现象学的六个假设基于用户的基础上，根据朋友的朋友认识，扩大接触，广结人缘。基于社会网络的w2.0网站，对用户信息的用户，也是网站信息生产者。 2）物理世界。 科学实验是科学和技术人员设计，数据采集，数据处理需要的设计数据，无论是检索和模式识别科学规律可以发现。例如，希格斯粒子（也被称为上帝粒子）的搜索，利用大型强子对撞机实验中，应至少有1000000000000例可确定一个希格斯粒子。这是一个典型的根据大数据而做的科学实验。从这一实验可以看出，科学实验的大数据处理是整个实验最核心的部分，可以预先估计出想要的结果。 3、大数据的现状及发展趋势 3.1大数据的现状 从技术上看，大数据与云计算的关系是无法分开的，大数据必然没有办法用一台的计算机进行处理，必须采用分布式计算架构。 一分钟内，微博客上超过100000个新数据；社交网络服务“脸谱”的点击量超…这些巨大数据量意味着什么？不影响社会和经济生活中只在技术层面产生大量的数据，这为我们看世界提供了新的视角，即决策行为将越来越多地通过数据分析和做它。“这是一场新的技术革命，巨大的数据资源使得各个领域开始了一种新的进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”哈佛大学社会学教授加里·金指。据业内人士判断，大数据是一种新的致富手段，它的价值堪比石油和黄金，甚至比黄金和石油还要金贵。 3.2 大数据的发展趋势 1）数据资源化 资源数据是指数据成为企业重要的战略资源，社会和国家一级，2014的数据将成为一个新的战略制高点，是所有人的新焦点抓举，为大家所重视是大数据将不断成为的资产，成为提升机构和公司竞争力的武器。 2）大数据隐私问题 数据隐私是一个主要的挑战，隐私法和现有的技术不能用于大型数据环境，个人隐私权的保护已成为越来越多的困难，有可能支付的隐私服务，数据“面罩”将会流行。预计将在2014大数据的隐私准则的发布，将创造新的法律法规来保护人们的隐私。 3）大数据与云计算等深度融合 大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境和数据服务的模式，大数据则为云计算提供了新的商业价值，因此，从2013大数据和云计算技术引入到一个更完美的装订模式开始。总的来说，云计算，物联网，移动互联网和其他新兴的计算形式，不仅是大量的数据源，还需要大量的数据作为字段的分析方法。 4）基于海量数据的智能 因为所有的人都可以想到的问题，问之前已经回答过了，所以，即使在逻辑思维和案例的缺失，也可以用过去的经验可以做人类观念的作用，甚至直接推理通过数据。 5）大数据分析的革命性方法 在数据分析中，2014可能是一个革命性的新方法，与计算机和互联网，大量数据的新技术革命浪潮。在数据挖掘，机器学习和人工智能算法可以在许多小的数据/小世界的变化和基本理论的基础上，这可能在理论上有突破。 6）大数据安全 数据安全是非常令人担忧的，数据的增加和保护数据，更重要的是，用于存储数据的物理安全性的要求也会越来越高，因此，数据备份是越来越重要。进入2013，网络和数字生活使罪犯容易获得关于个人的重要信息，和罪犯的作案手法越来越高档，有没有更有效的方法来防止。可能会出现更高明的骗局，有时你甚至还不知道大数据已经把你给出卖了。 7）数据科学兴起 2014