《大数据》大数据概念与应用.pptx

大数据BIG DATA第一章　大数据概念与应用1.1　大数据的概念与意义1.2　大数据的来源1.3　大数据应用场景1.4　大数据处理方法习题of401.1 大数据的概念与意义第一章 大数据概念与应用1．从“数据〞到“大数据〞时至今日，“数据〞变身“大数据〞，“开启了一次重大的时代转型〞。 “大数据〞这一概念的形成，有三个标志性事件：of401.1 大数据的概念与意义第一章 大数据概念与应用大数据有巨大的潜在价值，但同其呈几何指数爆发式增长相比，某一对象或模块数据的价值密度较低，这无疑给我们开发海量数据增加了难度和本钱。从2021年至2021年，人类的数据规模将扩大50倍，每年产生的数据量将增长到44万亿GB，相当于美国国家图书馆数据量的数百万倍，且每18个月翻一番。速度快（Velocity）种类多（Variety）价值高（Value）体量大（Volume）4 V特征大数据与传统数据相比，数据来源广、维度多、类型杂，各种机器仪表在自动产生数据的同时，人自身的生活行为也在不断创造数据；不仅有企业组织内部的业务数据，还有海量相关的外部数据。随着现代感测、互联网、计算机技术的开展，数据生成、储存、分析、处理的速度远远超出人们的想象力，这是大数据区别于传统数据或小数据的显著特征。of401.1 大数据的概念与意义第一章 大数据概念与应用2．大数据的技术支撑计算运行、计算速度越来越快数据源整合进行存储、清洗、挖掘、分析后得出结果直到优化企业管理提高效率云计算、硬件性价比的提高以及软件技术的进步 智能实现信息对等解放脑力，机器拥有人的智慧大数据存储 存储本钱下降智能设备、传感器的普及，推动物联网、人工智能的开展of401.1 大数据的概念与意义第一章 大数据概念与应用1〕存储：存储本钱的下降云计算出现之前云计算出现之后云计算出现后，数据存储效劳衍生出了新的商业模式，数据中心的出现降低了公司的计算和存储本钱。例如，公司现在要建设网站，不需要去购置效劳器，不需要去雇用技术人员维护效劳器，可以通过租用硬件设备的方式解决问题。在云计算出现之前，数据存储的本钱是非常高的。例如，公司要建设网站，需要购置和部署效劳器，安排技术人员维护效劳器，保证数据存储的平安性和数据传输的畅通性，还会定期清理数据，腾出空间以便存储新的数据，机房整体的人力和管理本钱都很高。存储本钱的下降，也改变了大家对数据的看法，更加愿意把1年、2年甚至更久远的历史数据保存下来，有了历史数据的沉淀，才可以通过比照，发现数据之间的关联和价值。正是由于存储本钱的下降，才能为大数据搭建最好的根底设施。of401.1 大数据的概念与意义第一章 大数据概念与应用2〕计算：运算速度越来越快海量数据从原始数据源到产生价值，期间会经过存储、清洗、挖掘、分析等多个环节，如果计算速度不够快，很多事情是无法实现的。所以，在大数据的开展过程中，计算速度是非常关键的因素。分布式系统根底架构Hadoop的出现，为大数据带来了新的曙光；HDFS为海量的数据提供了存储；MapReduce那么为海量的数据提供了并行计算，从而大大提高了计算效率；Spark、Storm、Impala等各种各样的技术进入人们的视野。of401.1 大数据的概念与意义第一章 大数据概念与应用3〕智能：机器拥有理解数据的能力大数据带来的最大价值就是“智慧〞，大数据让机器变得有智慧，同时人工智能进一步提升了处理和理解数据的能力。例如：1谷歌AlphaGo大胜世界围棋冠军李世石2阿里云小Ai成功预测出?我是歌手?的总决赛歌王3iPhone上智能化语音机器人Siri4微信上与大家聊天的微软小冰of401.1 大数据的概念与意义第一章 大数据概念与应用3．大数据的意义美国著名管理学家爱德华·戴明所言：“我们信靠上帝。除了上帝，任何人都必须用数据来说话。〞〔1〕有数据可说 在大数据时代，“万物皆数〞，“量化一切〞，“一切都将被数据化〞。人类生活在一个海量、动态、多样的数据世界中，数据无处不在、无时不有、无人不用，数据就像阳光、空气、水分一样常见，好比放大镜、望远镜、显微镜那般重要。 〔2〕说数据可靠 大数据中的“数据〞真实可靠，它实质上是表征事物现象的一种符号语言和逻辑关系，其可靠性的数理哲学根底是世界同构原理。世界具有物质统一性，统一的世界中的一切事物都存在着时空一致性的同构关系。这意味着任何事物的属性和规律，只要通过适当编码，均可以通过统一的数字信号表达出来。 因此，“用数据说话〞、“让数据发声〞，已成为人类认知世界的一种全新方法。of401.1从“数据〞到“大数据〞第一章 大数据概念与应用风马牛可相及 在大数据背景下，因海量无限、包罗万象的数据存在，让许多看似毫不相干的现象之间发生一定的关联，使人们能够更简捷、更清晰地认知事物和把握局势。大数据