大数据概论经济与网络经济学.pptx

大数据概论

智慧城市是以数字城市为基础，通过物联网和移动互联网将虚拟的数字城市与现实城市关联起来，将海量大数据交由云计算平台进行分析和决策，并按照分析决策结果对各种设施进行自动化的控制，为人类活动、经济发展、社会交往等提供智能化服务。

数字引领科技，智慧服务民生大数据BigData前言1.大数据的概念2.大数据的特征3.常用的大数据获取途径4.大数据再认识

前言我们正生活在一个随时随地产生新数据的时代，打电话、刷微博、聊微信、逛淘宝、阅读、旅游等都在不知不觉中产生了大量数据。大数据时代已经来临，并将深刻地改变着我们的工作和生活。

2020年爆发的新冠肺炎（COVID-19）疫情与2003年爆发的非典型肺炎（SARS）疫情相比，新冠肺炎疫情表现出更强的传播性和感染性，影响范围更广。突如其来的疫情撞上过年的窗口，密集的人口流动给各地的政府管理、社会治理、民生服务、产业发展和企业经营等方面的防疫工作带来了巨大的挑战和困难。疫情发生后，工业和信息化部第一时间成立了电信大数据支撑服务疫情防控领导小组，通过对各类社交平台、通信网络以及通话记录、转账记录等数据追踪移动轨迹，建立个体关系图谱（图1-3），精准定位疫情传播的路径，确认感染源，有效防止了疫情的大面积扩散。

1.大数据的概念一般而言，大数据是指在一定的时间范围内无法用常规软件工具进行获取、存储、管理和分析的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据是新时代最重要的“数字金矿”，是全球数字经济发展的核心动能。数据资源如同农业时代的土地、劳动力，工业时代的技术、资本，已经成为信息时代重要的基础性战略资源和关键生产要素。

2.大数据的特征大数据具有5V特征：Volume（体量大）、Variety（类型多）、Velocity（速度快）、Value（价值性）、Veracity（真实性）。

（1）数据体量大（Volume）数据体量大是大数据的基本属性。随着物联网中无数RFID、传感器、地理定位等技术的发展，物的所有轨迹都可以被记录，数据将被大量产生出来。自动流程记录、刷卡机、不停车收费、生产监测、环境监测、交通监测、安防监测、GPS定位等都能够产生数据。伴随着技术的发展，不仅人成为网络数据的制造者，设备也成为网络数据的制造者。大数据的起始计量单位至少是PB（100个TB）、EB（100万个TB）或ZB（10亿个TB），2010年，全球数据量达到1.2ZB，人类进入ZB时代。2015年，全球数据量达到7.9ZB。2020年全世界创造了大约64ZB的数据，而到2025年，全球数据总量将达到163ZB。“大”是相对而言的概念，对于搜索引擎，EB属于比较大的规模，但是对于各类数据库或数据分析软件而言，其规模量级会有比较大的差别。

（2）数据类型多（Variety）数据形态多样，从生成类型上分为交易数据、交互数据、传感数据；从数据来源上分为社交媒体、传感器数据、系统数据；从数据格式上分为文本、图片、音频、视频、光谱等；从数据关系上分为结构化、半结构化、非结构化数据；从数据所有者分为公司数据、政府数据、社会数据等。

交易数据传感数据交互数据价值海量多样快速POSERP电子商务GPSRFID视频监控

（3）数据速度快（Velocity）数据速度快是指数据产生快、数据处理快、数据变化快。①数据产生快。有些数据是爆发式产生的，例如欧洲核子研究中心的大型强子对撞机在工作状态下每秒产生PB级的数据；有的数据是涓涓细流式产生的，但是由于用户众多，短时间内产生的数据量依然非常庞大，例如GPS位置信息的数据。②数据处理快。在数据处理速度方面，有一个著名的“1秒定律”，即要在秒级时间范围内给出分析结果，超出这个时间，数据就失去价值了。③数据变化快。数据跟新闻一样具有时效性，很多传感器的数据产生几秒之后就失去意义了，例如美国国家海洋和大气管理局的超级计算机能够在日本地震后9min计算出海啸的可能性，但9min的延迟对于瞬间被海浪吞噬的生命来说还是太长了。

（4）数据价值性（Value）大数据中含有价值。例如，通过大量GPS位置信息的数据，可以得到某个路段的交通拥堵情况。通过大量收集手机GPS位置信息，能够了解开车人的移动速度，进而可以得到某个路段的交通拥堵情况。此外，大量GPS位置信息还有预测交通路况的功能。但是，价值密度的高低与数据总量的大小成反比。以视频图像为例，在连续不间断的监控中，1h的视频图像有用数据可能仅有几秒。如何通过强大的算法更迅速地完