物流大数据分析与挖掘.pptx

第一章 物流大数据关键技术与应用 物流大数据分析与挖掘中南林业科技大学物流与交通学院主讲人：黄音 本章学习目的通过本章学习，掌握大数据技术的概念、特点、关键技术及价值，重点掌握大数据采集、大数据存储与管理、大数据计算模式与系统、大数据分析与挖掘等关键大数据技术要点，理解大数据在物流与供应链中的具体应用。学习目的 Contents目录0102031.1 大数据技术的概念与特点AA1.2 大数据的关键技术及价值A1.3 大数据在物流与供应链中的应用 Part.1.1大数据技术的概念与特点 1.1 大数据技术的概念与特点 21世纪是信息与技术的时代，随之发展的还有大数据及其相关技术。由计算机、信息技术以及通信等各行各业所产生的数据呈指数爆炸型增长。我国大数据技术的快速发展，及其与人工智能、云计算、区块链、数字孪生等新技术的交汇融合，持续加速技术创新。同时，伴随新型智慧城市和数字城市建设热潮，大数据产业持续增长。 1.1 大数据技术的概念与特点0102维基百科上给出的大数据的概念为：大数据又称巨量资料，指的是传统数据处理应用软件不足以处理的、复杂的数据集。此外，大数据也可以定义为各种来源的大量非结构化、半结构化和结构化数据。智库百科的定义为：大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。03 IBM提出大数据的“5V”特点：01海量（volume）02高速（velocity）03多样（variety）04低价值密度（value）05真实性（veracity）1.1 大数据技术的概念与特点 特点名称特点描述海量数据量大，包括采集、存储和计算的量都非常大。高速数据增长速度快，处理速度也快，时效性要求高。多样数据的来源、种类和结构多样化。低价值密度数据的价值密度相对较低。真实性数据的准确性和可信赖度要求高，即数据的质量。表1-1 大数据5V特点归纳如下：表1-1 大数据技术的“5V”特点1.1 大数据技术的概念与特点 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。1.1 大数据技术的概念与特点 中储智运案例 Part.1.2大数据的关键技术及价值 1.2 大数据的关键技术及价值大数据技术涉及大数据采集、大数据存储与管理、大数据计算模式与系统和大数据分析与挖掘等方面。以下对这四个方面的内容进行详细介绍。 1.2 大数据的关键技术及价值1.2.1 大数据采集大数据采集是指利用多个数据库或存储系统来接收发自客户端（Web、App或者传感器形式等）的数据。 1.2 大数据的关键技术及价值1.大数据采集方法 目前常用的数据采集方法有数据库采集、系统日志采集、网络数据采集传感器收取、感知设备数据采集等。 1.2 大数据的关键技术及价值2.大数据采集的特点数据采集一般来说有三个特点：一是数据采集以自动化手段为主，尽量摆脱人工录入的方式；二是采集内容以全量采集为主，摆脱对数据进行采样的方式；三是采集方式多样化、内容丰富化，摆脱以往只采集基本数据的方式。 1.2 大数据的关键技术及价值1.2.2 大数据存储与管理数据存储作为大数据的核心环节之一，可以理解为方便对既定数据内容进行归档、整理和共享的过程。 1.2 大数据的关键技术及价值1.数据存储和管理的价值数据存储和管理如今不止被定义为接收、存储、组织和维护组织创建的数据，更多时候它还意味着更多内容，包括但不限于：①对数据进行分类；②聚合、收集和解析数据的元数据；③保护数据和元数据不受自然和人为中断的影响；④在内部部署和地理上移动数据；⑤在进行一次或多次移动后，保持用户和应用程序对数据的透明访问； 1.2 大数据的关键技术及价值1.数据存储和管理的价值⑥提供用户可定义的策略，这些策略可自动移动、复制和删除数据；⑦部署人工智能和机器学习以优化和自动化大多数据管理功能；⑧搜索数据并提供可行的信息和见解；⑨使数据符合个人识别信息法律和法规；⑩将数据管理扩展到数百PB甚至EB的快速扩展数据。 1.2 大数据的关键技术及价值2.大数据的存储管理方式根据数据存储和管理的内容范围，大数据存储及管理技术需要重点研究如何解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。 1.2 大数据的关键技术及价值在大数据存储和管理发展过程中，出现了几种较为有效存储和管理大数据的方式：1）不断加密2）仓库存储3）备份服务——云端 1.2 大数据的关键技术及价值 3.大数据的存储管理技术针对大数据的规模性，为降低存储成本，并行处理数据，提高数据处理能力，采用分布式数据存储管理技术，主要存储模式为冗余存储模式，即将文件块复制存储在几个不同的存储节点上。 1.2 大数据的关键技术及价值 1.2.3 大数据计算