车联网大数据平台应用架构设计.docx

车联网大数据平台应用架构设计 TOC\o"1-5"\h\z \o "CurrentDocument" 1.车联网大数据平台总体架构3 \o "CurrentDocument" 2.平台架构分解4 数据源4 数据传输5 \o "CurrentDocument" 数据处理6 \o "CurrentDocument" 数据分析8 \o "CurrentDocument" 数据应用8 \o "CurrentDocument" 3.AI智能生态9 11消洗|「^祈||白井||去直ir^ii轲按ii合并I=i车联网大数据平台总体架构随着大数据、云计算、移动网络和物联网的不断发展和兴起，给各行各业注入了发展的新鲜血液，车联网作为物联网的分支在汽车领域也有着长足的发展。车联网大数据平台，通俗的说将汽车跑在互联网上，将车辆数据、车机数据、用户数据、厂商数据、业务数据、第三方数据等,利用设备传感器、埋点、外部数据导入集成等多种技术手段将各类数据收集起来，并储存到自建的数据中心或者云端数据平台中，并进行一定规则的清洗加工转换等逻辑处理，再结合多种业务需求和业务目标，进行汇总统计、BI、机器学习和算法分析等深入挖掘，提供丰富的数据服务，以更好的服务反馈给用户并辅助企业业务的发展、提高营业收入。 11消洗|「^祈||白井||去直ir^ii轲按ii合并I=i I|Flu哗]|Kjfka[|5卯叩]|5匕k]|AP?][...~||车两瓣[|同雄[|用户她]|厂商甄11止务鼬|第三方故君 平台架构分解2.1.数,据源 2.1. 数, 据源 1）、车辆数据车辆数据包含发动机、离合器、电池、空调、车门车窗、车灯等汽车部件信号数据，还有汽车经纬度、加减速度、油量、电量、温度、汽车启动和停止等动态数据等等；2）、车机数据车机数据指音频、视频和导航系统，数据主要包括设备信息、经纬度、版本号、应用信息、电台节目信息等等。 3）、用户数据用户数据指用户在车机上的操作数据，例如：行程导航信息、收听节目清单、收藏的兴趣点、应用使用信息等；4）、厂商数据厂商数据指车企及相关合作企业数据，例如：合作企业、电子眼、交通状况、地图、车辆保养、保险等信息；5）、业务数据业务数据指车辆制造信息、车辆销售信息、车辆维修信息、人车交互信息、人机交互信息等；6）、第三方数据第三方数据主要指社会公共数据资源及第三方数据服务，例如：地图服务、天气服务等。 2.2.数据传输针对上述数据源，车联网大数据平台提供相应的数据传输接入方式或工具： 1）、Flume（文件收集）Flume是Cloudera开发的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据。数据源可定制、可扩展，数据存储系统可定制、可扩展。 Flume运行的核心是Agent，它是一个完整的数据收集工具，含有三个核心组件，分别是：Source、Channel、Sink。通过这些组件，Event可以从一个地方流向另一个地方。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。 2）、Kafka（消息收集）Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。 为了同时搞定在线应用（消息）和离线应用（数据文件，日志）Kafka就出现了。Kafka可以起到两个作用：降低系统组网复杂度；降低编程复杂度，各个子系统不再是相互协商接口，各个子系统类似插口插在插座上，Kafka承担高速数据总线的作用。 3）、Sqoop（数据库数据） Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求： 业务数据存放在关系数据库中，如果数据量达到一定规模后需要对其进行分析或同统计，单纯使用关系数据库可能会成为瓶颈，这时可以将数据从业务数据库数据导入（import）到Hadoop平台进行离线分析；对大规模的数据在Hadoop平台上进行分析以后，可能需要将结果同步到关系数据库中作为业务的辅助数据，这时候需要将Hadoop平台分析后的数据导出（export）到关系数据库。 4）、SDKSDK（SoftwareDevelopmentKit，软件开发工具包）是开发工具的集合，是提