尚大数据技术之尚SparkStreaming.pdfVIP

尚硅谷大数据技术之SparkStreaming （作者：尚硅谷大数据研发部） 版本：V3.0 第1 章 SparkStreaming 概述 1.1 Spark Streaming 是什么 Spark Streaming是什么 Spark Streaming用于流式数据的处理。 ➢ Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、HDFS等。 ➢ 数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。 ➢ 而结果也能保存在很多地方，如HDFS、数据库等。 Kafka HDFS Spark Flume Streaming HDFS 数据库 1.2 Spark Streaming 架构原理 1.2.1 什么是DStream Dstream是什么 SparkCore => RDD SparkSQL => DataFrame、DataSet Spark Streaming使用离散化流（Discretized Stream）作为抽象表示，叫作DStream。 DStream是随时间推移而收到的数据的序列。 在DStream内部，每个时间区间收到的数据都作为RDD存在，而DStream是由这些RDD所组成的序列（因 此得名“离散化”）。 所以简单来讲，DStream就是对RDD在实时数据处理场景的一种封装。 时刻0 时刻3 时刻6 时刻9 时刻… 数据源 atguigu o o spark o scala … … … … 封装成RDD 封装成RDD 封装成RDD 1.2.2 架构图 ➢ 整体`架构图 ➢ SparkStreaming 架构图 1.2.3 背压机制 Spark 1.5 以前版本，用户如果要限制Receiver 的数据接收速率，可以通过设置静态配制参 数“spark.streaming.receiver.maxRate”的值来实现，此举虽然可以通过限制接收速率，来适配当前 的处理能力，防止内存溢出，但也会引入其它问题。比如：producer 数据生产高于maxRate ，当 前集群处理能力也高于maxRate ，这就会造成资源利用率下降等问题。 为了更好的协调数据接收速率与资源处理能力，1.5 版本开始Spark Streaming 可以动态控制 数据接收速率来适配集群数据处理能力。背压机制（即Spark Streaming Backpressure ）：根据 JobScheduler 反馈作业的执行信息来动态调整Receiver 数据接收率。 通过属性“spark.streaming.backpressure.enabled”来控制是否启用背压机制，默认值false ，即不 启用。 1.3 Spark Streaming 特点 ➢ 易用 ➢ 容错 ➢ 易整合到Spark 体系 第2 章 DStream 2.1 WordCount 案例 ➢ 需求：使用netcat 工具向9999 端口不断的发送数据，通过SparkStreaming 端口数据并 统计不同单词出现的次数 1）添加依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.12