03_尚硅谷大数据技术之SparkStreaming.pdfVIP

尚硅谷大数据技术之SparkStreaming ————————————————————————————— 尚硅谷大数据技术之SparkStreaming 版本：V3.0 作者：尚硅谷大数据研发部 尚硅谷大数据技术之SparkStreaming ————————————————————————————— 第1章 SparkStreaming 概述 1.1 Spark Streaming 是什么 Spark 流使得构建可扩展的容错流应用程序变得更加容易。 Spark Streaming 用于流式数据的处理。Spark Streaming 支持的数据输入源很多，例如：Kafka、 Flume 、Twitter、ZeroMQ 和简单的TCP 套接字等等。数据输入后可以用 Spark 的高度抽象原语 如：map 、reduce 、join 、window 等进行运算。而结果也能保存在很多地方，如HDFS ，数据库等。 和Spark 基于RDD 的概念很相似，Spark Streaming 使用离散化流(discretized stream)作为抽 象表示，叫作DStream 。DStream 是随时间推移而收到的数据的序列。在内部，每个时间区间收 到的数据都作为 RDD 存在，而DStream 是由这些RDD 所组成的序列(因此得名“离散化”) 。所以 简单来将，DStream 就是对RDD 在实时数据处理场景的一种封装。 1.2 Spark Streaming 的特点 ➢ 易用 尚硅谷大数据技术之SparkStreaming ————————————————————————————— ➢ 容错 ➢ 易整合到Spark 体系 1.3 Spark Streaming 架构 1.3.1 架构图 ➢ 整体架构图 ➢ SparkStreaming 架构图 尚硅谷大数据技术之SparkStreaming ————————————————————————————— 1.3.2 背压机制 Spark 1.5 以前版本，用户如果要限制Receiver 的数据接收速率，可以通过设置静态配制参 数“spark.streaming.receiver.maxRate”的值来实现，此举虽然可以通过限制接收速率，来适配当前 的处理能力，防止内存溢出，但也会引入其它问题。比如：producer 数据生产高于maxRate ，当 前集群处理能力也高于maxRate ，这就会造成资源利用率下降等问题。 为了更好的协调数据接收速率与资源处理能力，1.5 版本开始Spark Streaming 可以动态控制 数据接收速率来适配集群数据处理能力。背压机制（即Spark Streaming Backpressure）: 根据 JobScheduler 反馈作业的执行信息来动态调整Receiver 数据接收率。 通过属性“spark.streaming.backpressure.enabled”来控制是否启用 backpressure 机制，默认值 false，即不启用。 尚硅谷大数据技术之SparkStreaming ————————————————————————————— 第2 章 Dstream 入门 2.1 WordCount 案例实操 ➢ 需求：使用netcat 工具向9999 端口不断的发送数据，通过SparkStreaming 读取端口数据并 统计不同单词出现的次数 1) 添加依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.12</artifactId> <version>3.0.0</version> </dependency> 2) 编写代码 obj