《大数据处理与分析：Spark 编程实践》课程教学大纲.pdf

课程名称：大数据处理与分析：Spark编程实践 课程编码：7337001 课程学分：2学分 课程学时：32学时 适用专业：计算机科学与技术 先修课程：Python或C程序设计、数据库原理、操作系统、高等数学、线性代数、 概率论与数理统计 课程类别：专业选修课 《大数据处理与分析：Spark 编程实践》 课程教学大纲 一、课程简介与目标 本课程为计算机专业选修课程，授课对象为计算机科学与技术、数据科学与 大数据技术、信息安全等相关专业的本科生。当今时代是大数据时代，大数据已 经渗透到当今每一个行业和领域，相较于传统数据，大数据具有体量巨大、模态 繁多、关联复杂等特点，对大数据的处理和分析是从大数据中获取价值的决定性 因素。本课程将介绍大数据处理和分析的基本概念、大数据处理和分析框架Spark 等设计与运行的基本原理、大数据处理和分析环境的搭建和使用方法、基本编程 方法、流式数据处理的基本方法、大数据分析的基本方法，为学生将来进一步在 相关领域深入学习或工作打下良好的理论和实践基础。 1. 课程拟达到的教学目标：该课程的目标是从大数据处理与分析的实践出 发、让学生掌握基于Spark 平台进行大数据处理与分析的基本技能，能够实现对 大规模结构化和非结构化数据的基本处理与分析，进而建构大数据处理与分析的 基础知识体系。 2. 课程思政目标：本门课程在培养学生专业素质和思维能力的同时，通过 将大数据技术和社会需求紧密结合，加深学生对所学知识与社会发展、改善民生、 提升国家竞争力之间关系的认识，引导学生勤于学习、善于学习、乐于钻研、勇 于探索、立志学好科学技术回馈国家、回馈社会。 二、教学基本内容及基本要求 大数据处理与分析：Spark 编程实践课程共32 学时，其中理论授课22 学时、 上机教学10 学时。学时分配如表1 所示。 1 表1 学时分配表 总学时 讲授学时 课内上机 32 22 10 1．课程重点 掌握大数据的基本概念、大数据处理与分析框架基本概念、Spark 的部署和 安装、RDD 编程基础、Spark SQL 的基本概念、DataFrame 的基本概念、Spark Streaming 的基本概念、DStream 操作、Spark MLlib 基本使用方法；理解大数据 计算模式、流计算概念；能编写基于Spark 的大数据处理与分析程序；能够上机 操作和调试程序。 2．课程难点 RDD 设计与运行原理、大数据处理作业阶段划分的原理和运用、RDD 编程模 型、Spark Streaming 编程。 3. 课堂教学 （22 学时） 表2 各知识单元教学内容、考核要求和学时分配 第一知识单元 大数据处理与分析技术概述 课堂讲授，ppt 电子课件， 学时分配 2 学时 教学方式 板书 教学内容 重点 难点 大数据的技术背景：了解计算机软硬件的发展历程、IT 基础设施 1 发展的历程、互联网、物联网等数据的激增、互联网应用形态的 演化，了解大数据产生的必然性。 2 大数据的基本概念：什么是大数据、大数据的5V 特征。 √ 大数据处理与分析关键技术的基础知识：大数据技术的不同层面 3 √ 及其功能、大数据的几种经典计算模式。