《大数据采集、预处理与可视化》-教学大纲、授课计划.docx

《大数据采集、预处理与可视化》 (Big Data Collection, Preprocessing and Visualization) 课程教学大纲 一、课程说明 课程名称 大数据采集、预处理与可视化 课程英文 Big Data Collection, Preprocessing and Visualization 课程编号 课程类别 公共基础课 先修课程 程序设计语言 后续课程 课程设计，专业课程 总计学时 56/48 课程学分 3.5/3 讲授学时 38/32 实践学时 18/16 考核方式 考试 修习类型 必修 适用专业 理工科和管理学 教学层次 四年制本科生 开课时间 二年级 开课院系 注：本课程可设置56学时或48学时。如果已经系统学习过Python程序设计语言，可以设置48学时，不讲授第2章Python程序设计的相关内容。 二、教学目标和任务 《大数据采集、预处理与可视化》是为大学本科各个专业开设的一门专业基础课，它是大学入门大数据分析及应用的重要课程。本课程从大数据采集、预处理与可视化的基础理论、主要技术和基本实现方法入手，结合课程案例和上机实验，系统地介绍大数据采集、预处理与可视化的主要功能和实现技术，为大数据分析及实际应用奠定基础。 1、教学目标 通过本课程的学习，使学生能够熟练掌握大数据的基本概念和相关技术，理解数据预处理的相关技术方法，熟练掌握数据采集、数据清洗等相关技术，熟练掌握数据预处理和数据可视化工具及软件的使用。并且培养学生分析问题、设计算法、编程解决专业数据处理问题的能力。提高学生的程序设计水平和计算机应用能力。使学生具备数据获取能力、数据分析与应用能力、信息表达能力等。为进一步的课程学习奠定良好的基础。 2、主要教学内容 通过课程学习，学生应当了解和掌握以下教学内容：大数据基本概念、Python程序设计（为应用Python进行数据采集及优化奠定基础）、大数据采集与抽取、大数据预处理技术、使用Excel进行数据获取与预处理、使用Python进行数据预处理、数据可视化技术等。 3、教学方法 遵循简单易学的原则，应用部分力求解决实际问题。教学过程中通过“案例-模仿-改进-创新”的学习方法，使学生快速掌握大数据采集、预处理与可视化的相关理论、方法和技能。帮助学生利用所学知识，解决专业领域具体的数据处理和应用问题。在教学中，鼓励学生利用网络资源和积极动手实践来解决实际问题，达到学以致用的目的。 三、教学内容和要求 第一章 大数据概述 教学要求： 使学生了解大数据时代的特点，理解大数据的概念、特征及作用，熟悉大数据系统，具备大数据思维能力，了解大数据伦理及安全。 重点与难点： 1、重点：大数据相关概念及特征、大数据思维 2、难点：大数据系统 教学内容： 第一节 大数据相关概念及特征 1、大数据时代 2、大数据的定义 3、大数据的发展历程 4、大数据的特征 5、大数据的应用领域 6、大数据关键技术 第二节 大数据系统简介 1、Hadoop生态系统简介 2、Spark生态系统简介 第三节 大数据思维 1、传统思维方式 2、大数据思维方式 第四节 大数据伦理及安全 1、大数据伦理的由来 2、大数据的伦理问题 3、大数据的伦理原则 4、大数据安全防护技术 思考与练习： 1、什么是大数据？其主要包括哪些技术？ 2、简述大数据的应用领域。 3、简述大数据发展的三个阶段。 4、简述大数据的基本特征。 5、Hadoop生态系统主要包含哪些组件？ 6、简述大数据伦理的重要性。 第二章 Python程序设计 教学要求： 使学生掌握Python的安装，熟练掌握数据类型与运算符，熟悉程序控制结构，熟练掌握函数与模块的应用，掌握文件读写操作方法，为应用Python程序设计语言进行数据采集、预处理及可视化奠定基础。 重点与难点： 1、重点：数据类型与运算符、程序控制结构 2、难点：函数与模块、文件 教学内容： 第一节 Python的安装与运行 1、Python的特点 2、Python的下载与安装 3、Python程序的运行 4、第三方软件包的安装 5、Python编程规范 第二节 数据类型与运算符 1、数字和字符串 2、列表和元组 3、字典和集合 4、运算符 第三节 程序控制结构 1、程序流程图 2、顺序结构 3、选择结构 4、循环结构 第四节 函数与模块 1、函数的使用 2、函数的参数传递 3、全局变量与局部变量 4、模块 第五节 文件 1、文件的打开与关闭 2、文件的读取与写入 3、文件的定位 思考与练习： 1、在定义函数位置参数与关键字参数时，应当注意什么问题。 2、程序控制结构有几种类型，它们的特点分别是什么？ 3、使用Python写入文件时，想要在文件原有内容中追加新内容时应当使用哪种模式？若想重新编辑该文件，应当