大数据技术实践实验报告.docxVIP

--本页仅作为文档封面，使用时请直接删除即可-- --内页可以根据需求调整合适字体及大小-- --本页仅作为文档封面，使用时请直接删除即可-- --内页可以根据需求调整合适字体及大小-- 大数据技术实践实验报告(总59页) PAGE 实 验 报 告 课程名称： 大数据技术实践 实验项目： 大数据平台 实验仪器： PC机 学 院： 计算机学院 专 业： 计算机科学与技术 班级姓名： * 学 号： * 日 期： 2019-5-9 指导教师： * 成 绩： 实验目的 1. 熟练掌握大数据计算平台相关系统的安装部署 2. 理解大数据MapReduce计算模型，并掌握MapReduce程序开发 3. 掌握Hive的查询方法 4. 掌握Spark的基本操作 实验内容 1. Hadoop完全分布模式安装 2. Hadoop开发插件安装 3. MapReduce代码实现 4. Hive安装部署 5. Hive查询 6. Spark Standalone模式安装 7. Spark Shell操作 实验过程 Hadoop开发插件安装 实验步骤： 开发工具以及Hadoop默认已经安装完毕，安装在/apps/目录下。 2.在Linux本地创建/data/hadoop3目录，用于存放所需文件。 切换目录到/data/hadoop3目录下，并使用wget命令，下载所需的插件。 将插件，从/data/hadoop3目录下，拷贝到/apps/eclipse/plugins的插件目录下。 进入ubuntu图形界面，双击eclipse图标，启动eclipse。 5.在Eclipse窗口界面，依次点击Window = Open Perspective = Other。 弹出一个窗口。 选择Map/Reduce，并点击OK，可以看到窗口中，有三个变化。（左侧项目浏览器、右上角操作布局切换、面板窗口） 如果在windows下，则需要手动调出面板窗口Map/Reduce Locations面板，操作为，点击window = show view = Other。 在弹出的窗口中，选择Map/Reduce Locations选项，并点击OK。 这样便可以调出视图窗口Map/Reduce Location。 6.添加Hadoop配置，连接Hadoop集群。 在这里添加Hadoop相关配置。 Location name，是为此配置起的一个名字。 DFS Master，是连接HDFS的主机名和端口号。 点击Finish保存配置。 7.另外还需保证Hadoop中的HDFS相关进程已经启动。在终端命令行输入jps查看进程状态。 view plain?copy jps?? 若不存在hdfs相关的进程，如Namenode、Datanode、secondarynamenode，则需要先切换到HADOOP_HOME下的sbin目录，启动hadoop。 view plain?copy cd?/apps/hadoop/sbin?? ./?? 8.展开左侧项目浏览视图，可以看到HDFS目录结构。 9.上图发现HDFS上，没有存放任何目录。那下面来创建一个目录，检测插件是否可用。 右键myhadoop下的文件夹，在弹出的菜单中，点击Create new directory。 输入目录名称，点击OK则创建目录成功。 右键文件夹，点击Refresh，可用刷新HDFS目录。 到此Hadoop开发插件已经安装完毕！ MapReduce代码实现 实验步骤： 1.切换目录到/apps/hadoop/sbin下，启动hadoop。 view plain?copy cd?/apps/hadoop/sbin?? ./?? 2.在linux上，创建一个目录/data/mapreduce1。 view plain?copy mkdir?-p?/data/mapreduce1?? 3.切换到/data/mapreduce1目录下，使用wget命令从网址 ，下载文本文件buyer_favorite1。 view plain?copy cd?/data/mapreduce1?? wget???? 依然在/data/mapreduce1目录下，使用wget命令，从 ，下载项目用到的依