hadoop和spark使用实验报告.pdf

hadoop和spark使用

学生：张帅豪学号

hadoop和spark使用

1.已有配置：javapythonhadoopspark

2.实验目的：

3.实验题目

题目一

1.计算每个学生必修课的平均成绩。

2.按科目统计每个班的平均成绩。

题目二

题目三

1.已有配置：javapythonhadoopspark

根据老师的安装手册，一步一步安装即可

得到以下界面

2.实验目的：

1.学习基于MapReduce框架的分布式计算程序设计方法。

2.学习基于Spark框架的分布式计算程序设计方法。

3.实验题目

准备事件：我们先将需要处理的文件上传到浏览器

input(child-parent.txtgrades.txtinput_file.txt)

input1(grades.txt)

input2(child-parent.txt)

题目一

输入文件为学生成绩信息，包含了必修课与选修课成绩，格式如下：

班级1,姓名1,科目1,必修,成绩1

班级2,姓名2,科目1,必修,成绩2

班级1,姓名1,科目2,选修，成绩3

……….,………,………,………

编写两个Hadoop平台上的MapReduce程序，分别实现如下功能：

1.计算每个学生必修课的平均成绩。

2.按科目统计每个班的平均成绩。

1.计算每个学生必修课的平均成绩。

编写map代码

从数据中选择出必修的信息条：key:namevalue:score

eg:170315班,史伦泰,计算机图形学,选修,82史伦泰82

160301班,邱丰琪,计算机图形学,选修,90邱丰琪90

1@Override

2

protectedvoidmap(LongWritablekey,Textvalue,

Mapper<LongWritable,Text,Text,LongWritable>.Contextcontext)

3

throwsIOException,InterruptedException{

4

Stringlineva