第7章-MapReduce概论讲课课件.pptx

大数据技术与应用;第7章 MapReduce概述;导学;7.1 MapReduce简介;7.1 MapReduce简介;7.1 MapReduce简介;7.1 MapReduce简介;7.1 MapReduce简介;7.2 Map和Reduce任务;7.2 Map和Reduce任务;7.3 MapReduce架构和工作流程;7.3 MapReduce架构和工作流程;本章小结 MapReduce是Hadoop最重要的组成模块之一。 MapReduce由Map和Reduce两部分用户程序组成，利用框架在计算机集群上根据需求运行多个程序实例来处理各个子任务，然后再对结果进行归并输出。 在实际的工作环境中，MapReduce的分布式处理框架常用于分布式Grep、分布式排序、Web访问日志分析、反向索引构建、文档聚类、机器学习、数据分析、基于统计的机器翻译和生成整个搜索引擎的索引等大规模数据处理工作，并且已经在很多国内知名的互联网公司得到广泛地应用。大数据技术与应用;第7章 MapReduce概述;导学;7.1 MapReduce简介;7.1 MapReduce简介;7.1 MapReduce简介;7.1 MapReduce简介;7.1 MapReduce简介;7.2 Map和Reduce任务;7.2 Map和Reduce任务;7.3 MapReduce架构和工作流程;7.3 MapReduce架构和工作流程;本章小结 MapReduce是Hadoop最重要的组成模块之一。 MapReduce由Map和Reduce两部分用户程序组成，利用框架在计算机集群上根据需求运行多个程序实例来处理各个子任务，然后再对结果进行归并输出。 在实际的工作环境中，MapReduce的分布式处理框架常用于分布式Grep、分布式排序、Web访问日志分析、反向索引构建、文档聚类、机器学习、数据分析、基于统计的机器翻译和生成整个搜索引擎的索引等大规模数据处理工作，并且已经在很多国内知名的互联网公司得到广泛地应用。