基于预先规划的Hadoop MapReduce Task调度机制研究.pdfVIP

基于预先规划的Hadoop MapReduce Task调度机制研究 4.1 引言 调度器(Scheduler)是MapReduce计算框架的核心模块[47-50] ，可分 为两个模块：Job调度器(JobScheduler)和Task调度器(TaskScheduler) 。 JobScheduler主要功能是按照一定的资源分配策越为用户或Job 分配 资源，同时应用调度策选择一些Job去执行；TaskScheduler主要功能 是将一个Job所包含的Task按照一定的调度策越和限制条件分配到计 算结点(TaskTracker)去执行。JobScheduler 的调度策越主要考虑资源利 用率、公平性和用户体验等，TaskScheduler 的调度策越主要考虑计算 速度。目前典型的调度器有3个，分别是：MapReduce 框架内嵌的 FIFOScheduler [27] 、Yahoo 提供的可插入形式CapacityScheduler[29] 和 Facebook 提供的可插入形式FairScheduler[28] 。本章的研究重点放在 FIFOScheduler 的TaskScheduler上，主要原因是： reason1:FIFOScheduler 是Hadoop 各个版本的缺省Scheduler ，同时 FIFOScheduler适合批处理的大数据作业，且整个集群的调度开销较 小； reason2:一些Scheduler(例如HODScheduler)可以将一个Hadoop共享物 理集群分割为多个完全隔离的虚拟Hadoop集群。在一个虚拟Hadoop 集群中，运行单一的类型MapReduce程序，直接使用FIFOScheduler 来完成Job调度和Task调度； reason3: CapacityScheduler 、FairScheduler和文献[51-56] 中的Scheduler 与HODScheduler相比，在解决多用户多作业调度思路上完全不同， 前者是将整个Hadoop集群作为共享和竞争资源，后者是通过虚拟化 技术将整个集群分割为多个独立的虚拟集群，两类Scheduler均有各自 的优点和特点； reason4: FIFOScheduler的Task调度策越存在一些问题，例如任务分配 不均匀、调度指标不一致和计算本地化比例较低等问题； reason5: JobScheduler 需要解决的关键问题是如何有效分配和有效共 享一类有限资源。这个问题在通信、操作系统、分布式系统和网格计 算等领域也广泛存在，并且已经有了相对比较成熟和有效的解决方法， 目前较多Scheduler中的Job调度策越均直接或间接采用了上述领域的 解决方法。 本章对缺省调度机制(DefualtTaskScheduling ，DTS) 的主要Task 进行了说明和形式化的定义，指出了其存在的两个主要问题：Task 分配的不均匀性； Task分配的不稳定性，并分析了产生这两个问题 的原因。在深入分析TaskScueduler 的调度机制基础上，提出了一种基 于预先规划的Task调度机制(PrePlanningTaskScheduling ，PPTS) ，该 调度机制可以在一定程度上解决DTS存在的两个主要问题，进而最终 提高MapReduce Job 的计算速度。 4.2 TaskScheduler的主要功能 4.2.1 MapReduce计算的分布性和数据本地化 MapReduce框架的主要优点是计算分布性和计算数据本地化，这 是Job获得较高计算效率的保证。计算分布性就是一个Job对应的Map Task或Reduce Task在集群中的多个TaskTracker结点上运行。下面重 点讨论计算数据本地化的问题。 图4-1是Hadoop集群的典型拓扑结构，分为3层： 图4-1 Hadoop集群的3层网络拓扑结构 一个Map Task 的程序所在结点(简称为程序Node)和数据所在的 结点(简称为数据Node)理论上有3种位置关系： ①程序Node和数据Node是同一Node ； ②程序Node和数据Node分别属于同一Rack 的不同Node ； ③程序Node 与数据Node分别属于不同Rack 。 对应上述3种位置关系，按照计算数据本地化可将Map Task分为3 种类型： ①Data-local Map ；②Rack-local Map ；③Off-switch Map 。