TDH大数据平台培训_第10讲_TDH集群的角色分配.pdf

T D H 集群的角色分配 范 颖 捷 | 2018.05 星 环 科 技 星 环 科 技 1 非实时集群的角色分配 目录 CONTENTS 2 实时集群的角色分配 1 chapter 非实时集群的角色分配  分配原则  分配示例 1.1 分配原则 非实时集群的角色分配  总体原则 • 集群需分配单独的管理节点（两个NameNode ） • 集群规模较大时，需多个机柜（至少两个） • 高可用性的管理角色尽量分散到多个机柜中 • 各个管理节点上的服务角色尽量保证负载均衡  具体原则 •Zookeeper尽量分散到不同机柜中 •Active NameNode与Standby Namenode必须分配在不同机柜中 • Journal Node尽量分散到不同机柜中 • 每个机柜的DataNode节点数相同 星 环 科 技 1.1 分配原则 非实时集群的角色分配  具体原则 •Active ResourceManager与Standby ResourceManager必须分配在不同机柜中 • 在有DataNode 的节点上配置NodeManager •HMaster尽量分散到不同机柜中 • 在有DataNode 的节点上配置RegionServer • 在有DataNode 的节点上配置InceptorExecutor • ElasticSearch Master Node尽量分散到不同机柜中 • 评估ES负载，如果负载很高，可考虑ES DataNode和HDFS DataNode不共享数据盘，另外CPU 需要更高配置 • Transwarp Manager尽量分散到不同机柜中 星 环 科 技 1.2 分配示例 非实时集群的角色分配 Rack Rack1 Rack2 Rack3 Service Role Node node1 node2~9 node11 node12~19 node21 node22~29 Transwarp Zookeeper Zookeeper    Name Node   Transwarp HDFS Journal Node   