2023學年完整公開課版ResourceManager故障轉移

侯磊目錄0102配置自動RM故障轉移部署高可用性RM集群配置自動RM故障轉移1配置自動RM故障轉移可以通過在yarn-site.xml文件中設置參數yarn.resourcemanager.ha.auto-matic-failover.zk-base-path和參數yarn.resourcemanager.cluster-id來配置自動ResourceManager故障轉移過程。配置自動RM故障轉移<property><name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name><value>/yarn-leader-election</value><description>Optionalsetting.Thedefaultvalueis/yarn-leader-election</description></property>配置自動RM故障轉移<property><name>yarn.resourcemanager.cluster-id</name><value>yarn-cluster</value></property>部署高可用性RM集群2部署高可用性RM集群此前，我們使用配置屬性配置了高可用性RM。激活高可用性ResourceManager的配置時，需要執(zhí)行一些操作。如下所示:1．確保ResourceManager運行的兩個節(jié)點具有一致的yarn-site.xml文件。2．值得注意的是，ZooKeeper配置文件（zoo.cfg）中的客戶端參數值必須與yarn-site.xml文件中的端口值相匹配。<property><name>yarn.resourcemanager.zk-state-store.address</name><value>localhost:2181</value></property>部署高可用性RM集群3．使用以下命令啟動ZooKeeper服務:/usr/lib/zookeeper/bin/zkServer.shstart4．啟動所有HDFS服務，包括NameNodes(HA環(huán)境中有兩個NameNodes)、StandbyNameNode(如果尚未設置HANameNode服務的話）和所有DataNodes。部署高可用性RM集群5．啟動所有YARN服務，包括在兩個節(jié)點上運行的主ResourceManager和輔助ResourceManager，以及JobHistoryServer和Node-Manager服務。$yarnstartresourcemanager//onprimaryRMserver$yarnstartresourcemanager//onsecondaryRMserver$yarnstarthistoryserver//onserverwhereJobHistoryServerruns$yarnstartnodemanager//onallserverswhereNodeManagerserviceruns部署高可用性RM集群6.如果選擇了ResourceManager自動故障轉移功能，那么這就全部設置好了，因為Hadoop本身將選擇活動的ResourceManager。如果已禁用自動故障轉移功能，則兩個RM將處于備用狀態(tài)。必須使用以下命令將其中一個轉換為活動模式:$yarnrmadmin-transitionToActiverm100由IDrm100(在我們的示例