2023學(xué)年完整公開(kāi)課版添加新的DataNode和NodeManager

主講：侯磊目錄01添加新的DataNode和NodeManager添加新的DataNode和NodeManager1添加新的DataNode和NodeManager可以添加新的DataNodes以增加集群的存儲(chǔ)容量。另一方面，添加NodeManagers可以增加集群的處理能力。在大多數(shù)情況下，在所有工作節(jié)點(diǎn)（主節(jié)點(diǎn)除外）上同時(shí)運(yùn)行DataNode和NodeManager服務(wù)。下面我們來(lái)看如何執(zhí)行此任務(wù)，這是一個(gè)常見(jiàn)任務(wù)，因?yàn)榇蠖鄶?shù)Hadoop集群隨著時(shí)間的推移而增長(zhǎng)，所以要向集群添加更多節(jié)點(diǎn)。添加新的DataNode和NodeManager以下是向集群添加新節(jié)點(diǎn)的基本步驟:1．在新節(jié)點(diǎn)上安裝Hadoop軟件。使用rsync或scp等工具，復(fù)制Hadoop配置文件到新節(jié)點(diǎn)，如下所示:$rsync-a<master_node_IP>:$HADOOP_HOME/etc/hadoop/$HADOOP_HOME/etc/hadoop添加新的DataNode和NodeManager2．可以在主節(jié)點(diǎn)和新節(jié)點(diǎn)之間設(shè)置無(wú)密碼SSH，也可以在之前設(shè)置。3．將節(jié)點(diǎn)的IP地址添加到主節(jié)點(diǎn)上的$HADOOP_HOME/etc/hadoop/slaves文件中。執(zhí)行這些步驟后，Hadoop會(huì)將節(jié)點(diǎn)添加到集群，但是不能在該服務(wù)器上存儲(chǔ)數(shù)據(jù)或在其上運(yùn)行作業(yè)。要存儲(chǔ)數(shù)據(jù)，必須啟動(dòng)DataNode服務(wù)﹔運(yùn)行作業(yè)，必須啟動(dòng)NodeManager服務(wù)，如下所示:添加新的DataNode和NodeManager$$HADOOP_HOME/sbin/hadoop-deamons.shstartdatanode$$HADOOP_HOME/sbin/yarn-daemons.shstartnodemanager在上線(xiàn)節(jié)點(diǎn)時(shí)，不需特別注意NodeManager，ResourceManager會(huì)立即開(kāi)始在該NodeManager上調(diào)度新任務(wù)。添加新的DataNode和NodeManager對(duì)于新上線(xiàn)的DataNode，當(dāng)Hadoop開(kāi)始在DataNode的DFS目錄上存儲(chǔ)新的HDFS數(shù)據(jù)時(shí),它不會(huì)將任何現(xiàn)有的HDFS數(shù)據(jù)移動(dòng)到此節(jié)點(diǎn)。因此,當(dāng)向集群添加很多