202155 Hadoop HA 集群部署 3HDFS HA 配置啟動(dòng)與驗(yàn)證 教學(xué)

主講：方明清0102030405目錄規(guī)劃HadoopHA集群ZooKeeper安裝與配置HDFSHA配置、啟動(dòng)與驗(yàn)證YARNHA配置、啟動(dòng)與驗(yàn)證YARNHA測(cè)試JobHDFSHA配置、啟動(dòng)與驗(yàn)證3HDFSHA配置、啟動(dòng)與驗(yàn)證序號(hào)任務(wù)名稱任務(wù)一修改core-site.xml配置文件（HDFSHA）任務(wù)二修改hdfs-site.xml配置文件（HDFSHA）任務(wù)三分發(fā)HDFSHA配置文件任務(wù)四HDFSHA集群的NameNode格式化任務(wù)五部署完成之后常規(guī)啟動(dòng)HDFSHA集群任務(wù)六驗(yàn)證HDFSHA集群任務(wù)一修改core-site.xml配置文件登錄master節(jié)點(diǎn)，使用root用戶登錄，然后切換為hadoop用戶，再進(jìn)入haddop配置文件目錄 [root@master~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$cd/opt/hadoop-2.8.5/etc/hadoop --進(jìn)入到hadoop配置文件目錄修改core-site.xml配置文件，替換為以下內(nèi)容 <configuration>

<!--指定NameNode主機(jī)連接到nameservices邏輯名（在hdfs-site.xml中有定義）--> <property> <name>fs.defaultFS</name> <value>hdfs://myha</value> </property>

<!--指定tmp文件夾路徑--> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/data/tmp</value> </property> <!–設(shè)置zookeeper地址--> <property> <name>ha.zookeeper.quorum</name> <value>master:2181,slave1:2181,slave2:2181</value> </property> </configuration>任務(wù)二修改hdfs-site.xml配置文件（一）編輯hdfs-site.xml配置文件，主要是刪除SecondaryNameNode配置信息，配置為雙NN模式 <configuration> <property> <name>dfs.replication</name> <value>3</value> </property>

<!–為namenode集群定義一個(gè)nameservices邏輯名--> <property> <name>services</name> <value>myha</value> </property>

<!–映射nameservices邏輯名稱到namenode邏輯名稱--> <property> <name>nodes.myha</name> <value>nn1,nn2</value> </property> </configuration>在單一NameNode節(jié)點(diǎn)的集群中，訪問HDFS集群的入口是NameNode所在的服務(wù)器，但是在有兩個(gè)或多個(gè)NameNode節(jié)點(diǎn)的HA集群中，無法配置單一服務(wù)器入口，需要定義一個(gè)服務(wù)邏輯名。任務(wù)二修改hdfs-site.xml配置文件（二）編輯hdfs-site.xml配置文件（續(xù)上） <configuration>

<!–映射namenode邏輯名稱到真實(shí)主機(jī)名（RPC）nn1

--> <property> <name>node.rpc-address.myha.nn1</name> <value>master:8020</value> </property>

<!–映射namenode邏輯名稱到真實(shí)主機(jī)名（RPC）nn2

--> <property> <name>node.rpc-address.myha.nn2</name> <value>slave1:8020</value> </property>

</configuration>node.rpc-address.[nameserviceID].[namenodeID]分別指定每個(gè)NameNode的RPC服務(wù)完整監(jiān)聽地址（hostname+端口號(hào)），真實(shí)的NN主機(jī)分別是master和slave1，端口8020是NameNode節(jié)點(diǎn)Active狀態(tài)的端口號(hào)，是HDFS的內(nèi)部通信端口。任務(wù)二修改hdfs-site.xml配置文件（三）編輯hdfs-site.xml配置文件（續(xù)上） <configuration>

<!–映射namenode邏輯名稱到真實(shí)主機(jī)名（HTTPWEB）nn1

--> <property> <name>node.http-address.myha.nn1</name> <value>master:50070</value> </property>

<!–映射namenode邏輯名稱到真實(shí)主機(jī)名（HTTPWEB）nn2

--> <property> <name>node.http-address.myha.nn2</name> <value>slave1:50070</value> </property>

</configuration>node.http-address.[nameserviceID].[namenodeID]分別指定每個(gè)NameNode的HTTP服務(wù)地址（hostname+端口號(hào)），真實(shí)的NN主機(jī)分別是master和slave1，端口50070是NameNode節(jié)點(diǎn)用于訪問和監(jiān)控Hadoop系統(tǒng)運(yùn)行狀態(tài)的WebUI（Web界面）默認(rèn)端口。任務(wù)二修改hdfs-site.xml配置文件（四）編輯hdfs-site.xml配置文件（續(xù)上） <configuration>

<!–配置namenode間用于共享編輯日志的journalnode列表--> <property> <name>node.shared.edits.dir</name> <value>qjournal://master:8485;slave1:8485;slave2:8485/myha</value> </property>

<!–配置journalnode用于存放共享編輯日志的目錄--> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/hadoop/data/dfs/jn</value> </property> </configuration>兩個(gè)NameNode為了數(shù)據(jù)同步，會(huì)通過一組稱作JournalNodes的獨(dú)立進(jìn)程進(jìn)行相互通信。當(dāng)active狀態(tài)的NameNode的命名空間有任何修改時(shí)，會(huì)告知大部分的JournalNodes進(jìn)程。standby狀態(tài)的NameNode有能力讀取JNs中的變更信息，并且一直監(jiān)控editlog的變化，把變化應(yīng)用于自己的命名空間。standby可以確保在集群出錯(cuò)時(shí)，命名空間狀態(tài)已經(jīng)完全同步了。任務(wù)二修改hdfs-site.xml配置文件（五）編輯hdfs-site.xml配置文件（續(xù)上） <configuration>

<!–開啟NameNode失敗自動(dòng)切換--> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property>

<!–配置NameNode失敗自動(dòng)切換實(shí)現(xiàn)方式--> <property> <name>vider.myha</name> <value>node.ha.ConfiguredFailoverProxyProvider</value> </property>

<!–配置隔離機(jī)制方法，多個(gè)機(jī)制用換行分割，即每個(gè)機(jī)制占用一行--> <property> <name>dfs.ha.fencing.methods</name> <value> sshfence shell(/bin/true) </value> </property> </configuration>任務(wù)三分發(fā)HDFSHA配置文件master節(jié)點(diǎn)，使用root用戶登錄，然后切換為hadoop用戶 [root@master~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$分發(fā)HDFSHA配置文件 [hadoop@master~]$cd/opt/hadoop-2.8.5/etc/hadoop/ [hadoop@master~]$scpcore-site.xmlhadoop@slave1:/opt/hadoop-2.8.5/etc/hadoop/ [hadoop@master~]$scpcore-site.xmlhadoop@slave2:/opt/hadoop-2.8.5/etc/hadoop/ [hadoop@master~]$scphdfs-site.xmlhadoop@slave1:/opt/hadoop-2.8.5/etc/hadoop/ [hadoop@master~]$scphdfs-site.xmlhadoop@slave2:/opt/hadoop-2.8.5/etc/hadoop/分別登錄slave1、slave2節(jié)點(diǎn)，切換為hadoop用戶，檢查分發(fā)結(jié)果以及環(huán)境變量 [hadoop@slave1~]$ls-l/opt/hadoop-2.8.5/etc/hadoop/ --在slave1節(jié)點(diǎn)上檢查分發(fā)結(jié)果 [hadoop@slave1~]$export --在slave1節(jié)點(diǎn)上檢查環(huán)境變量 [hadoop@slave2~]$ls-l/opt/hadoop-2.8.5/etc/hadoop/ --在slave2節(jié)點(diǎn)上檢查分發(fā)結(jié)果 [hadoop@slave2~]$export --在slave2節(jié)點(diǎn)上檢查環(huán)境變量任務(wù)四HDFSHA集群的NameNode格式化（一）所有節(jié)點(diǎn)，使用root用戶登錄，然后切換為hadoop用戶 [root@master~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$所有節(jié)點(diǎn)，在進(jìn)行HDFSHA的NameNode格式化之前，需要將原來HDFS數(shù)據(jù)臨時(shí)存放文件刪除 [hadoop@master~]$rm–rf/home/hadoop/data/dfs/namenode --刪除namenode目錄 [hadoop@master~]$rm–rf/home/hadoop/data/dfs/datanode --刪除datanode目錄

[hadoop@master~]$rm–rf/home/hadoop/data/tmp/ --刪除tmp目錄文件所有節(jié)點(diǎn)，啟動(dòng)Zookeeper（以master節(jié)點(diǎn)為例，其他節(jié)點(diǎn)步驟完全相同） [hadoop@master~]$zkServer.shstart --啟動(dòng)Zookeeper [hadoop@master~]$zkServer.shstatus --查看啟動(dòng)狀態(tài) [hadoop@master~]$jps --查看Zookeeper進(jìn)程所有節(jié)點(diǎn)，啟動(dòng)JourmnalNode（以master節(jié)點(diǎn)為例，其他節(jié)點(diǎn)步驟完全相同） [hadoop@master~]$hadoop-daemon.shstartjournalnode --啟動(dòng)本機(jī)JournalNode [hadoop@master~]$jps --查看JournalNode進(jìn)程

或者 [hadoop@master~]$hadoop-daemons.shstartjournalnode --啟動(dòng)所有節(jié)點(diǎn)的JournalNode [hadoop@master~]$jps --查看JournalNode進(jìn)程任務(wù)四HDFSHA集群的NameNode格式化（二）所有NameNode節(jié)點(diǎn)（master和slave1）格式化NameNode

[hadoop@master~]$hdfsnamenode–format --master節(jié)點(diǎn)格式化NameNode

[hadoop@master~]$hadoop-daemon.shstartnamenode --master節(jié)點(diǎn)啟動(dòng)NameNode

[hadoop@master~]$jps --master查詢NameNode進(jìn)程

通過雙NN同步，在slave1上格式化NameNode，步驟如下：

[hadoop@slave1~]$hdfsnamenode–bootstrapStandby --slave1節(jié)點(diǎn)格式化NameNode從master節(jié)點(diǎn)啟動(dòng)HDFSHA集群 [hadoop@master~]$start-dfs.sh --啟動(dòng)HDFSHA集群 [hadoop@master~]$jps --查看進(jìn)程，所有節(jié)點(diǎn)都執(zhí)行

[hadoop@master~]$hdfshaadmin–getServiceStatenn1 --查詢NameNode1狀態(tài)

[hadoop@master~]$hdfshaadmin–getServiceStatenn2 --查詢NameNode2狀態(tài)所有ZKFC節(jié)點(diǎn)，啟動(dòng)ZookeeperFailoverController（以master節(jié)點(diǎn)為例，slave1節(jié)點(diǎn)步驟完全相同） [hadoop@master~]$hdfszkfc-formatZK --第一次啟動(dòng)ZKFC，在Zookeeper中創(chuàng)建znode [hadoop@master~]$hadoop-daemon.shstartzkfc --master節(jié)點(diǎn)啟動(dòng)ZKFC [hadoop@slave1~]$hadoop-daemon.shstartzkfc --slave1節(jié)點(diǎn)啟動(dòng)ZKFC [hadoop@master~]$jps --master節(jié)點(diǎn)查看ZKFC進(jìn)程：DFSZKFailoverController

[hadoop@master~]$hdfshaadmin–getServiceStatenn1 --查詢NameNode1狀態(tài)

[hadoop@master~]$hdfshaadmin–getServiceStatenn2 --查詢NameNode2狀態(tài)任務(wù)五部署完成之后常規(guī)啟動(dòng)HDFSHA集群所有節(jié)點(diǎn)，啟動(dòng)Zookeeper（以master節(jié)點(diǎn)為例，其他節(jié)點(diǎn)步驟完全相同） [hadoop@master~]$zkServer.shstart --啟動(dòng)Zookeeper [hadoop@master~]$zkServer.shstatus --查看啟動(dòng)狀態(tài)，一個(gè)Leader，其余Follower [hadoop@master~]$jps --查看Zookeeper進(jìn)程，QuorumPeerMain所有節(jié)點(diǎn)，啟動(dòng)JourmnalNode（以master節(jié)點(diǎn)為例，其他節(jié)點(diǎn)步驟完全相同） [hadoop@master~]$hadoop-daemon.shstartjournalnode --啟動(dòng)本機(jī)JournalNode [hadoop@master~]$jps --查看JournalNode進(jìn)程

或者 [hadoop@master~]$hadoop-daemons.shstartjournalnode --啟動(dòng)所有節(jié)點(diǎn)的JournalNode [hadoop@master~]$jps --查看JournalNode進(jìn)程從master節(jié)點(diǎn)啟動(dòng)HDFSHA集群 [hadoop@master~]$start-dfs.sh --啟動(dòng)HDFSHA集群 [hadoop@master~]$jps --查看進(jìn)程，所有節(jié)點(diǎn)都執(zhí)行所有ZKFC節(jié)點(diǎn)，啟動(dòng)ZookeeperFailoverController（以master節(jié)點(diǎn)為例，slave1節(jié)點(diǎn)步驟完全相同） [hadoop@master~]$hadoop-daemon.shstartzkfc --master節(jié)點(diǎn)啟動(dòng)ZKFC [hadoop@slave1~]$hadoop-daemon.shstartzkfc --slave1節(jié)點(diǎn)啟動(dòng)ZKFC [hadoop@master~]$jps --master節(jié)點(diǎn)查看ZKFC進(jìn)程：DFSZKFailoverController

[hadoop@master~]$hdfshaadmin–getServiceStatenn1 --查詢NameNode1狀態(tài)

[hadoop@master~]$hdfshaadmin–getServiceStatenn2 --查詢NameNode2狀態(tài)任務(wù)六驗(yàn)證HDFSHA集群（一）