202152 Hadoop HA 集群部署 2ZooKeeper安裝與配置 教學(xué)

主講：方明清0102030405目錄規(guī)劃HadoopHA集群ZooKeeper安裝與配置HDFSHA配置、啟動(dòng)與驗(yàn)證YARNHA配置、啟動(dòng)與驗(yàn)證YARNHA測(cè)試JobZooKeeper安裝與配置2基礎(chǔ)環(huán)境配置序號(hào)任務(wù)名稱任務(wù)一上傳安裝包到第1個(gè)Zookeeper節(jié)點(diǎn)并解壓任務(wù)二編輯Zookeeper配置文件任務(wù)三創(chuàng)建zkdata和zkdatalog文件夾任務(wù)四設(shè)置Zookeeper節(jié)點(diǎn)對(duì)應(yīng)的ID（myid）任務(wù)五配置Zookeeper環(huán)境變量任務(wù)六分發(fā)Zookeeper到其他Zookeeper節(jié)點(diǎn)任務(wù)七修改其他Zookeeper節(jié)點(diǎn)對(duì)應(yīng)的ID（myid）任務(wù)八啟動(dòng)與驗(yàn)證Zookeeper集群任務(wù)一上傳安裝包到第1個(gè)Zookeeper節(jié)點(diǎn)并解壓登錄Zookeeper第1個(gè)節(jié)點(diǎn)（master），使用root用戶登錄，然后切換為hadoop用戶 [root@master~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$上傳Zookeeper安裝包到master節(jié)點(diǎn)的/opt文件夾下，并解壓 [hadoop@master~]$cd/opt [hadoop@master~]$tarzxvfapache-zookeeper-3.6.0-bin.tar.gz --解壓安裝包 [hadoop@master~]$mvapache-zookeeper-3.6.0-binzookeeper-3.6.0 --更改目錄名任務(wù)二編輯Zookeeper配置文件登錄Zookeeper第1個(gè)節(jié)點(diǎn)（master），使用root用戶登錄，然后切換為hadoop用戶 [root@master~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$進(jìn)入Zookeeper的配置文件目錄，復(fù)制配置文件并重命名為zoo.cfg [hadoop@master~]$cd/opt/zookeeper-3.6.0/conf --進(jìn)入zookeeper配置文件目錄 [hadoop@masterzookeeper-3.6.0]$cpzoo_sample.cfgzoo.cfg --復(fù)制配置文件并重命名編輯Zookeeper的配置文件zoo.cfg，增加或修改為以下內(nèi)容： dataDir=/opt/zookeeper-3.6.0/zkdata --在原有語(yǔ)句上修改即可 dataLogDir=/opt/zookeeper-3.6.0/zkdatalog --zookeeper日志數(shù)據(jù)保存位置 #2888選舉端口、3888原子廣播端口 server.1=master:2888:3888 --節(jié)點(diǎn)對(duì)應(yīng)ID，server.1=master server.2=slave1:2888:3888 --節(jié)點(diǎn)對(duì)應(yīng)ID，server.2=slave1 server.3=slave2:2888:3888 --節(jié)點(diǎn)對(duì)應(yīng)ID，server.3=slave2任務(wù)三創(chuàng)建zkdata和zkdatalog文件夾登錄Zookeeper第1個(gè)節(jié)點(diǎn)（master），使用root用戶登錄，然后切換為hadoop用戶 [root@master~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$進(jìn)入Zookeeper安裝目錄 [hadoop@master~]$cd/opt/zookeeper-3.6.0 --進(jìn)入zookeeper安裝目錄創(chuàng)建zkdata和zkdatalog文件夾 [hadoop@masterzookeeper-3.6.0]$mkdirzkdata --創(chuàng)建zkdata文件夾 [hadoop@masterzookeeper-3.6.0]$mkdirzkdatalog --創(chuàng)建zkdatalog文件夾任務(wù)四設(shè)置Zookeeper節(jié)點(diǎn)對(duì)應(yīng)的ID（myid）登錄Zookeeper第1個(gè)節(jié)點(diǎn)（master），使用root用戶登錄，然后切換為hadoop用戶 [root@master~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$進(jìn)入Zookeeper安裝目錄 [hadoop@master~]$cd/opt/zookeeper-3.6.0 --進(jìn)入zookeeper安裝目錄進(jìn)入zkdata文件夾，設(shè)置Zookeeper節(jié)點(diǎn)對(duì)應(yīng)的ID（myid） [hadoop@masterzookeeper-3.6.0]$cdzkdata --進(jìn)入zkdata文件夾 [hadoop@masterzkdata]$echo1>myid --創(chuàng)建myid文件，輸入對(duì)應(yīng)ID [hadoop@masterzkdata]$catmyid --查看myid內(nèi)容，應(yīng)該顯示1任務(wù)五配置Zookeeper環(huán)境變量登錄Zookeeper第1個(gè)節(jié)點(diǎn)（master），使用root

用戶登錄，配置Zookeeper環(huán)境變量 #vi/etc/profile往/etc/profile文件末尾中追加以下配置內(nèi)容 #zookeeper exportZOOKEEPER_HOME=/opt/zookeeper-3.6.0 exportPATH=$PATH:${ZOOKEEPER_HOME}/bin修改完成，保存后執(zhí)行#source/etc/profile命令，使得環(huán)境變量生效，并查看環(huán)境變量 [root@master~]$source/etc/profile --運(yùn)行腳本，使得環(huán)境變量生效 [root@master~]$export --查看環(huán)境變量拷貝/etc/profile文件到slave1和slave2從節(jié)點(diǎn) #scp/etc/profileroot@slave1:/etc/ --復(fù)制文件到slave1從節(jié)點(diǎn) #scp/etc/profileroot@slave2:/etc/ --復(fù)制文件到slave2從節(jié)點(diǎn)任務(wù)六分發(fā)Zookeeper到其他Zookeeper節(jié)點(diǎn)登錄Zookeeper第1個(gè)節(jié)點(diǎn)（master），使用root用戶登錄，然后切換為hadoop用戶 [root@master~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$分發(fā)Zookeeper文件到其他節(jié)點(diǎn) [hadoop@master~]$cd/opt [hadoop@master~]$scp–r/opt/zookeeper-3.6.0hadoop@slave1:/opt/ --分發(fā)到slave1節(jié)點(diǎn) [hadoop@master~]$scp–r/opt/zookeeper-3.6.0hadoop@slave2:/opt/ --分發(fā)到slave2節(jié)點(diǎn)分別登錄slave1、slave2節(jié)點(diǎn)，切換為hadoop用戶，檢查分發(fā)結(jié)果以及環(huán)境變量 [hadoop@slave1~]$ls-l/opt --在slave1節(jié)點(diǎn)上檢查分發(fā)結(jié)果 [hadoop@slave1~]$export --在slave1節(jié)點(diǎn)上檢查環(huán)境變量 [hadoop@slave2~]$ls-l/opt --在slave2節(jié)點(diǎn)上檢查分發(fā)結(jié)果 [hadoop@slave2~]$export --在slave2節(jié)點(diǎn)上檢查環(huán)境變量任務(wù)七修改其他Zookeeper節(jié)點(diǎn)對(duì)應(yīng)的ID（myid）分別登錄Zookeeper其他節(jié)點(diǎn)（slave1、slave2），使用root用戶登錄，然后切換為hadoop用戶 [root@slave1~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@slave1~]$進(jìn)入Zookeeper安裝目錄 [hadoop@slave1~]$cd/opt/zookeeper-3.6.0 --進(jìn)入zookeeper安裝目錄進(jìn)入zkdata文件夾，設(shè)置Zookeeper節(jié)點(diǎn)對(duì)應(yīng)的ID（myid） [hadoop@slave1zookeeper-3.6.0]$cdzkdata --進(jìn)入zkdata文件夾 [hadoop@slave1zkdata]$echo2>myid --創(chuàng)建myid文件，輸入對(duì)應(yīng)ID [hadoop@slave1zkdata]$catmyid --查看myid內(nèi)容，應(yīng)該顯示24、以上相同步驟進(jìn)入zookeeper的slave2節(jié)點(diǎn)，將myid內(nèi)容設(shè)置為3任務(wù)八啟動(dòng)與驗(yàn)證Zookeeper集群分別登錄所有Zookeeper所有節(jié)點(diǎn)，使用hadoop用戶登錄，以master節(jié)點(diǎn)為例 #su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$在Zookeeper所有節(jié)點(diǎn)上啟動(dòng)zookeeper，以master為例，slave1、slave2操作步驟相同 [hadoop@master~]$zkServer.shstart --在master節(jié)點(diǎn)上啟動(dòng)Zookeeper [hadoop@master~]$zkServer.shstatus --在master節(jié)點(diǎn)上查看啟動(dòng)狀態(tài)

驗(yàn)證Zookeeper集群，以master為例，slave1、slave2操作步驟相同 [hadoop@master~]$jps --查看zookeeper進(jìn)程QuorumPeerMain [hadoop@master