5第五天筆記hadoop10集群搭建

1、高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !北京傳智播客教育 Hadoop深入淺出【黑馬程序員hadoop7天視頻教程全網(wǎng)首發(fā)】 更多教程盡在以下店鋪：地址1： 地址2： 地址3： 地址4： 如聯(lián)系不上，請(qǐng)加QQ：1871209564高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !課程安排l掌握Hadoop集群的搭建過(guò)程*l了解集群管理的常用命令*l集群的副本管理機(jī)制*l集群的監(jiān)控管理*l掌握sqoop框架*l了解pig框架*lzookeeper高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !集群的概念l計(jì)算機(jī)集群是一種計(jì)算機(jī)系統(tǒng)，計(jì)算機(jī)集群是一種計(jì)算機(jī)系統(tǒng)， 它通過(guò)一組

2、它通過(guò)一組松散集成的計(jì)算機(jī)軟件和松散集成的計(jì)算機(jī)軟件和/或硬件連接起來(lái)高或硬件連接起來(lái)高度緊密地協(xié)作完成計(jì)算工作。度緊密地協(xié)作完成計(jì)算工作。l集群系統(tǒng)中的單個(gè)計(jì)算機(jī)通常稱為節(jié)點(diǎn)，通集群系統(tǒng)中的單個(gè)計(jì)算機(jī)通常稱為節(jié)點(diǎn)，通常通過(guò)局域網(wǎng)連接。常通過(guò)局域網(wǎng)連接。l集群技術(shù)的特點(diǎn)：集群技術(shù)的特點(diǎn)：l通過(guò)多臺(tái)計(jì)算機(jī)完成同一個(gè)工作。達(dá)到更高通過(guò)多臺(tái)計(jì)算機(jī)完成同一個(gè)工作。達(dá)到更高的效率的效率l兩機(jī)或多機(jī)內(nèi)容、工作過(guò)程等完全一樣。如兩機(jī)或多機(jī)內(nèi)容、工作過(guò)程等完全一樣。如果一臺(tái)死機(jī)，另一臺(tái)可以起作用。果一臺(tái)死機(jī)，另一臺(tái)可以起作用。高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !集群模式安裝步驟(在偽分布模式

3、下繼續(xù)在偽分布模式下繼續(xù))安裝安裝jdk關(guān)閉防火墻關(guān)閉防火墻修改修改ip修改修改hostname設(shè)置設(shè)置ssh自動(dòng)登錄自動(dòng)登錄解壓解壓hadoop高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !Hadoop集群搭建準(zhǔn)備機(jī)器名機(jī)器名機(jī)器機(jī)器IP用途用途hadoop0101namenode/secondaryNamenode/jobTrackerhadoop0202datanode/taskTrackerhadoop0303datanode/taskTrackerhadoop0404datanode/ta

4、skTracker高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !Step1:各服務(wù)器安裝JDK6上傳jdk-6u24-linux-i586.bin到/home/#cd /home/#./jdk-6u24-linux-i586.bin#mv jdk-6u24-linux-i586.bin jdk#vi /etc/profile，在文件尾部添加export JAVA_HOME=/home/jdk export PATH=$JAVA_HOME/bin:$PATH保存退出#source /etc/profile#java -version高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !S

5、tep2:各服務(wù)器的網(wǎng)絡(luò)設(shè)置l修改機(jī)器名l#hostname l#vi /etc/sysconfig/networklHOSTNAME= 保存退出，重啟l修改/etc/hostsl修改/etc/sysconfig/network-scripts/相應(yīng)的網(wǎng)絡(luò)配置l關(guān)閉防火墻l#service iptables stophosts文件參考：00 hadoop0001 hadoop0102 hadoop0203 hadoop03C:WINDOWSsystem32driversetchostsifcfg-eth0文

6、件參考：DEVICE=eth0BOOTPROTO=staticONBOOT=yesTYPE=EthernetIPADDR=00PREFIX=24GATEWAY=高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !Step3:SSH免密碼登錄l從namenode到本身及各datanode免密碼登錄l在各機(jī)器上執(zhí)行l(wèi)#ssh-keygen -t rsa一路回車l在/.ssh/生成文件id_rsa id_rsa.publ在namenode機(jī)器上執(zhí)行：l#cd /.ssh/l#scp id_rsa.pub root:/homel在各datanode機(jī)器上執(zhí)

7、行：l#cd /home/l#cat id_rsa.pub /root/.ssh/authorized_keysHadoop運(yùn)行過(guò)程中需要管理遠(yuǎn)端Hadoop守護(hù)進(jìn)程，在Hadoop啟動(dòng)以后，NameNode是通過(guò)SSH（Secure Shell）來(lái)無(wú)密碼登錄啟動(dòng)和停止各個(gè)DataNode上的各種守護(hù)進(jìn)程的同樣原理，DataNode上也能使用SSH無(wú)密碼登錄到NameNode。高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !Step4:在namenode安裝Hadoop2.解壓文件#cd /home#tar -zxvf hadoop-1.0.4.tar.gz#mv hadoop-1.0.

8、4 hadoop3.修改/etc/profile#vi /etc/profileexport JAVA_HOME=/home/javaexport HADOOP_HOME=/home/hadoopexport PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin保存退出#source /etc/profileHadoop的安裝位置（HADOOP_HOME）：/HOME/hadoop1.用軟件上傳hadoop-1.0.4.tar.gz到/home#cp hadoop-1.0.4.tar.gz /home高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !Step

9、5:修改Hadoop的配置文件11.修改conf/hadoop-env.shexport JAVA_HOME=/home/javaexport HADOOP_HEAPSIZE=1024export HADOOP_PID_DIR=/home/hadoop/pids保存退出2.配置conf/core-site.xml，增加以下內(nèi)容 hdfs:/hadoop00:9000 hadoop.tmp.dir /home/hadoop/tmp高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !Step6:修改Hadoop的配置文件23.配置conf/hdfs-site.xm

10、l dfs.replication 24.配置conf/mapred-site.xml mapred.job.tracker hdfs:/hadoop00:9001/高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !Step7:修改Hadoop的配置文件3配置conf/mastershadoop00配置conf/slaveshadoop01hadoop02hadoop03高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !Step8:復(fù)制hadoop到各datanode并修改l把hadoop00的hadoop目錄、jdk目錄、/etc/hosts、/etc/profile復(fù)制到hadoo

11、p01，hadoop02、hadoop03節(jié)點(diǎn)l#cd $HADOOP_HOME/.l#scp -r hadoop hadoop01:/homel#scp -r hadoop hadoop02:/homel#scp -r hadoop hadoop03:/home高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !Step9:啟動(dòng)/停止Hadoop集群在hadoop0上第一次啟動(dòng)Hadoop,必須先格式化namenode#cd $HADOOP_HOME /bin#hadoop namenode format啟動(dòng)Hadoop#cd $HADOOP_HOME/bin#./start-all.sh

12、如果啟動(dòng)過(guò)程，報(bào)錯(cuò)safemode相關(guān)的Exception執(zhí)行命令# hadoop dfsadmin -safemode leave然后再啟動(dòng)Hadoop停止Hadoopcd $HADOOP_HOME/bin#./stop-all.sh終端查看集群狀態(tài)：#hadoop dfsadmin -report高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !大伙搭建集群吧！l四人（四個(gè)虛擬機(jī)）為一組（要有組長(zhǎng)）。各擔(dān)任hadoop0（namenode）,hadoop1（datanode）,hadoop2（datanode）的角色。hadoop3（datanode）(留做預(yù)備)。l修改機(jī)器名l固定各

13、成員IPlnamenode到自己及各datanode的ssh免密碼登錄l修改namenode原偽分布式配置，或備份后，重新安裝。l各datanode原偽分布式的hadoop作備份或刪除。lnamenode通過(guò)scp安裝內(nèi)容給各datanode。l如果你的機(jī)子足夠強(qiáng)悍，能跑四個(gè)Linux虛擬機(jī)，你可以do it by yourself高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !集群成員l主從結(jié)構(gòu)masters/slavesl【黑馬程序員hadoop7天視頻教程全網(wǎng)首發(fā)】l更多教程盡在以下店鋪：l地址1： l地址2： l地址3： l地址4： l如聯(lián)系不上，請(qǐng)加QQ：1871209564高

14、級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !增加節(jié)點(diǎn)l1.修改新節(jié)點(diǎn)的/etc/hosts，增加namenode的主機(jī)名與IPl2.修改namenode的配置文件conf/slavesl添加新增節(jié)點(diǎn)的ip或hostl3.在新節(jié)點(diǎn)的機(jī)器上，啟動(dòng)服務(wù)l#cd $HADOOP_HOME/binl#./hadoop-daemon.sh start datanode l#./hadoop-daemon.sh start tasktrackerl4.在NameNode節(jié)點(diǎn)執(zhí)行 l# hadoop dfsadmin -refreshNodesl5.均衡blockl在新節(jié)點(diǎn)上執(zhí)行(如果是增加多個(gè)節(jié)點(diǎn)，

15、只需在一個(gè)新節(jié)點(diǎn))l#cd $HADOOP_HOME/binl# ./start-balancer.sh 注意事項(xiàng)：1. 必須確保slave的firewall已關(guān)閉;2. 確保新的slave的ip已經(jīng)添加到master及其他slaves的/etc/hosts中，反之也要將master及其他slave的ip添加到新的slave的/etc/hosts中高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !刪除節(jié)點(diǎn)l在hadoop0上修改conf/hdfs-site.xml文件l l dfs.hosts.excludel/usr/local/hadoop/conf/excludesl l確定要下架的

16、機(jī)器ldfs.hosts.exclude定義的文件內(nèi)容為,每個(gè)需要下線的機(jī)器，一行一個(gè)。l強(qiáng)制重新加載配置l#hadoop dfsadmin -refreshNodes l關(guān)閉節(jié)點(diǎn) lhadoop dfsadmin -report l可以查看到現(xiàn)在集群上連接的節(jié)點(diǎn)l正在執(zhí)行Decommission，會(huì)顯示： lDecommission Status : Decommission in progress l執(zhí)行完畢后，會(huì)顯示： lDecommission Status : Decommissioned l再次編輯excludes文件l一旦完成了機(jī)器下架，它們就可以從excludes文件移除了l登

17、錄要下架的機(jī)器，會(huì)發(fā)現(xiàn)DataNode進(jìn)程沒(méi)有了，但是TaskTracker依然存在，需要手工處理一下高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !節(jié)點(diǎn)的安全機(jī)制l準(zhǔn)許進(jìn)入dfs.hosts/mapred.hostsl必須排除dfs.hosts.exclude/mapred.hosts.exclude高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !安全模式l在分布式文件系統(tǒng)啟動(dòng)的時(shí)候，開始的時(shí)候會(huì)有安全模式，當(dāng)分布式文件系統(tǒng)處于安全模式的情況下，文件系統(tǒng)中的內(nèi)容不允許修改也不允許刪除，直到安全模式結(jié) 束。安全模式主要是為了系統(tǒng)啟動(dòng)的時(shí)候檢查各個(gè)DataNode上數(shù)據(jù)塊的有效性，同

18、時(shí)根據(jù)策略必要的復(fù)制或者刪除部分?jǐn)?shù)據(jù)塊。運(yùn)行期通過(guò)命令也可以進(jìn)入 安全模式。在實(shí)踐過(guò)程中，系統(tǒng)啟動(dòng)的時(shí)候去修改和刪除文件也會(huì)有安全模式不允許修改的出錯(cuò)提示，只需要等待一會(huì)兒即可。lNameNode在啟動(dòng)的時(shí)候首先進(jìn)入安全模式，如果datanode丟失的block達(dá)到一定的比例（1- dfs.safemode.threshold.pct），則系統(tǒng)會(huì)一直處于安全模式狀態(tài)即只讀狀態(tài)。 dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS啟動(dòng)的時(shí)候，如果DataNode上報(bào)的block個(gè)數(shù)達(dá)到了 元數(shù)據(jù)記錄的block個(gè)數(shù)的0.999倍才可以離開安全模式，否則一直是這

19、種只讀模式。如果設(shè)為1則HDFS永遠(yuǎn)是處于SafeMode。lhadoop dfsadmin -safemode enter | leave | get |wait高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !集群監(jiān)控Webl查看MapReduce相關(guān)l l查看HDFS相關(guān)l #hadoop job -list#hadoop job -kill jobid 高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !HDFSReplication實(shí)驗(yàn)（一）l#hadoop fs -put ./2013-04-02.wlan.tar.gz /test2013-04-02.wlan.tar.gz

20、數(shù)據(jù)塊分布情況高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !MapReduce在集群下的工作機(jī)制JobClient的submit Job過(guò)程中.向JobTracker請(qǐng)求新的作業(yè)ID2.1檢查程序的輸入，輸出2,2計(jì)算輸入分片.復(fù)制作業(yè)資源到Jobtracker的文件系統(tǒng)中。.初始化作業(yè)。由作業(yè)調(diào)度器進(jìn)行調(diào)度。6.獲取輸入分片信息，為每個(gè)分片創(chuàng)建一個(gè)map任務(wù)以及reduce7.TaskTracker心跳JobTracker。以測(cè)存活。JobTracker依據(jù)“數(shù)據(jù)本地化”或”機(jī)架本地化“分配任務(wù)。8.1)Jar文件本地化。應(yīng)用程序所需文件復(fù)制到本地磁盤）解壓Jar文件）新建TaskRunner運(yùn)行任務(wù)。9.TaskRunner啟動(dòng)新JVM運(yùn)行。作業(yè)資源：作業(yè)Jar文件，配置文件，計(jì)算所得的輸入分片TaskTracker有固定的任務(wù)槽（slot）分配map,reduce任務(wù)，其數(shù)量取決于PU的核與內(nèi)存大小。高級(jí)軟件人才實(shí)作培訓(xùn)專家高級(jí)軟件人才實(shí)作培訓(xùn)專家! !執(zhí)行原來(lái)的DataCount程序l輸入源數(shù)據(jù)文件容量大小400-500MB。lReducer的個(gè)數(shù)設(shè)