播客hadoop課程詳細筆記--第1天

3Hadoop的安裝與偽分布模式安adoop的安裝分為本地模式、偽分布模式、集群模式。本地模式是運行在本地，只負計本偽是在擬署學習調(diào)試。集群模式是在多個機器上配置haoop集群的安裝。解壓縮使用WinSCP把壓縮包軟件hadoop-1.10.24.tar.gz從宿主機移動到linux 下，如圖3-13- hadoop-1.0.4 解壓縮文件，并重命名為hadoop，方便使用。重命名后這時，hadoop hadoop-1.0.4 設置環(huán)境變 HADOOP_HOME，修改文件“/etc/profile”，如下圖3-請讀者與jdk設置時配置文件對照。這里我們設置了一個別名cdha，可以快速轉(zhuǎn)到hadoop的 修改環(huán)境變量后，記得執(zhí)行source命令哦。 3-我們關注 和 修改配置文hadoop配置文件默認是本地模式，我們修改四個配置文件，這些文件都位于 下第一個是hadoop環(huán)境變量文件hadoop-env.sh。保存并關閉。這里設置的是JAVA_HOME，注意去二二個是 第三個是hdfs配置文件第四個是MapReduce配置文件hadoop格式化文件系hdfs是文件系統(tǒng)以在第一次使用之前需要進行格式化。執(zhí)行命$HADOOP_HOME/bin/hadoopnamenode–format3-3-注意：只在第一次啟動的時候格式化，不要每次啟動都格式化。理解為我們新買了塊移動硬盤，使用之前總要格式化硬盤。 格式化操作很少有出現(xiàn)失敗的情況。如果真出現(xiàn)了，請檢查配置是否正確啟格式化完成后，開始啟動hadoop啟動hadoop令都在$HADOOP_HOME/bin/下，下面的所有命令都不再帶有完整路徑3-執(zhí)行start-all.sh啟動hadoop，觀察控制臺的輸出，見圖3-5,可以看到正在啟動進程，分別是namenode、datanode、secondarynamenode、jobtracker、tasktracker，一共5個，待執(zhí)行完畢后，并不意味著這5個進程成功啟動，上面僅僅表示系統(tǒng)正在啟動進程而已。我們使用jdk令jps查看進程是否已經(jīng)正確啟動。執(zhí)行以下jps，如果看到了這5個進程，見圖3-6,說明hadoop真的啟動成功了。如果缺少一個或者多個，那就進入到“Hadoop3-關閉hadoop令是stop-all.sh第二種，分別啟動HDFS和3-執(zhí)行命令start-dfs.sh，是單獨啟動hdfs,見圖3-7。執(zhí)行完該命令后，通過jps能夠看到NameNode、DataNode、SecondaryNameNode三個進程啟動了，該命令適合于只執(zhí)行hdfs不使用MapReduce做計算的場景。關閉令就是stop-dfs.sh了。3-執(zhí)行命令start-mapred.sh，可以單獨啟動MapReduce的兩個進程。關閉令就是stop-mapred.sh了。當然，也可以先啟MapReduce，再啟HDFS。這HDFS和MapReduce第三種，分別啟動各個進程14821[root@book0bin]#hadoop-daemon.shstartnamenode[root@book0bin]#hadoop-daemon.shstartdatanode[root@book0bin]#hadoop-daemon.shstartsecondarynamenode[root@book0bin]#hadoop-daemon.shstartjobtracker[root@book0bin]#hadoop-daemon.shstarttasktracker[root@book0bin]#jps執(zhí)行令是“hadoop-daemon.shstart 運行簡單的MapReduce計在$HADOOP_HOME下有個jarhadoop-example-1.1.2.jar3-9,這里面含有框架提供的很多例子.我們現(xiàn)在學下如何運行其中的例子吧.3-執(zhí)行如下命可以看到圖3-10的輸出信息,可以看到18個輸出信息,都是內(nèi)置的例子程序.我們選擇最后一個”wordcount”來運行,該程序的說明在最后,是統(tǒng)計文件中單詞的出現(xiàn)次數(shù)的.3-3-如何執(zhí)行這個程序哪?見圖3-11，如3-wordcount個文件到hdfs中,見圖3-12.那么輸入文件的路徑就是/README.txt了。3-這時候我們再運行wordcount例子，命令如w w 等到命令執(zhí)行結束，運行的結果就會存在輸出路徑的文件夾中，文件名稱叫做“part-r-00000”，我們使用命令查看輸出內(nèi)容，如 3-3-3-如果讀者能夠成功運行，那么恭喜你！你看到的就是hadoop的MapReduce做的事情。通過一個簡單令，就可以把文件中的單詞統(tǒng)計一遍出現(xiàn)次數(shù)，還是很有意思的。參加工作分布模式安裝集群的架構和拓撲搭建集群之前，我們先規(guī)劃一下集群各節(jié)點的功能，如下圖主機用描64位rhel6,jdk6InC6002*(XeonE5-26202GHz)/64GB/12TB64位rhel6,jdk6InC6002*(XeonE5-26202GHz)/64GB/12TB3-讀者在練習的時候，對于主機名和機器ip可以自己設定。不過，需要注意的是用途一定要保持一致，方便下面的學習。安裝步1）是否永久關靜態(tài)ip是否設主機名稱是否設/etc/hosts是否添加了所有節(jié)點的ip與主機名映以上檢查如果讀者沒有通過，請參面的配置說明進行集群間SSH免登 搭建hadoop集群，需要保證各個節(jié)點之間必須是ssh免登錄的。那么，我們在節(jié)點hadoop0執(zhí)行，以 在節(jié)點hadoop1中執(zhí)行以下命 這樣，就可以實現(xiàn)兩個節(jié)點通過ssh互相登錄時不需要了配置把節(jié)點41的hostname修改為在節(jié)點hadoop0的/etc/hosts文件中新增以下兩行 在其他節(jié)點安裝jdksshhadoop1在節(jié)點hadoop0執(zhí)行命sshhadoop1 - 第一條命令的目的是把jdk文件夾到節(jié)點hadoop1的/usr/local/下第二條命令的目的是把hadoop文件夾到節(jié)點hadoop1的/usr/local/下；第三條命令的目的是把/etc/profile文件到節(jié)點hadoop1的/etc/下；第四條命令的目的是把/etc/hosts文件到節(jié)點hadoop1的/etc/下；配置集群文件hadoop的配置文件slaves，位于 下，里面著datanode和修改后，意味著在節(jié)點hadoop1運行datanode和tasktracker節(jié)點格式化文件系統(tǒng)hadoop以使用。hadoop文件系統(tǒng)也是如此。在節(jié)點hadoop0中執(zhí)行命令：hadoopnamenode 格式化整個hadoop集群的文件系統(tǒng)。啟動集群在節(jié)點hadoop0中執(zhí)行命令：start-驗在節(jié)點hadoop0中執(zhí)行jps，可以觀察到NameNode、SecondaryNameNode、三個java進程 的常見啟動錯hadoopjps命令查看啟動的節(jié)點是否正確，然后再去設置主機名錯誤看日志，會發(fā)現(xiàn)下面的錯 Invalidhostnameforserver:master這是由于主機名設置錯誤造成的，請檢查配置文件中關于主機名的設置，是否正確。首先使用otname命令查看主機名是否正確；最后使用more/etc/hosts命令查看ip與主機名的映射是否設置。ip看日志，發(fā)現(xiàn)下面的ERRORERRORnode.NameNode:.BindException:Problembindingtobook0/00:9000:Cannotassignrequestedaddress使用more/etc/hosts命令查看ip與主機名的映射是否設置。 不能帶有下劃線，不能數(shù)字開頭 含有下劃線，也會造成啟動失敗動，請查看對應的log日志。日志的默認 以下是作者的日志截文件命名是有規(guī)律的，“hadoop-[當前用戶名]-[節(jié)點名稱]-[主機名].log”我們只查 結尾的文件。如果是namenode節(jié)點沒有啟動，查看hadoop-root-namenode-book0.log文件多次執(zhí)行hadoop格式化現(xiàn)象：在Hadoop-root-datanode-master.log中有如下錯誤ERRORERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:java.io.IOException:patiblenamespaceIDsin原因:每次namenodeformat會重新創(chuàng)建一個namenodeId,而dfs.data.dir參數(shù)配置的目錄中包含的是上次.dir數(shù)配置的id一致。namenodeformat清空了namenode下的數(shù)據(jù),但是沒有清空datanode下的數(shù)據(jù),導致啟動時失敗,所要做的就是fotmat,清dfs.data.dir數(shù)配置的。重新格hdfs的沒有關閉從本地往hdfs文件系統(tǒng)上傳文件，出現(xiàn)如下錯誤這個問題最有可能就是沒有關閉，導致節(jié)點DataNode與節(jié)點NameNode通信失敗?？梢允褂胹erviceiptablesstatus命令關閉。這樣關閉后，重啟操作系統(tǒng)時，有可能重啟，可以關閉自動重能。使chkconfigiptablesofforg.apache