Hadoop大數(shù)據(jù)處理技術(shù)基礎(chǔ)與實(shí)踐（第3版）課件 第2章-Hadoop 安裝與配置管理

第2章Hadoop安裝與配置管理1掌握集群安裝過程原理熟悉SSH免密碼登錄原理了解Hadoop的關(guān)鍵配置選項(xiàng)

掌握動(dòng)態(tài)管理節(jié)點(diǎn)方法學(xué)習(xí)目標(biāo)28/21/2024參考書38/21/2024準(zhǔn)備與配置安裝環(huán)境48/21/2024安裝虛擬機(jī)和Linux,虛擬機(jī)推薦使用vmware,PC可以使用workstation,服務(wù)器可以使用ESXi,在管理上比較方便。ESXi還可以通過拷貝鏡像文件復(fù)制虛擬機(jī),復(fù)制后自動(dòng)修改網(wǎng)卡號(hào)和ip,非?？旖荨Ｈ绻皇菍?shí)驗(yàn)用途,硬盤大約預(yù)留20-30G空間。以Centos為例,分區(qū)可以選擇默認(rèn),安裝選項(xiàng)選擇DesktopGnome,以及Server、ServerGUI即可。其它Linux,注意選項(xiàng)里應(yīng)包括ssh,vi(用于編輯配置文件),perl等(有些腳本里包含perl代碼需要解析)到Oracle官網(wǎng)下載javajdk安裝包,并且進(jìn)行安裝集群的概念58/21/2024計(jì)算機(jī)集群是一種計(jì)算機(jī)系統(tǒng)，

它通過一組松散集成的計(jì)算機(jī)軟件和/或硬件連接起來高度緊密地協(xié)作完成計(jì)算工作。集群系統(tǒng)中的單個(gè)計(jì)算機(jī)通常稱為節(jié)點(diǎn)，通常通過局域網(wǎng)連接。集群技術(shù)的特點(diǎn)：通過多臺(tái)計(jì)算機(jī)完成同一個(gè)工作。達(dá)到更高的效率兩機(jī)或多機(jī)內(nèi)容、工作過程等完全一樣。如果一臺(tái)死機(jī)，另一臺(tái)可以起作用三種運(yùn)行模式68/21/2024單機(jī)模式:安裝簡(jiǎn)單,幾乎不用作任何配置,但僅限于調(diào)試用途

偽分布模式:在單節(jié)點(diǎn)上同時(shí)啟動(dòng)namenode、datanode、jobtracker、tasktracker、secondarynamenode等5個(gè)進(jìn)程,模擬分布式運(yùn)行的各個(gè)節(jié)點(diǎn)完全分布式模式:正常的Hadoop集群,由多個(gè)各司其職的節(jié)點(diǎn)構(gòu)成機(jī)器分配78/21/2024機(jī)器名偽分布式模式的安裝和配置步驟88/21/2024

下載并解壓Hadoop安裝包

進(jìn)入Hadoop的解壓目錄,編輯conf/hadoop-env.sh文件(注意不同版本后配置文件的位置有所變化)編輯conf目錄下core-site.xml、hdfs-site.xml和mapred-site.xml三個(gè)核心配置文件配置ssh,生成密鑰,使到ssh可以免密碼連接localhost格式化HDFS使用bin/start-all.sh啟動(dòng)Hadoop使用bin/stop-all.sh關(guān)閉HadoopStep1:各服務(wù)器安裝JDK98/21/2024上傳jdk-6u24-linux-i586.bin（下載的jdk文件）到/home/#cd/home/#./jdk-6u24-linux-i586.bin#mvjdk-6u24-linux-i586.binjdk#vi/etc/profile，在文件尾部添加exportJAVA_HOME=/home/jdkexportPATH=$JAVA_HOME/bin:$PATH保存退出#source/etc/profile#java-versionStep2:各服務(wù)器的網(wǎng)絡(luò)設(shè)置108/21/2024修改機(jī)器名#hostname<機(jī)器名>#vi/etc/sysconfig/networkHOSTNAME=<機(jī)器名>保存退出，重啟修改/etc/hosts修改/etc/sysconfig/network-scripts/相應(yīng)的網(wǎng)絡(luò)配置關(guān)閉防火墻#serviceiptablesstopifcfg-eth0文件參考：DEVICE="eth0"BOOTPROTO="static"ONBOOT="yes"TYPE="Ethernet"IPADDR=40PREFIX=24GATEWAY=hosts文件參考：40hadoop041hadoop142hadoop243hadoop3C:\WINDOWS\system32\drivers\etc\hostsStep3:SSH免密碼登錄118/21/2024從namenode到本身及各datanode免密碼登錄在各機(jī)器上執(zhí)行#ssh-keygen-b1024-trsa一路回車在~/.ssh/生成文件id_rsaid_rsa.pub在namenode機(jī)器上執(zhí)行：#cd~/.ssh/#scpid_rsa.pubroot@<各datanode的IP>:/home在各datanode機(jī)器上執(zhí)行：#cd/home/#catid_rsa.pub>>/root/.ssh/authorized_keys

Hadoop運(yùn)行過程中需要管理遠(yuǎn)端Hadoop守護(hù)進(jìn)程，在Hadoop啟動(dòng)以后，NameNode是通過SSH（SecureShell）來無密碼登錄啟動(dòng)和停止各個(gè)DataNode上的各種守護(hù)進(jìn)程的同樣原理，DataNode上也能使用SSH無密碼登錄到NameNode。Step4:在namenode安裝Hadoop128/21/2024用軟件上傳hadoop文件到節(jié)點(diǎn)/home/hadoop目錄解壓文件#cd/home#tar-zxvfhadoop-*.tar.gz#mvhadoop-*hadoop修改/etc/profile#vi/etc/profileexportJAVA_HOME=/home/javaexportHADOOP_HOME=/home/hadoopexportPATH=$JAVA_HOME/bin:$PATH::$HADOOP_HOME/bin保存退出#source/etc/profileStep5:修改Hadoop的配置文件138/21/2024Step5:修改Hadoop的配置文件148/21/2024修改conf/hadoop-env.shexportJAVA_HOME=/home/javaexportHADOOP_HEAPSIZE=1024exportHADOOP_PID_DIR=/home/hadoop/pids保存退出配置conf/core-site.xml，增加以下內(nèi)容<property><name></name><value>hdfs://hadoop0:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/tmp</value></property>Step5:修改Hadoop的配置文件158/21/2024配置conf/hdfs-site.xml<property><name>dfs.replication</name><value>2</value></property><property><name>dfs.hosts.exclude</name><value>/home/hadoop/conf/excludes</value></property>配置conf/mapred-site.xml<property><name>mapred.job.tracker</name><value>hdfs://hadoop0:9001/</value></property>Step5:修改Hadoop的配置文件168/21/2024配置conf/mastersHadoop0配置conf/slaveshadoop1hadoop2hadoop3Step6:復(fù)制hadoop到各datanode并修改178/21/2024把hadoop0的hadoop目錄、jdk目錄、/etc/hosts、/etc/profile復(fù)制到hadoop1，hadoop2、hadoop3節(jié)點(diǎn)#cd$HADOOP_HOME/..#scp-rhadoophadoop1:/home#scp-rhadoophadoop2:/home#scp-rhadoophadoop3:/homeStep7:啟動(dòng)/停止Hadoop集群188/21/2024在hadoop0上第一次啟動(dòng)Hadoop,必須先格式化namenode#cd$HADOOP_HOME/bin#hadoopnamenode–format啟動(dòng)Hadoop#cd$HADOOP_HOME/bin#./start-all.sh如果啟動(dòng)過程，報(bào)錯(cuò)safemode相關(guān)的Exception執(zhí)行命令#hadoopdfsadmin-safemodeleave然后再啟動(dòng)Hadoop停止Hadoopcd$HADOOP_HOME/bin#./stop-all.sh終端查看集群狀態(tài)：#hadoopdfsadmin-report增加節(jié)點(diǎn)198/21/20241.修改新節(jié)點(diǎn)的/etc/hosts，增加namenode的主機(jī)名與IP2.修改namenode的配置文件conf/slaves添加新增節(jié)點(diǎn)的ip或host3.在新節(jié)點(diǎn)的機(jī)器上，啟動(dòng)服務(wù)#cd$HADOOP_HOME/bin#./hadoop-daemon.shstartdatanode#./hadoop-daemon.shstarttasktracker4.在NameNode節(jié)點(diǎn)執(zhí)行#hadoopdfsadmin-refreshNodes5.均衡block在新節(jié)點(diǎn)上執(zhí)行(如果是增加多個(gè)節(jié)點(diǎn)，只需在一個(gè)新節(jié)點(diǎn))#cd$HADOOP_HOME/bin#./start-balancer.sh注意事項(xiàng)：1.必須確保slave的firewall已關(guān)閉;2.確保新的slave的ip已經(jīng)添加到master及其他slaves的/etc/hosts中，反之也要將master及其他slave的ip添加到新的slave的/etc/hosts中刪除節(jié)點(diǎn)208/21/2024在hadoop0上修改conf/hdfs-site.xml文件<property>

<name>dfs.hosts.exclude</name>

<value>/usr/local/hadoop/conf/excludes</value></property>確定要下架的機(jī)器dfs.hosts.exclude定義的文件內(nèi)容為,每個(gè)需要下線的機(jī)器，一行一個(gè)。強(qiáng)制重新加載配置#hadoopdfsadmin-refreshNodes關(guān)閉節(jié)點(diǎn)

hadoopdfsadmin-report可以查看到現(xiàn)在集群上連接的節(jié)點(diǎn)正在執(zhí)行Decommission，會(huì)顯示：

DecommissionStatus:Decommissioninprogress執(zhí)行完畢后，會(huì)顯示：

DecommissionStatus:Decommissioned再次編輯excludes文件一旦完成了機(jī)器下架，它們就可以從excludes文件移除了登錄要下架的機(jī)器，會(huì)發(fā)現(xiàn)DataNode進(jìn)程沒有了，但是TaskTracker依然存在，需要手工處理一下安全模式218/21/2024在分布式文件系統(tǒng)啟動(dòng)的時(shí)候，開始的時(shí)候會(huì)有安全模式，當(dāng)分布式文件系統(tǒng)處于安全模式的情況下，文件系統(tǒng)中的內(nèi)容不允許修改也不允許刪除，直到安全模式結(jié)

束。安全模式主要是為了系統(tǒng)啟動(dòng)的時(shí)候檢查各個(gè)DataNode上數(shù)據(jù)塊的有效性，同時(shí)根據(jù)策略必要的復(fù)制或者刪除部分?jǐn)?shù)據(jù)塊。運(yùn)行期通過命令也可以進(jìn)入

安全模式。在實(shí)踐過程中，系統(tǒng)啟動(dòng)的時(shí)候去修改和刪除文件也會(huì)有安全模式不允許修改的出錯(cuò)提示，只需要等待一會(huì)兒即可。NameNode在啟動(dòng)的時(shí)候首先進(jìn)入安全模式，如果datanode丟失的block達(dá)到一定的比例（1-dfs.safemode.threshold.pct），則系統(tǒng)會(huì)一直處于安全模式狀態(tài)即只讀狀態(tài)。dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS啟動(dòng)的時(shí)候，如果DataNode上報(bào)的block個(gè)數(shù)達(dá)到了

元數(shù)據(jù)