第6章-Hadoop安裝和部署

1、第第6章章 Hadoop安裝和部署安裝和部署26.1 Hadoop安裝環(huán)境安裝環(huán)境v在Windows下安裝Hadoop 安裝Cygwin（一個在Windows平臺下模擬Linux環(huán)境的工具） 通過Cygwin安裝Hadoopv在Mac OS操作系統(tǒng)下安裝Hadoop 利用Mac OS下的Homebrew來自動下載安裝Hadoop Homebrew是一種軟件包管理器，類似于Ubuntu下的apt工具vLinux平臺下安裝Hadoopv都需要下載安裝JDK和SSH36.2 Hadoop實驗集群的部署結(jié)構(gòu)實驗集群的部署結(jié)構(gòu)v一個Hadoop集群由一個Master節(jié)點和多個Slave節(jié)點組成 從HDF

2、S角度，Hadoop集群的節(jié)點分為兩大類角色：NameNode和DataNode 從MapReduce角度，Hadoop集群的節(jié)點分為兩大類角色：JobTracker和TaskTracker Master節(jié)點配置NameNode和JobTracker的角色負(fù)責(zé)管理分布式數(shù)據(jù)和分解任務(wù)的執(zhí)行 Salve節(jié)點配置DataNode和TaskTracker的角色負(fù)責(zé)分布式數(shù)據(jù)存儲以及任務(wù)的執(zhí)行4 Hadoop部署結(jié)構(gòu)部署結(jié)構(gòu)56.3 Hadoop安裝部署安裝部署vHadoop的安裝模式 單機(jī)模式Hadoop默認(rèn)的安裝模式運行在本地文件系統(tǒng)上，不與其它節(jié)點交互不使用HDFS也不加載任何Hadoop的守護(hù)

3、進(jìn)程 偽分布模式在本地文件系統(tǒng)上運行，但它運行的是HDFSNameNode、DataNode、JobTracker和TaskTracker全部部署在一臺機(jī)器上，在一臺機(jī)器上模擬分布式部署 集群模式運行在多臺機(jī)器的HDFS上6Hadoop偽分布式安裝配置偽分布式安裝配置71、設(shè)置靜態(tài)、設(shè)置靜態(tài)IP地址地址IP地址設(shè)置完成后，重啟網(wǎng)卡：service network restart82、設(shè)置、設(shè)置DNS解析解析nHadoop 集群之間通過主機(jī)名互相訪問，因此需要設(shè)置DNS解析 設(shè)置主機(jī)名：編輯配置文件“/etc/sysconfig/network” 設(shè)置節(jié)點IP與主機(jī)名的映射：編輯文件“/etc/

4、hosts” 驗證配置：執(zhí)行“ping master”命令。93、關(guān)閉防火墻、關(guān)閉防火墻n在linux下防火墻被稱作“iptables”，使用命令查看服務(wù)iptables的狀態(tài)，驗證防火墻的關(guān)閉： service iptables statusn如果命令執(zhí)行后提示信息為“iptables:Firewall is not running”，說明防火墻已經(jīng)被關(guān)閉。104、設(shè)置、設(shè)置SSH自動登錄自動登錄vHadoop的進(jìn)程之間使用SSH方式通信v設(shè)置SSH的免密碼登錄方式后，用戶只在第一次登錄時輸入一次密碼，以后都可以免密碼直接登錄 使用rsa加密方式生成密鑰：ssh -keygen -t rsa

5、 生成授權(quán)文件：進(jìn)入密鑰目錄/.ssh，執(zhí)行命令生成授權(quán)文件（authorized_keys）： cp id_rsa.pub authorized_keys 驗證SSH無密碼登錄：ssh localhost115、安裝、安裝JDKvHadoop的編譯和MapReduce程序的運行都需要使用JDK復(fù)制、解壓JDK文件，重命名解壓縮目錄。把jdk 的命令配置到環(huán)境變量中：配置文件“/etc/profile” export JAVA_HOME=/usr/local/jdk export PATH=.:$PATH:$JAVA_HOME/bin使文件中的設(shè)置生效：source /etc/profile驗

6、證安裝是否成功：“java -version”命令126、安裝、安裝Hadoopv復(fù)制、解壓Hadoop安裝包。v重命名解壓縮目錄。v設(shè)置環(huán)境變量，配置文件“/etc/profile”： export HADOOP_HOME=/usr/local/hadoop export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATHv使文件中的設(shè)置生效：source /etc/profile137、修改、修改Hadoop配置文件配置文件v 環(huán)境變量腳本文件hadoop-env.sh，設(shè)置jdk的安裝位置v 核心配置文件core-site.xml，Hadoop運行臨

7、時文件的主目錄，設(shè)置HDFS的訪問路徑v HDFS配置文件hdfs-site.xml，設(shè)置文件塊（Block）的存儲副本個數(shù)v MapReduce配置文件mapred-site.xml，設(shè)置JobTracker的訪問路徑148、使用、使用Hadoopv 對Hadoop進(jìn)行格式化： hadoop namenode -formatv 啟動Hadoop：start-all.sh。啟動5個進(jìn)程，分別是namenode、datanode、secondarynamenode、jobtracker、tasktracker。v 使用jdk的命令“jps”查看進(jìn)程v 關(guān)閉Hadoop：stop-all.sh。命

8、令執(zhí)行，逐一停止以上5個進(jìn)程v如果要分別啟動各個進(jìn)程，可以使用下面的命令： hadoop-daemon.sh start namenode hadoop-daemon.sh start datanode hadoop-daemon.sh start secondarynamenode hadoop-daemon.sh start jobtracker hadoop-daemon.sh start tasktracker15Hadoop集群式安裝配置集群式安裝配置161、各節(jié)點基本配置、各節(jié)點基本配置v 靜態(tài)IP地址設(shè)置：設(shè)置主節(jié)點master和從節(jié)點slave的靜態(tài)IP地址。v 設(shè)置主機(jī)名：分

9、別在主節(jié)點從節(jié)點上編輯配置文件/etc/sysconfig/network，改變節(jié)點的主機(jī)名稱（HOSTNAME）。v 設(shè)置節(jié)點IP與主機(jī)名的映射：分別在master和slave節(jié)點上編輯文件“/etc/hosts”，設(shè)置所有節(jié)點IP與主機(jī)名的映射。v 關(guān)閉各節(jié)點的防火墻。v 分別各節(jié)點上安裝JDK和Hadoop，并配置環(huán)境變量。172、集群間、集群間SSH免密碼登錄免密碼登錄v NameNode是通過SSH來啟動和停止各個節(jié)點上的各種守護(hù)進(jìn)程的，需要在集群的節(jié)點之間配置SSH免密碼登錄方式。v 在master節(jié)點上依次執(zhí)行下列命令，使master節(jié)點的SSH可以免密碼登錄自己的主機(jī)名： ss

10、h -keygen -t rsa /使用rsa 加密方式生成密鑰，密鑰保存在/.ssh目錄下 cp id_rsa.pub authorized_keys /在/.ssh目錄下執(zhí)行這條命令，用于生成授權(quán)文件 ssh localhost /驗證SSH 無密碼登錄，第一次執(zhí)行時需要確認(rèn)，后面再次登錄不需要確認(rèn)v 在slave節(jié)點上執(zhí)行命令ssh -keygen -t rsa生成自己的公鑰和密鑰。182、集群間、集群間SSH免密碼登錄免密碼登錄v 在master節(jié)點上執(zhí)行以下命令，將授權(quán)文件拷貝到slave節(jié)點的/.ssh目錄下： scp /root/.ssh/ authorized_keys roo

11、tslave:/root/.ssh/v 在slave節(jié)點上執(zhí)行以下命令，將slave節(jié)點的公鑰文件內(nèi)容添加到授權(quán)文件中，并將授權(quán)文件拷貝到master節(jié)點： cat id_rsa.pub authorized_keys scp /root/.ssh/authorized_keys rootmaster:/root/.ssh/v 驗證SSH無密碼登錄： 在master節(jié)點登錄slave：ssh master 在slave節(jié)點登錄master：ssh slave193、配置集群文件、配置集群文件v 配置集群文件 分別在各個節(jié)點上配置Hadoop文件，配置的文件包括：hadoop-env.sh、ma

12、sters、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml，這些文件都存放在$HADOOP_HOME/conf 目錄下。 將masters文件中的內(nèi)容localhost改為master；將slaves文件中的內(nèi)容localhost改為slave 其它文件的配置與偽分布式Hadoop安裝過程中的配置內(nèi)容相同204、啟動、啟動Hadoopv 在master節(jié)點對Hadoop進(jìn)行格式化 在master節(jié)點上執(zhí)行start-all.sh命令啟動Hadoop 分別在各個節(jié)點上執(zhí)行jps命令查看進(jìn)程 在master節(jié)點上執(zhí)行jps命令，可以看到有Nam

13、eNode、JobTracker和SecondaryNameNode三個進(jìn)程啟動 在slave節(jié)點上執(zhí)行jps命令，可以看到有DataNode和TaskTracker兩個進(jìn)程啟動。21第一個第一個MapReduce測試程序測試程序v 在HDFS上創(chuàng)建輸入目錄input： hadoop fs -mkdir inputv 將本地目錄下的文件上傳到HDFS的輸入目錄input中，作為測試的輸入文件： hadoop fs -put /user/local/hadoop/README.txt /user/root/inputv 運行wordcount程序： hadoop jar hadoop-examp

14、les-1.1.2.jar wordcount input output 該程序?qū)斎胛募EADME.txt中的單詞進(jìn)行計數(shù)v 查看程序執(zhí)行結(jié)果。 hadoop fs -cat user/root/output/part-r-00000 命令執(zhí)行后顯示的是wordcount程序的執(zhí)行結(jié)果，文件的每行內(nèi)容包含所識別出的單詞及其出現(xiàn)次數(shù)226.4 Hadoop集群異常問題及解決方法集群異常問題及解決方法v 安全模式導(dǎo)致的錯誤 分布式文件系統(tǒng)在剛啟動的時候會處于安全模式，主要是為了系統(tǒng)啟動的時候檢查各個DataNode上數(shù)據(jù)塊的有效性 Hadoop處于安全模式狀態(tài)時文件系統(tǒng)中的內(nèi)容不允許修改也不允許刪除 安全模式是Hadoop集群的一種保護(hù)機(jī)制，在啟動時最好等待集群自動退出，然后再進(jìn)行文件操作v 多次格式化導(dǎo)致的錯誤 NameNode每次格式化會重新創(chuàng)建一個namenodeId，導(dǎo)致和.dir參數(shù)配置的目錄中的ID不一致。 每次格式化前，先在各個slave節(jié)點上清空dfs.data.dir參數(shù)配置的目錄中的內(nèi)容 通常Hadoop只需在第一次啟動的時候格式化236.4 Hadoop集群異常問題及解決方法集群異常問題及解決方法v 防火墻未關(guān)閉導(dǎo)致的錯誤： 防火墻未關(guān)閉導(dǎo)致節(jié)點DataNode 與節(jié)點NameNod