hadoop2偽分布式搭建經(jīng)驗分享

1、本教程適合于在 CentOS 6.x 系統(tǒng)中安裝原生 Hadoop 2，適用于Hadoop 2.7.1, Hadoop 2.6.0 等版本，主要參考了官方安裝教程，步驟詳細，輔以適當(dāng)說明，相信按照步驟來，都能順利在 CentOS 中安裝并運行 Hadoop。環(huán)境本教程使用 CentOS 6.5 64位 作為系統(tǒng)環(huán)境，安裝系統(tǒng)在另一個文件內(nèi)。本教程基于原生 Hadoop 2，在 Hadoop 2.6.0 (stable) 版本下驗證通過，可適合任何 Hadoop 2.x.y 版本，例如 Hadoop 2.7.1, Hadoop 2.4.1等。Hadoop版

2、本Hadoop 有兩個主要版本，Hadoop 1.x.y 和 Hadoop 2.x.y 系列，比較老的教材上用的可能是 0.20 這樣的版本。Hadoop 2.x 版本在不斷更新，本教程均可適用。如果需安裝 0.20，1.2.1這樣的版本，本教程也可以作為參考，主要差別在于配置項，配置請參考官網(wǎng)教程或其他教程。注意：由于版本有很多，低版本的限制比較多，還有32位和64的問題，如果裝的不一致，后續(xù)會有很多問題，找好最好的搭配很關(guān)鍵。裝好了 CentOS 系統(tǒng)之后，在安裝 Hadoop 前還需要做一些必備工作。創(chuàng)建hadoop用戶如果你安裝 CentOS 的時候不是用的 “hadoop” 用戶，那

3、么需要增加一個名為 hadoop 的用戶。首先點擊左上角的 “應(yīng)用程序” -> “系統(tǒng)工具” -> “終端”，首先在終端中輸入 su ，按回車，輸入 root 密碼以 root 用戶登錄，接著執(zhí)行命令創(chuàng)建新用戶 hadoop:su # 上述提到的以 root 用戶登錄useradd -m hadoop -s /bin/bash # 創(chuàng)建新用戶hadoopShell 命令如下圖所示，這條命令創(chuàng)建了可以登陸的 hadoop 用戶，并使用 /bin/bash 作為shell。CentOS創(chuàng)建hadoop用戶接著使用如下命令修改密碼，按提示輸入兩次密碼，可簡單的設(shè)為 “

4、hadoop”（密碼隨意指定，若提示“無效的密碼，過于簡單”則再次輸入確認就行）:passwd hadoopShell 命令可為 hadoop 用戶增加管理員權(quán)限，方便部署，避免一些對新手來說比較棘手的權(quán)限問題，執(zhí)行：visudoShell 命令如下圖，找到 root ALL=(ALL) ALL 這行（應(yīng)該在第98行，可以先按一下鍵盤上的 ESC 鍵，然后輸入 :98 (按一下冒號，接著輸入98，再按回車鍵)，可以直接跳到第98行 ），然后在這行下面增加一行內(nèi)容：hadoop ALL=(ALL) ALL （當(dāng)中的間隔為tab

5、），如下圖所示：為hadoop增加sudo權(quán)限添加好內(nèi)容后，先按一下鍵盤上的 ESC 鍵，然后輸入 :wq (輸入冒號還有wq，這是vi/vim編輯器的保存方法)，再按回車鍵保存退出就可以了。最后注銷當(dāng)前用戶(點擊屏幕右上角的用戶名，選擇退出->注銷)，在登陸界面使用剛創(chuàng)建的 hadoop 用戶進行登陸。（如果已經(jīng)是 hadoop 用戶，且在終端中使用 su 登錄了 root 用戶，那么需要執(zhí)行 exit 退出 root 用戶狀態(tài)）準備工作使用 hadoop 用戶登錄后，還需要安裝幾個軟件才能安裝 Hadoo

6、p。CentOS 使用 yum 來安裝軟件，需要聯(lián)網(wǎng)環(huán)境，首先應(yīng)檢查一下是否連上了網(wǎng)絡(luò)。如下圖所示，桌面右上角的網(wǎng)絡(luò)圖標若顯示紅叉，則表明還未聯(lián)網(wǎng)，應(yīng)點擊選擇可用網(wǎng)絡(luò)。檢查是否聯(lián)網(wǎng)連接網(wǎng)絡(luò)后，需要安裝 SSH 和 Java。安裝SSH、配置SSH無密碼登陸集群、單節(jié)點模式都需要用到 SSH 登陸（類似于遠程登陸，你可以登錄某臺 Linux 主機，并且在上面運行命令），一般情況下，CentOS 默認已安裝了 SSH client、SSH server，打開終端執(zhí)行如下命令進行檢驗：rpm -qa | grep sshShell 命令如果返回的結(jié)果如下圖所示，包含了 SSH client 跟 SS

7、H server，則不需要再安裝。檢查是否安裝了SSH若需要安裝，則可以通過 yum 進行安裝（安裝過程中會讓你輸入 y/N，輸入 y 即可）：sudo yum install openssh-clientssudo yum install openssh-serverShell 命令接著執(zhí)行如下命令測試一下 SSH 是否可用：ssh localhostShell 命令此時會有如下提示(SSH首次登陸提示)，輸入 yes 。然后按提示輸入密碼 hadoop，這樣就登陸到本機了。測試SSH是否可用但這樣登陸是需要每次輸入密碼的，我們需要配置成SSH無密碼登陸比較方便。首先輸入 exit

8、 退出剛才的 ssh，就回到了我們原先的終端窗口，然后利用 ssh-keygen 生成密鑰，并將密鑰加入到授權(quán)中：exit # 退出剛才的 ssh localhostcd /.ssh/ # 若沒有該目錄，請先執(zhí)行一次ssh localhostssh-keygen -t rsa # 會有提示，都按回車就可以cat id_rsa.pub >> authorized_keys # 加入授權(quán)chmod 600 ./authorized_keys # 修改文件權(quán)限Shell 命令的含義在 Linux 系統(tǒng)中， 代表的是用戶的主文件夾，即 “/home/用戶名” 這個目錄，如你的用戶

9、名為 hadoop，則 就代表 “/home/hadoop/”。 此外，命令中的 # 后面的文字是注釋。此時再用 ssh localhost 命令，無需輸入密碼就可以直接登陸了，如下圖所示。SSH無密碼登錄安裝Java環(huán)境同樣將jdk-8u66-windows-x64.rar解壓到/usr/local下，并將解壓后目錄改名為jdk。接著需要配置一下 JAVA_HOME 環(huán)境變量，為方便，我們在 /.bashrc 中進行設(shè)置（擴展閱讀: 設(shè)置Linux環(huán)境變量的方法和區(qū)別）：vim /.bashrcShell 命令在文件最后面添加如下單獨一行（指向 JDK 的安裝位

10、置），并保存：export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdkShell如下圖所示：設(shè)置JAVA_HOME環(huán)境變量接著還需要讓該環(huán)境變量生效，執(zhí)行如下代碼：source /.bashrc # 使變量設(shè)置生效Shell 命令設(shè)置好后我們來檢驗一下是否設(shè)置正確：echo $JAVA_HOME # 檢驗變量值java -version$JAVA_HOME/bin/java -version # 與直接執(zhí)行 java -version 一樣Shell 命令如果設(shè)置正確的話，$JAVA_HOME/bin/java -version 會輸出 jav

11、a 的版本信息，且和 java -version 的輸出結(jié)果一樣，如下圖所示：成功設(shè)置JAVA_HOME環(huán)境變量這樣，Hadoop 所需的 Java 運行環(huán)境就安裝好了。安裝 Hadoop 2Hadoop 2 可以通過  2.6.0 版本，下載時請下載 hadoop-2.x.y.tar.gz 這個格式的文件，這是編譯好的，另一個包含 src 的則是 Hadoop 源代碼，需要進行編譯才可使用。下載時強烈建議也下載 hadoop-2.x.y.tar.gz.mds 這個文件，該文件包含了檢驗值可用于檢查 hadoop-2.x.y

12、.tar.gz 的完整性，否則若文件發(fā)生了損壞或下載不完整，Hadoop 將無法正常運行。本文涉及的文件均通過瀏覽器下載，默認保存在 “下載” 目錄中（若不是請自行更改 tar 命令的相應(yīng)目錄）。另外，如果你用的不是 2.6.0 版本，則將所有命令中出現(xiàn)的 2.6.0 更改為你所使用的版本。1. cat /下載/hadoop-2.6.0.tar.gz.mds | grep 'MD5' # 列出md5檢驗值2. # head -n 6 /下載/hadoop-2.7.1.tar.gz.mds # 2.7.1版本格式變了，可以用這種方式輸出3. md5sum /下載/hadoop-2

13、.6.0.tar.gz | tr "a-z" "A-Z" # 計算md5值，并轉(zhuǎn)化為大寫，方便比較Shell 命令若文件不完整則這兩個值一般差別很大，可以簡單對比下前幾個字符跟后幾個字符是否相等即可，如下圖所示，如果兩個值不一樣，請務(wù)必重新下載。檢驗文件完整性我們選擇將 Hadoop 安裝至 /usr/local/ 中：1. sudo tar -zxf /下載/hadoop-2.6.0.tar.gz -C /usr/local # 解壓到/usr/local中2. cd /usr/local/3. sudo mv ./hadoop-2.6.0/ ./ha

14、doop # 將文件夾名改為hadoop4. sudo chown -R hadoop:hadoop ./hadoop # 修改文件權(quán)限Shell 命令Hadoop 解壓后即可使用。輸入如下命令來檢查 Hadoop 是否可用，成功則會顯示 Hadoop 版本信息：1. cd /usr/local/hadoop2. ./bin/hadoop versionShell 命令相對路徑與絕對路徑的區(qū)別請務(wù)必注意命令中的相對路徑與絕對路徑，本文后續(xù)出現(xiàn)的 ./bin/.，./etc/. 等包含 ./ 的路徑，均為相對路徑，以 /usr/local/hadoop 為當(dāng)前目錄。例如在 /

15、usr/local/hadoop 目錄中執(zhí)行 ./bin/hadoop version 等同于執(zhí)行 /usr/local/hadoop/bin/hadoop version?？梢詫⑾鄬β窂礁某山^對路徑來執(zhí)行，但如果你是在主文件夾 中執(zhí)行 ./bin/hadoop version，執(zhí)行的會是 /home/hadoop/bin/hadoop version，就不是我們所想要的了。Hadoop單機配置(非分布式)Hadoop 默認模式為非分布式模式，無需進行其他配置即可運行。非分布式即單 Java 進程，方便進行調(diào)試。現(xiàn)在我們可以執(zhí)行例子來感受下 H

16、adoop 的運行。Hadoop 附帶了豐富的例子（運行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。在此我們選擇運行 grep 例子，我們將 input 文件夾中的所有文件作為輸入，篩選當(dāng)中符合正則表達式 dfsa-z.+ 的單詞并統(tǒng)計出現(xiàn)的次數(shù)，最后輸出結(jié)果到 output 文件夾中。1. cd /usr/local/hadoop2. mkdir ./i

17、nput3. cp ./etc/hadoop/*.xml ./input # 將配置文件作為輸入文件4. ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfsa-z.+'5. cat ./output/* # 查看運行結(jié)果Shell 命令若運行出錯，如出現(xiàn)如下圖提示：運行Hadoop實例時可能會報錯若出現(xiàn)提示 “WARN util.NativeCodeLoader: Unable to load native-hadoop libr

18、ary for your platform using builtin-java classes where applicable”，該 WARN 提示可以忽略，不會影響 Hadoop 正常運行（可通過編譯 Hadoop 源碼解決，解決方法請自行搜索）。若出現(xiàn)提示 “INFO metrics.MetricsUtil: Unable to obtain hostName .UnknowHostException”，這需要執(zhí)行如下命令修改 hosts 文件，為你的主機名增加IP映射：1. sudo vim /etc/hostsShell 命令主機名在終端窗口標題里可以看到，或執(zhí)行命令 h

19、ostname 查看，如下圖所示，在最后面增加一行 “ dblab”：(你的IP地址+你的主機名)設(shè)置主機名的IP映射保存文件后，重新運行 hadoop 實例，若執(zhí)行成功的話會輸出很多作業(yè)的相關(guān)信息，最后的輸出信息如下圖所示。作業(yè)的結(jié)果會輸出在指定的 output 文件夾中，通過命令 cat ./output/* 查看結(jié)果，符合正則的單詞 dfsadmin 出現(xiàn)了1次：Hadoop例子輸出結(jié)果注意，Hadoop 默認不會覆蓋結(jié)果文件，因此再次運行上面實例會提示出錯，需要先將 ./output 刪除。1. rm -r ./out

20、putShell 命令Hadoop偽分布式配置機名增加IP映射：sudo vim /etc/hostsShell 命令主機名在終端窗口標題里可以看到，或執(zhí)行命令 hostname 查看，如下圖所示，在最后面增加一行：你的IP地址+你的主機名設(shè)置主機名的IP映射Hadoop 可以在單節(jié)點上以偽分布式的方式運行，Hadoop 進程以分離的 Java 進程來運行，節(jié)點既作為 NameNode 也作為 DataNode，同時，讀取的是 HDFS 中的文件。在設(shè)置 Hadoop 偽分布式配置前，我們還需要設(shè)置 HADOOP 環(huán)境變量，執(zhí)行如下命令在 /.bashrc 中設(shè)置：1. v

21、im /.bashrcShell 命令在文件最后面增加如下內(nèi)容：# Hadoop Environment Variablesexport HADOOP_HOME=/usr/local/hadoopexport HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NA

22、TIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binShell保存后，不要忘記執(zhí)行如下命令使配置生效：source /.bashrcShell 命令這些變量在啟動 Hadoop 進程時需要用到，不設(shè)置的話可能會報錯（這些變量也可以通過修改 ./etc/hadoop/hadoop-env.sh 實現(xiàn)）。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，偽分布式需要修改2個配置文件 core-site.xml&

23、#160;和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每個配置以聲明 property 的 name 和 value 的方式來實現(xiàn)。修改配置文件 core-site.xml (通過 gedit 編輯會比較方便: vim ./etc/hadoop/core-site.xml)，將當(dāng)中的<configuration></configuration>XML修改為下面配置：1. <configuration>2. <property>3. <name>hadoop

24、.tmp.dir</name>4. <value>file:/usr/local/hadoop/tmp</value>5. <description>Abase for other temporary directories.</description>6. </property>7. <property>8. <name>fs.defaultFS</name>9. <value>hdfs:/localhost:9000</value>10. </prope

25、rty>11. </configuration>XML同樣的，修改配置文件 hdfs-site.xml：1. <configuration>2. <property>3. <name>dfs.replication</name>4. <value>1</value>5. </property>6. <property>7. <name>.dir</name>8. <value>file:/usr/loc

26、al/hadoop/tmp/dfs/name</value>9. </property>10. <property>11. <name>dfs.datanode.data.dir</name>12. <value>file:/usr/local/hadoop/tmp/dfs/data</value>13. </property>14. </configuration>XML修改配置文件：master（在同一目錄下）將內(nèi)部的localhost改成主機名。這一步很關(guān)鍵，找master的時候就

27、直接找主機了。配置完成后，執(zhí)行 NameNode 的格式化:./bin/hdfs namenode -formatShell 命令成功的話，會看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若為 “Exitting with status 1” 則是出錯。執(zhí)行NameNode格式化接著開啟 NaneNode 和 DataNode 守護進程：./sbin/start-dfs.shShell 命令若出現(xiàn)如下 SSH 的提示 “Are you sure you want to continu

28、e connecting”，輸入 yes 即可。首次啟動Hadoop時的SSH提示啟動時可能會有 WARN 提示 “WARN util.NativeCodeLoader” 如前面提到的，這個提示不會影響正常使用。啟動完成后，可以通過命令 jps 來判斷是否成功啟動，若成功啟動則會列出如下進程: “NameNode”、”DataNode”和SecondaryNameNode（如果 SecondaryNameNode 沒有啟動，請運行 sbin/stop-dfs.sh 關(guān)閉進程，然后再次嘗試啟動嘗試）。如果沒有 NameNode 或 DataNode ，那就是配置不成功，請仔細

29、檢查之前步驟，或通過查看啟動日志排查原因。通過jps查看啟動的Hadoop進程通過查看啟動日志分析啟動失敗原因有時 Hadoop 無法正確啟動，如 NameNode 進程沒有順利啟動，這時可以查看啟動日志來排查原因，注意幾點：· 啟動時會提示形如 “dblab: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-dblab.out”，其中 dblab 對應(yīng)你的主機名，但啟動的日志信息是記錄在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-

30、dblab.log 中，所以應(yīng)該查看這個后綴為 .log 的文件；· 每一次的啟動日志都是追加在日志文件之后，所以得拉到最后面看，看下記錄的時間就知道了。· 一般出錯的提示在最后面，也就是寫著 Fatal、Error 或者 Java Exception 的地方。· 可以在網(wǎng)上搜索一下出錯信息，看能否找到一些相關(guān)的解決方法。成功啟動后，可以訪問 Web 界面 http:/localhost:50070 查看 NameNode 和 Datanode 信息，還可以在線查看 HDFS 中的文件。Hadopp的Web界面運行Hadoo

31、p偽分布式實例上面的單機模式，grep 例子讀取的是本地數(shù)據(jù)，偽分布式讀取的則是 HDFS 上的數(shù)據(jù)。要使用 HDFS，首先需要在 HDFS 中創(chuàng)建用戶目錄：./bin/hdfs dfs -mkdir -p /user/hadoopShell 命令接著將 ./etc/hadoop 中的 xml 文件作為輸入文件復(fù)制到分布式文件系統(tǒng)中，即將 /usr/local/hadoop/etc/hadoop 復(fù)制到分布式文件系統(tǒng)中的 /user/hadoop/input 中。我們使用的是 hadoop 用戶，并且已創(chuàng)建相應(yīng)的用戶目錄 /user/hadoop ，因此在命令中就可以使用相對路徑如 input

32、，其對應(yīng)的絕對路徑就是 /user/hadoop/input:./bin/hdfs dfs -mkdir input./bin/hdfs dfs -put ./etc/hadoop/*.xml inputShell 命令復(fù)制完成后，可以通過如下命令查看 HDFS 中的文件列表：./bin/hdfs dfs -ls inputShell 命令偽分布式運行 MapReduce 作業(yè)的方式跟單機模式相同，區(qū)別在于偽分布式讀取的是HDFS中的文件（可以將單機步驟中創(chuàng)建的本地 input 文件夾，輸出結(jié)果 output 文件夾都刪掉來驗證這一點）。./bin/hadoop jar ./share/had

33、oop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfsa-z.+'Shell 命令查看運行結(jié)果的命令（查看的是位于 HDFS 中的輸出結(jié)果）：./bin/hdfs dfs -cat output/*Shell 命令結(jié)果如下，注意到剛才我們已經(jīng)更改了配置文件，所以運行結(jié)果不同。Hadoop偽分布式運行g(shù)rep的結(jié)果我們也可以將運行結(jié)果取回到本地：rm -r ./output # 先刪除本地的 output 文件夾（如果存在）./bin/hdfs dfs -get output ./output #

34、將 HDFS 上的 output 文件夾拷貝到本機cat ./output/*Shell 命令Hadoop 運行程序時，輸出目錄不能存在，否則會提示錯誤 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs:/localhost:9000/user/hadoop/output already exists” ，因此若要再次執(zhí)行，需要執(zhí)行如下命令刪除 output 文件夾:./bin/hdfs dfs -rm -r output # 刪除 output 文件夾Shell 命令運行程序時，輸出目錄不能

35、存在運行 Hadoop 程序時，為了防止覆蓋結(jié)果，程序指定的輸出目錄（如 output）不能存在，否則會提示錯誤，因此運行前需要先刪除輸出目錄。在實際開發(fā)應(yīng)用程序時，可考慮在程序中加上如下代碼，能在每次運行時自動刪除輸出目錄，避免繁瑣的命令行操作：1. Configuration conf = new Configuration();2. Job job = new Job(conf);3.  4. /* 刪除輸出目錄 */5. Path outputPath = new Path(args1);6. outputPath.getFileSystem(conf).delete(out

36、putPath, true);Java若要關(guān)閉 Hadoop，則運行./sbin/stop-dfs.shShell 命令注意下次啟動 hadoop 時，無需進行 NameNode 的初始化，只需要運行 ./sbin/start-dfs.sh 就可以！啟動YARN（偽分布式不啟動 YARN 也可以，一般不會影響程序執(zhí)行）有的讀者可能會疑惑，怎么啟動 Hadoop 后，見不到書上所說的 JobTracker 和 TaskTracker，這是因為新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也稱為 YARN，Yet Another Reso

37、urce Negotiator）。YARN 是從 MapReduce 中分離出來的，負責(zé)資源管理與任務(wù)調(diào)度。YARN 運行于 MapReduce 之上，提供了高可用性、高擴展性，YARN 的更多介紹在此不展開，有興趣的可查閱相關(guān)資料。上述通過 ./sbin/start-dfs.sh 啟動 Hadoop，僅僅是啟動了 MapReduce 環(huán)境，我們可以啟動 YARN ，讓 YARN 來負責(zé)資源管理與任務(wù)調(diào)度。首先修改配置文件 mapred-site.xml，這邊需要先進行重命名：1. mv ./etc/hadoop/mapred-site.xml.template

38、./etc/hadoop/mapred-site.xmlShell 命令然后再進行編輯，同樣使用 gedit 編輯會比較方便些 gedit ./etc/hadoop/mapred-site.xml ：1. <configuration>2. <property>3. <name></name>4. <value>yarn</value>5. </property>6. </configuration>XML接著修改配置文件 

39、;yarn-site.xml：1. <configuration>2. <property>3. <name>yarn.nodemanager.aux-services</name>4. <value>mapreduce_shuffle</value>5. </property>6. </configuration>XML然后就可以啟動 YARN 了（需要先執(zhí)行過 ./sbin/start-dfs.sh）：1. ./sbin/start-yarn.sh $ 啟動YARN2. ./sbin/

40、mr-jobhistory-daemon.sh start historyserver # 開啟歷史服務(wù)器，才能在Web中查看任務(wù)運行情況Shell 命令開啟后通過 jps 查看，可以看到多了 NodeManager 和 ResourceManager 兩個后臺進程，如下圖所示。如果有個別沒有運行起來，可以stop-all.sh，查看之前哪些存在問題，更改后重新start-all.sh。開啟YARN啟動 YARN 之后，運行實例的方法還是一樣的，僅僅是資源管理方式、任務(wù)調(diào)度不同。觀察日志信息可以發(fā)現(xiàn)，不啟用 YARN 時，是 “mapred.LocalJobRunner” 在跑任務(wù)，啟用 YARN 之后，是 “mapred.YARNRunner” 在跑任務(wù)。啟動 YARN 有個好處是可以通過 Web 界面查看任務(wù)的運行情況：http:/localhost:8088/cluster，如下圖所示。開啟YARN后可以查看