hadoop環(huán)境搭建單節(jié)點(diǎn)篇

1、Hadoop環(huán)境搭建單節(jié)點(diǎn)篇Hadoop環(huán)境搭建單節(jié)點(diǎn)篇文章分類:Java編程自漫聊1.0發(fā)布以來，研究Hadoop也有一段時間了，目前環(huán)境已基本搭建好，規(guī)模為15臺的小型集群，昨晚測試時是用wordcount統(tǒng)計一個1.2G的log文件，總耗時2分16秒，雖然測試文件不大，但其性能的優(yōu)越性已經(jīng)體現(xiàn)出來了。閑話不多說了，進(jìn)正題。注：本文的環(huán)境搭建是針對雙系統(tǒng)和linux系統(tǒng)的，而非win下的虛擬機(jī)！流程：裝機(jī)階段：安裝ubuntu，jdk和hadoop創(chuàng)建一個名為hadoop的用戶和用戶組配置階段：配置環(huán)境變量創(chuàng)建sshkey配置hadoop運(yùn)行測試階段：格式化namenode啟動hadoop

2、跑wordcount準(zhǔn)備：ubuntu10.10hadoop0.21.0安裝ubuntu10.10wubi的傻瓜式安裝應(yīng)該不用我多說了吧，在win下用虛擬光驅(qū)載入，然后執(zhí)行另外補(bǔ)充下，安裝時最好斷開網(wǎng)絡(luò)連接（我們是直接拔的網(wǎng)線），因?yàn)閡buntu安裝過程中需要更新一些語言包之類的東西，那些東西與我們要做的事沒什么關(guān)系，下載時間又長，所以建議不更新。2、安裝jdk1.6.0_23有多種方法，此處只介紹一種1、在usr下面新建一個文件夾Java,然后將jdk復(fù)制過來（也可直接mv過來）sudomkdir/usr/Javasudocpjdk的路徑/usr/Java2 、進(jìn)入到Java目錄下，改變文件

3、權(quán)限為可執(zhí)行cd/usr/Javasudochmodu+xjdk1.6.0_23.bin3、執(zhí)行安裝sudo./jdk1.6.0_23.bin（現(xiàn)象為Unpacking加一連串解壓信息）3、安裝hadoop0.21.01、將hadoop0.21.0.tar.gz復(fù)制到usr下面的local文件夾內(nèi)mv)sudocphadoop的路徑/usr/local2、進(jìn)入到local目錄下，解壓hadoop0.21.0.tar.gzcd/usr/localsudotar-xzfhadoop0.21.0.tar.gz3、為了方便管理，將解壓后的文件夾名改為hadoopsudomvhadoop0.21.0ha

4、doop4、創(chuàng)建一個名為hadoop的用戶和用戶組1、創(chuàng)建一個名為hadoop的用戶組2、創(chuàng)建一個名為hadoop的用戶，歸到hadoop用戶組下sudoadduser-ingrouphadoophadoop（注1：前一個hadoop為用戶組名，后面的是用戶名，之所以名字一樣是為了方便統(tǒng)一管理注2：執(zhí)行后會有一些信息需要填寫，可以不填，都敲回車，用系統(tǒng)默認(rèn)的即可，大概5個吧）3 、用gedit打開etc下的sudoers文件sudogedit/etc/sudoers4 、在rootALL=(ALL)ALL下面添加如下一行，然后保存關(guān)閉gedithadoopALL=(ALL)ALL(注1：網(wǎng)上有

5、文檔上是說先切換到root用戶，然后修改sudoers的權(quán)限，再打開添加hadoopALL=(ALL)ALL，然后再將權(quán)限改回為只讀，這樣就要特別注意一定要將權(quán)限改回為只讀，不然“sudo”命令就無法使用了，很悲劇的說注2：添加hadoopALL=(ALL)ALL的意義在于能讓hadoop用戶使用“sudo命令)配置階段：1、配置環(huán)境變量1、用gedit打開etc下的profile文件sudogedit/etc/profile2、在文件最后加入如下幾行exportCLASSPATH=.:/usr/Java/jdk1.6.0_23/lib:/usr/Java/jdk1.6.0_23/jre/li

6、b:$CLASSPATHexportPATH=.:/usr/Java/jdk1.6.0_23/bin:/usr/Java/jdk1.6.0_23/jre/bin:/usr/local/hadoop/bin:$PATH（注1：以上所有jre項(xiàng)都不是必需的，可以不要注2：在win中環(huán)境變量的值是以“;”號隔開的，而這里是“:”注3：等號后面有個“.”別丟了，它表示當(dāng)前目錄）3、保存后關(guān)閉gedit，并重啟機(jī)器sudoreboot（注：網(wǎng)上也有說用source命令使環(huán)境變量立即生效的，但是本人在實(shí)際操作時出了幾次問題，所以建議重啟機(jī)器最保險）4、重啟后用hadoop用戶登錄，驗(yàn)證配置是否成功java

7、-version（此語句執(zhí)行后如顯示了jdk版本的話說明配置成功，如果沒有則需檢查profile中路徑是否正確）（注：最好是用hadoop用戶登錄，因?yàn)橐韵虏襟E都是以此為前提的）2、創(chuàng)建ssh-key1、確保網(wǎng)絡(luò)通暢，然后裝載ssh服務(wù)sudoapt-getinstallopenssh-server（注：如果此語句執(zhí)行失敗且結(jié)果為“包被占用”的話，那么應(yīng)該是ubuntu的“更新管理器”正在后臺更新，你可以選擇等待或者關(guān)閉更新，更新管理器在“系統(tǒng)”菜單中，具體位置忘了）2 、創(chuàng)建 ssh-key ，為 rsa（網(wǎng)上文檔中也有dsa的）ssh-keygen-trsa-P（注1：此語句網(wǎng)上文檔為ss

8、h-keygen-trsa-P""，效果一樣注2：此語句執(zhí)行后會要你填寫key的保存位置，直接照著系統(tǒng)給出的那個默認(rèn)位置填，也就是括號里的那個路徑，如果全都照此文檔操作的話那么括號中路徑應(yīng)該為"/home/hadoop/.ssh/id_rsa"）3、將此ssh-key添加到信任列表中，并啟用此ssh-keycat/home/hadoop/.ssh/id_rsa.pub>>/home/hadoop/.ssh/authorized_keyssudo/etc/init.d/sshreload3、配置hadoop1、進(jìn)入到hadoop

9、目錄下，配置conf目錄下的hadoop-env.sh中的JAVA_HOMEcd/usr/local/hadoopsudogeditconf/hadoop-env.sh（打開后在文檔的上部莫行有“#exportJAVA_HOME=.”字樣的地方，去掉“#”，然后在等號后面填寫你的jdk路徑，完全按此文檔來的話應(yīng)改為"exportJAVA_HOME=/usr/Java/jdk1.6.0_23"）2、配置conf目錄下的core-site.xmlsudogeditconf/core-site.xml（打開后標(biāo)簽<configuration>&

10、lt;/configuration>中是空的，所以在空的地方加入如下配置）Xml代碼<property><name></name><value>hdfs:/localhost:9000</value></property><property><name>dfs.replication</name>&am

11、p;lt;value>1</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/tmp</value></property>3、配置conf目錄下的mapred-site.xmlsudogeditconf/mapred-site.xml（打開后標(biāo)簽<c

12、onfiguration></configuration>中也是空的，添加如下配置）Xml代碼<property><name>mapred.job.tracker</name><value>localhost:9001</value></property>運(yùn)行測試階段運(yùn)行必需滴)1 、 格式化 namenode ( 首次1、保證此時在hadoop目錄下，如不在請先進(jìn)入hadoop目cd/

13、usr/local/hadoop2格式化namenodehadoopnamenode-format2、啟動hadoop1、修改hadoop文件夾的權(quán)限，保證hadoop用戶能正常訪問其中的文件sudochown-hRhadoop/usr/local/hadoop2、啟動hadoopbin/start-all.shjps（此語句執(zhí)行后會列出已啟動的東西NameNode,JobTracker,SecondaryNameNode.如果NameNode沒有成功啟動的話就要先執(zhí)行"bin/stop-all.sh"停掉所有東西，然后重新格式化namenode，再啟動）3、跑wordcountsudogedit/tmp/test.txt（打開后隨便輸入一些內(nèi)容，如"muhahanidayedayeda"，然后保存退出）2 、將準(zhǔn)備的測試文件上傳到dfs文件系統(tǒng)中的firstTest目錄下hadoopdfs-copyFromLocal/tmp/test.txtfirstTest（注：如dfs中不包含firstTest目錄的話就會自動創(chuàng)建一個，關(guān)于查看dfs文件系統(tǒng)中已有目錄的指令為"hadoopdfs-ls"）3 、執(zhí)行wordcounthadoopjarhadoop-mapred-example0.21.0.jarwordcoun