hadoop配置中常見問題

1、（一）ssh登錄無法登錄解決辦法：配置ssh無密碼登錄，然后利用ssh的用戶來進(jìn)行登錄，不要使用非ssh用戶登錄。（二）scp-rid_rsa.pub無法復(fù)制解決辦法：無法網(wǎng)絡(luò)復(fù)制，主要原因是ssh中的etc/ssh/sshd_config中的PasswordAuthenticationno改為PasswordAuthenticationyes然后用要復(fù)制的用戶密碼登錄，就可以。（三）在安裝Hadoop軟件的時(shí)候，要注意：請(qǐng)使用Hadoop用戶登錄來安裝，以防安裝完成后配置有問題。（四）修改的hadoop幾個(gè)文件幾個(gè)文件分別是：masters、slaves、hadoop-en.sh、core-

2、site.xml、hdfs-site.xml、mapred-site.xml。修改的格式分別是：1. Masters/設(shè)置master的機(jī)器名或IPmasterSlaves/設(shè)置slave的機(jī)器名或IPslave1slave2slave3hadoop-en.sh/設(shè)置本機(jī)的java安裝的目錄添加一句:exportJAVA_HOME=/usr/java/jdk_2. core-site.xml/設(shè)置本機(jī)的namenode的端口號(hào)和臨時(shí)文件的目錄<?xmlversion="1.0"?><?xml-stylesheettype="text/xsl&qu

3、ot;href="configuration.xsl"?><!-Putsite-specificpropertyoverridesinthisfile.-><configuration><property><name></name><value>hdfs:/42:9000</value></property><property><name>hadoop.tmp.dir</name><

4、value>/home/hadoop/tmp/</value></property></configuration>hdfs-site.xml/設(shè)置hadoop數(shù)據(jù)備份的數(shù)量，例如為2。還有namenode的name持久文件和datanode的data持久文件、以及通過的http的地址。<?xmlversion="1.0"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><!-Putsite-sp

5、ecificpropertyoverridesinthisfile.-><configuration><property><name>dfs.replication</name><value>2</value></property><property><name>.dir</name><value>/home/hadoop/name/</value></property><property><name

6、>dfs.data.dir</name><value>/home/hadoop/data/</value></property><property><name>dfs.http.address</name><value>42:50070</value></property></configuration>mapred-site.xml/設(shè)置hadoop的jobtracker的運(yùn)行端口<?xmlversion="1.0&qu

7、ot;?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><!-Putsite-specificpropertyoverridesinthisfile.-><configuration><property><name>mapred.job.tracker</name><value>hdfs:/master:9001/</value></property></configu

8、ration>（五）利用hadoopnamenode-ormat命令格式化namenode時(shí)有錯(cuò)誤?，F(xiàn)象：此錯(cuò)誤在執(zhí)行完命令之后，不易看出，可以在中的日志文件中看到namenode的log日志文件。里面會(huì)出現(xiàn)FSnameSysteminitializationfailed和namenodeisnotformated錯(cuò)誤解決辦法：我們?cè)诟袷交痭amenode之前，不要建立的name目錄和tmp目錄，因?yàn)閔adoop啟動(dòng)的時(shí)候會(huì)自動(dòng)創(chuàng)建，否則會(huì)出錯(cuò)。只要將先前有創(chuàng)建的name和tmp目錄刪除就可以了。（六）利用start-all.sh命令啟動(dòng)hadoop時(shí)候出現(xiàn)多種問題（六1）如果是使用ha

9、doop用戶執(zhí)行此命令時(shí)，可能會(huì)出現(xiàn)的問題是：/logs/權(quán)限不夠Slave2:mkdir/home/hadoop/hadoop-0.20.2./logs/.權(quán)限不夠解決辦法：卸載hadoop，然后注銷，使用hadoop用戶登錄，再一次安裝hadoop,然后再配置hadoop文件。重新執(zhí)行命令，但是在執(zhí)行這些命令時(shí)候，要保證master和slave各機(jī)子都安裝了hadoop，也進(jìn)行了相關(guān)的配置。（六2）如果使用root用戶來執(zhí)行此命令，可能會(huì)出現(xiàn)的問題：Slave1：permissiondenied（就是權(quán)限被拒絕）Slave2：permissiondenied解決辦法：由于使用start-a

10、ll.sh命令是要使用ssh的通道，所以不能使用root用戶來進(jìn)行配置，要使用hadoop的有配置ssh的用戶來進(jìn)行執(zhí)行上述命令（六3）如果執(zhí)行成功的時(shí)候，會(huì)顯示以下內(nèi)容常和口購口1»口血|losingto加車時(shí)/h剎oopirMall/hMo叩加畋JI呼/hddo附啣細(xì)嚴(yán)砧mlpnodoutnlpraodel''wlcowtovfrti5*rernlpnodekTtiepurposeofthenodeistorunthlat'ssystfnisonlarge-scale曲竹.出燈operationsthmreuirdiareiwtlIImI."問吐

11、：starting血Un血I轉(zhuǎn)何力人0伽袖他炯儷竹11加愉耐訕/呼加冏卿嘶鈕朗(血軸減1皿MpiiodJ;barring皿煩慎碩匝gm/bor"啣皿佝000陽丸11加0附用in.1邨加曲即幗卩咆-域和田呵幀血1眥nlpoodel:startinj宿tin血I疝旳to昭甘叫MMdoopin曲胸喇怖峽庾加呷皿由(血的鹹8誠Tilfmode?:Orting5厲砒町11義110楓1翊ingto/hon"哪ed/h血叩血?jiǎng)o】1什血即/倫/耶加如片邱血-取0(11如¥1附映-訕腕de?,outstardMjobtridcy側(cè)的to加嶽/螂rM/hMoopirmll/bado&

12、#174;/biM/l娜/hdMoiHHp泌jobtrac加MpnodM.oitnlpiodel:telcoflieu恥tel即npnodeLThepurposeofthenodeistoruntklab'ssystemsonlarge-scaletatiStlieropefitiw$thanrHeirchartMt訓(xùn)胡”，nlpnodti.:startingtktrachr,loggingto/hoae/iapred/hadtHpinbl1/hutup/hin/./lop/hadoop-iaprFd-tktrackfmipnodel.outjnlpnodd:血仕阪沁訛眥1扁俺te/h

13、Mefiai)red/h血確仍tdl/h血枷"人丿陥血喻即-同皿誠t欣u恤曲.wtnlpnotj配世tingt松比澀跑轡冋to/lw/iaireJ/hainQ|iiiBMll/liiA卿恤人川呼/hajncpwpredtasktrari臥nlpnWout而且使用jps命令查看啟動(dòng)進(jìn)程可以看到Namenode、datanode、jobtarcker、tasktarcker、jps、secondnamenode六個(gè)進(jìn)程女口果你只看至UNamenode、jobtarcker、jps、secondnamenode這四個(gè)進(jìn)程，而且slave各機(jī)子中的datanodelog沒有出現(xiàn)錯(cuò)誤，也是可以

14、的。然后你可以使用netstat-nl命令來查看端口的運(yùn)行情況查看9000>9001、50070、50030四個(gè)端口是否在運(yùn)行用然后在瀏覽器上輸入和可以看到namenode和jobtarcker的管理頁面，則成功，但是還要進(jìn)行其他相關(guān)的測(cè)試。（七）Jps命令找不到解決辦法：在安裝好后運(yùn)行jps,報(bào)錯(cuò)為bash:jpscommandnotfound,仔細(xì)查看才知道，原來jps是jdk中bin目錄下的一個(gè)可執(zhí)行的文件，類似于javac,那么這就不難找到錯(cuò)誤，既然找不到就說明不認(rèn)識(shí)路，那問題的所在就直指環(huán)境變量了。最后果然是一開始配置的環(huán)境變量出問題了。如果按上面配置就不會(huì)錯(cuò)了。Linux中的環(huán)境變量為系統(tǒng)或應(yīng)用程序調(diào)用系統(tǒng)的可執(zhí)行文件指明了路徑，而/etc/profile里的環(huán)境變量的配置是