多機(jī)環(huán)境下的hadoop平臺(tái)搭建過(guò)程說(shuō)明

多機(jī)環(huán)境下的hadoop平臺(tái)搭建過(guò)程說(shuō)明一、引言多機(jī)環(huán)境下的hadoop平臺(tái)搭建是通過(guò)在每臺(tái)機(jī)器上部署hadoop來(lái)構(gòu)成一個(gè)hadoop的集群運(yùn)行環(huán)境。本文的環(huán)境搭建是針對(duì)是每臺(tái)機(jī)器安裝的是雙系統(tǒng)（windows和linux）或者單linux系統(tǒng)，而非windows下的linux虛擬機(jī)。并且，本文hadoop部署之前下載了如下的程序：ubuntu12.10、hadoop0.21.0、jdk1.6.0_37forlinux。這些程序均可以從網(wǎng)上下載，其中jdk1.6.0_37forlinux（此處下載的是64位的）是直接從官網(wǎng)上下載。本文的環(huán)境搭建選擇了三臺(tái)機(jī)器，其中一臺(tái)機(jī)器要作為master,而另外兩臺(tái)機(jī)器要作為slaves。二、部署過(guò)程說(shuō)明參考網(wǎng)上相關(guān)資源，本文所采取的部署過(guò)程分為三個(gè)階段：?jiǎn)螜C(jī)部署階段、多機(jī)環(huán)境下的配置階段、和啟動(dòng)運(yùn)行階段。單機(jī)部署階段主要是在每臺(tái)機(jī)器上安裝和配置unbuntu、JDK和hadoop程序；第二階段主要是進(jìn)一步配置每臺(tái)機(jī)器，以構(gòu)成hadoop集群環(huán)境；第三個(gè)階段主要是啟動(dòng)hadoop。各個(gè)階段的詳細(xì)操作步驟如下。2.1、單機(jī)部署階段單機(jī)部署階段主要是對(duì)集群環(huán)境中的每臺(tái)機(jī)器，進(jìn)行ubuntu、JDK和hadoop的安裝與配置。該階段要做的工作與單機(jī)版的hadoop平臺(tái)搭建類似。2.1.1、安裝ubuntu10.10ubuntu的安裝按照提示來(lái)就行，此處不做說(shuō)明。2.1.2、安裝jdk

第一步：在usr下面新建一個(gè)文件夾Java,然后將jdk復(fù)制過(guò)來(lái)sudomkdir/usr/Javasudocpjdk的路徑/usr/Java第二步：進(jìn)入到Java目錄下，改變文件權(quán)限為可執(zhí)行cd/usr/Java

sudochmodu+xjdk1.6.0_37.bin第三步：安裝sudo./jdk1.6.0_23.bin

(現(xiàn)象為Unpacking....加一連串解壓信息）2.1.3、安裝hadoop0.21.0第一步：將hadoop0.21.0.tar.gz復(fù)制到usr的local目錄下注：如果此語(yǔ)句執(zhí)行失敗且結(jié)果為“....沒(méi)有可利用的包”的話，可以先執(zhí)行sudoapt-getupdate,以更新各個(gè)鏈接。執(zhí)行此句要花較長(zhǎng)時(shí)間，并且一直顯示下載數(shù)據(jù)。第二步：創(chuàng)建ssh-keyssh-keygen-trsa–P注：此語(yǔ)句執(zhí)行后會(huì)要你填寫key的保存位置，直接照著系統(tǒng)給出的那個(gè)默認(rèn)位置填，也就是括號(hào)里的那個(gè)路徑，如果全都照此文檔操作的話那么括號(hào)中路徑應(yīng)該為"/home/hadoop/.ssh/id_rsa"）第三步：將此ssh-key添加到信任列表中，并啟用此ssh-keycat/home/hadoop/.ssh/id_rsa.pub>>/home/hadoop/.ssh/authorized_keys第四步：?jiǎn)?dòng)ssh服務(wù)sudoservicesshstart注：1，在終端輸入“sshlocalhost”可以測(cè)試ssh是否安裝好，如果有錯(cuò)誤提示,類似"ssh:connecttohostlocalhostport22:Connectionrefused"，說(shuō)明你沒(méi)有安裝ssh-client，此時(shí)只需要在終端輸入：sudoapt-getinstallopenssh-client

2，此處也可以通過(guò)命令“ps-e|grepssh”來(lái)查看ssh服務(wù)是否真的啟動(dòng)了，正常情況下命令執(zhí)行之后應(yīng)該顯示兩條內(nèi)容，分別是兩個(gè)服務(wù)，一個(gè)是ssh-agent,一個(gè)是sshd。如果只有ssh-agent,那么應(yīng)用命令sudo/etc/sbin/ssh啟動(dòng)sshd服務(wù)，如果出現(xiàn)如下類似的問(wèn)題，則進(jìn)入（sudogedit/etc/ssh/sshd_config）將出現(xiàn)問(wèn)題的一句（這里是line25）注釋掉就行了/etc/ssh/sshd_config:line25:Badconfigurationoption:syntax

/etc/ssh/sshd_config:terminating,1badconfigurationoptions2.2、多機(jī)環(huán)境下的配置階段2.2.1、/etc/hosts文件的配置修改對(duì)hosts文件的修改主要是為了建立集群中各個(gè)主機(jī)的主機(jī)名與相應(yīng)ip地址之間的映射關(guān)系。因此，該步需要對(duì)每臺(tái)機(jī)器的hosts的文件進(jìn)行修改。本安裝環(huán)境下的各個(gè)主機(jī)名與IP地址的關(guān)系如下（IP地址此處隱去）：masterslave1slave2基于該映射關(guān)系，各個(gè)機(jī)器的hosts文件的配置如下（各個(gè)機(jī)器的配置一樣）：

localhost

masterslave1slave2

注：1)此處各配置文件中的master和slaves均為各個(gè)機(jī)器的主機(jī)名，主機(jī)名可通過(guò)hostname命令查看

2)配置文件中與localhost之間的映射是自帶的2.2.2、多機(jī)的ssh-key配置第一步：進(jìn)入master主機(jī)，在終端輸入如下命令：scp/home/hadoop/.ssh/id_rsa.puthadoop@:/home/hadoop/scp/home/hadoop/.ssh/id_rsa.puthadoop@:/home/hadoop/注：這里主要是將master機(jī)器的ssh-key值拷貝到各個(gè)slaves主機(jī)。這里可能在拷貝的過(guò)程需要輸入slave主機(jī)的密碼，輸入即可。第二步：進(jìn)入各個(gè)slave主機(jī)，在終端輸入如下命令以將ssh-key添加到信任列表中，以在master主機(jī)和各個(gè)slaves主機(jī)之間建立無(wú)需密碼的鏈接：cat~/id_rsa.pub>>～/.ssh/authorized_keys注：為了驗(yàn)證ssh服務(wù)是否配置成功，回到master主機(jī)上，終端鍵入sshhadoop@如果沒(méi)有出錯(cuò)，并且進(jìn)入slave主機(jī)，則說(shuō)明無(wú)密碼的ssh服務(wù)配置成功。這里初次也可能有輸入密碼的提示，直接輸入ip為的主機(jī)密碼就可以了。實(shí)際上，如果你鍵入”ssh”，程序也可能會(huì)提示你輸入hadoop@密碼，輸入即可。2.2.3、JAVA_HOME環(huán)境變量的配置進(jìn)入master主機(jī)，配置conf目錄下的hadoop-env.sh中的JAVA_HOME。在master主機(jī)終端輸入如下命令：cd/usr/local/hadoop

sudogeditconf/hadoop-env.sh注：打開后在文檔的上部某行有“#exportJAVA_HOME=...”字樣的地方，去掉“#”，然后在等號(hào)后面填寫你的jdk路徑，完全按此文檔來(lái)的話應(yīng)改為"exportJAVA_HOME=/usr/Java/jdk1.6.0_37"2.2.4、master和slaves文件的配置修改該步操作是在master主機(jī)的終端上執(zhí)行。目標(biāo)主要是對(duì)/usr/local/hadoop/conf下的master和slaves文件進(jìn)行修改。/usr/local/Hadoop/conf/masters的配置如下:master(此處為master主機(jī)的主機(jī)名)/usr/local/Hadoop/conf/slaves的配置如下:slave1slave2(此處都為slaves主機(jī)的主機(jī)名)2.2.5、core-site、mapred-site和hdfs-site文件的配置修改進(jìn)入master主機(jī)，做如下三步。第一步：配置conf目錄下的core-site.xmlsudogeditconf/core-site.xml

注：打開后標(biāo)簽<configuration></configuration>中是空的，所以在空的地方加入如下配置

<property>

<name></name>

<value>hdfs://master主機(jī)名:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>

</property>

第三步：配置conf目錄下的mapred-site.xmlsudogeditconf/mapred-site.xml注：打開后標(biāo)簽<configuration></configuration>中也是空的，添加如下配置<property>

<name>mapred.job.tracker</name>

<value>master主機(jī)名:9001</value>

</property>第三步：配置hdfs-site.xml文件sudogeditconf/hdfs-site.xml

注：打開后標(biāo)簽<configuration></configuration>中也是空的，添加如下配置<property>

<name>dfs.replication</name>

<value>3</value>

</property>注：上述前兩步的標(biāo)紅的master主機(jī)名要在實(shí)際中替換成實(shí)際的master主機(jī)名2.2.6、復(fù)制master的配置文件到各個(gè)slaves這里主要是將2.2.1，以及2.2.3-2.2.5節(jié)中修改的各個(gè)配置文件復(fù)制到各個(gè)slaves的同樣目錄下。所用命令如下：//拷貝JAVA_HOME環(huán)境變量的配置文件scp/usr/local/hadoop/conf/hadoop-env.shhadoop@:/usr/local/hadoop/conf/scp/usr/local/hadoop/conf/hadoop-env.shhadoop@:/usr/local/hadoop/conf///拷貝master和slaves文件scp/usr/local/hadoop/conf/masterhadoop@:/usr/local/hadoop/conf/scp/usr/local/hadoop/conf/masterhadoop@:/usr/local/hadoop/conf/scp/usr/local/hadoop/conf/slavehadoop@:/usr/local/hadoop/conf/scp/usr/local/hadoop/conf/slavehadoop@:/usr/local/hadoop/conf/………2.3、啟動(dòng)運(yùn)行階段2.3.1、格式化namenode(首次運(yùn)行必需)第一步：進(jìn)入/usr/local/hadoop目錄cd/usr/local/hadoop第二步：格式化namenodehadoopnamenode–format注：此步操作以及以后的操作都是在master主機(jī)上進(jìn)行。并且注意這里的格式化命令里邊的namenode不能替換成master主機(jī)的名字。2.3.2、啟動(dòng)hadoop第一步：?jiǎn)?dòng)hadoopbin/start-all.sh第二步：驗(yàn)證hadoop是否正常啟動(dòng)

jps注：1,此語(yǔ)句執(zhí)行后會(huì)列出在master主機(jī)已啟動(dòng)的東西NameNode,JobTracker,SecondaryNameNode...如果NameNode沒(méi)有成功啟動(dòng)的話就要先執(zhí)行"bin/stop-all.sh"停掉所有東西，然后重新格式化namenode，再啟動(dòng)。

2，為了驗(yàn)證datanode以及taskTracker是否啟動(dòng)，此時(shí)可以到各個(gè)slave主機(jī)的終端，輸入jps命令，如果顯示datanode,taskTracker，那說(shuō)明slave端這些相應(yīng)的服務(wù)也啟動(dòng)了。

3，如果slave端這些服務(wù)沒(méi)有啟動(dòng)，那么就應(yīng)該查看ｌｏ