hadoop集群搭建手冊

Hadoop集群搭建操作手冊

--環(huán)境準(zhǔn)備

1.在VituralBox中選擇LinuxUbuntu64位操作系統(tǒng)作為系統(tǒng)環(huán)境?；谠鶫adoop2,

在Hadoop260(stable)版本下驗(yàn)證通過，可適合任何Hadoop2.x.y版本。(在這里我們使用

hadoop2.7.1的版本進(jìn)行搭建)

2.使用節(jié)點(diǎn)作為集群環(huán)境(這里我們使用三個(gè)節(jié)點(diǎn))：

一個(gè)為hadoopOl(Master)節(jié)點(diǎn),局域網(wǎng)IP為01;

一個(gè)為hadoop02(Slavel)節(jié)點(diǎn),局域網(wǎng)IP為02;

一個(gè)為hadoop03(Slave2)節(jié)點(diǎn),局域網(wǎng)IP為03

二.虛擬機(jī)準(zhǔn)備工作

1.在虛擬機(jī)hadoopOl節(jié)點(diǎn)上配置hadoop用戶，安裝SSHserver(無密碼登陸)，安裝Java

環(huán)境，安裝hadoop并完成配置內(nèi)容。

2.在其他節(jié)點(diǎn)(hadoop02,hadoop03)上也配置好hadoop用戶，安裝SSHserver,安裝Java

環(huán)境，然后將hadoopOl節(jié)點(diǎn)上的/usr/local/hadoop目錄復(fù)制到其他

(hadoop02,hadoop03)節(jié)點(diǎn)上。

我們可以完成一個(gè)虛擬機(jī)hadoopOl的這四項(xiàng)配置，選擇復(fù)制作為hadoop02,hadoop03

節(jié)點(diǎn)，這樣節(jié)省大量時(shí)間。

田

3虹⑸…CtrUS

■WMOrtrUnWAIBCOC?I'iiWLinuxUbuntu64代fMMI條悚f

中整iJXM)一，0口出。)的八卜驗(yàn)證目H,可必介任何F

號出力5*1。云dWttiBUg.的版本進(jìn)行整建)

X?啊R)…

h?m(u)1點(diǎn)作為蛆肝環(huán)境甲我們使用二個(gè)節(jié)初：

kadoop01(Mastcr>黃山同岐”IP為192.16&

?啟動3

i?doop02(SUvei)打點(diǎn).川械網(wǎng)IP為192.168.!

UU土的印

?adoop03(Slave2)方點(diǎn).網(wǎng)域網(wǎng)IP為192.168.!

?as(R)

?遮出(c)

?的狀Ct。)…以機(jī)準(zhǔn)備工作

啟O5(L>...

CtrUL

OracleVMVirtuaiBox9時(shí)⑺

?W)(H)通在費(fèi)AE?外正示(h)

二創(chuàng)"而快建萬燦c)

曲?*(S)

19索任)Ctrl"

hadtopOl

捧他承歡：Ubmtu(M-bit)

■殺次

"已關(guān)閑

內(nèi)存大?。?041”

處理ZL2

￡動跳序：族九5r娛盒

?件加速：VT-：/AJU>-V.我喜分FAB/MX,

KVI半虛XI化

■舁示

顯在大?。?6IB

且卡控制曰：VBSVGA

總穆事面”號a：已禁用

三.網(wǎng)絡(luò)配置準(zhǔn)備

搭建集群的網(wǎng)絡(luò)標(biāo)準(zhǔn)的需求為：

(1)虛擬機(jī)可以訪問外網(wǎng)：

(2)虛擬機(jī)之間可以互相訪問；

(3)虛擬機(jī)與宿主機(jī)(主機(jī))可以互相訪問。

解決方案為：設(shè)置3個(gè)網(wǎng)卡

1.在VirtualBox中一管理一主機(jī)網(wǎng)絡(luò)管理器，創(chuàng)建并手動配置網(wǎng)卡，例如ip地址為:

(網(wǎng)絡(luò)掩碼)netmask,選擇關(guān)閉DHCP

屯OracleVMVirtualBoxU理8S□

*9(￡)控制(M)喏助坦)

夕全局爆定(E)...Ctrl+G□◎￥。

3導(dǎo)入虛擬電摘①.Ctrl*l?J8(?)設(shè)貿(mào)(S)清除信動(T)

⑸導(dǎo)出虛擬電腦⑹…Ctrl+E且常炊

Q新建云虛擬電腦⑻…

名穢：hadoopOl

操作系統(tǒng)：Ubwntu(64-bit)

畫虛擬介質(zhì)mg..Ctd+D

自主機(jī)網(wǎng)絡(luò)*理flR(H)Ctd+H4_?系統(tǒng)

V.網(wǎng)絡(luò)…內(nèi)15大?。?048IB

處超N:2

??SMWQd)...啟動步序：軟馳，光時(shí),曝黃

饅件加速：VT-x/AIP-7.嵌套分內(nèi),PAE/10C.

KVI半鹿擬化

@退出兇Ctrl+Q

H顯示

顯有大?。?6IB

顯卡拄制N:VMSVGA

近程桌面服務(wù)器：己共用

累俘：已禁用

y主機(jī)網(wǎng)絡(luò)管理事□X

網(wǎng)SSZ)

不選

網(wǎng)卡?“)DHCP服夯昌(Q)

O自動配H網(wǎng)卡⑷

⑥手動配JS網(wǎng)卡(1)

IPv4地址(D:[

IPv4網(wǎng)絡(luò)椅碼(1):|258,235.23L0

IPv6地址(E):fe80::75db:e56<:b9f5:d?d9

IIPv(

■6網(wǎng)絡(luò)跑科長度(P：64

應(yīng)用關(guān)閉

2.在虛擬機(jī)網(wǎng)絡(luò)設(shè)置中，增加3個(gè)網(wǎng)卡：

網(wǎng)卡一：僅主機(jī)(host-only)網(wǎng)絡(luò)，選擇名稱：virtualbox全局host-only網(wǎng)卡名稱(主機(jī)虛

擬網(wǎng)卡)

（QhadoopOl-設(shè)置

常規(guī)網(wǎng)絡(luò)

系統(tǒng)網(wǎng)卡2網(wǎng)卡3~i

啟國EB絡(luò)其稔

0連接方式Q)僅主機(jī)(Host~Only)網(wǎng)絡(luò)?]

存儲不要選錯(cuò)

界面名稱(E):VirtiulBoxHost-OnlyEthorrwtAdaptorJ

;六音v高級?

控制芯片⑴：lintelPRO/1000IT京面(82540EI)刁

網(wǎng)絡(luò)

海雜澳式〈0：I拒融，1

令

□

￡IAC地址（I）:08002*93705

臣

USBiSfi□接入網(wǎng)線(0

口

第口轉(zhuǎn)發(fā)?

共享文件夾

0KCancel

網(wǎng)卡二：內(nèi)部網(wǎng)絡(luò)網(wǎng)卡，名稱默認(rèn)

網(wǎng)卡1網(wǎng)卡2網(wǎng)卡3對卡1

啟用同牯連接(I)

連授方式Q):西勇鈍-

即地野攢(”T)

界面名稱(E)：3

v高線(④

下主機(jī)(HstYhly)網(wǎng)絡(luò)

控制芯片(D：

淮余?式(￡)：CloudIfotvork(EXPERIIEITTAL]

今■…:*國

F

□USBg0接入網(wǎng)線?

□知將發(fā)(￡)

用戶界面

OKCancel

網(wǎng)卡三：NAT網(wǎng)卡，名稱默認(rèn)

3.啟動虛擬機(jī)系統(tǒng)后，增加三網(wǎng)卡設(shè)置：以ubuntu為例，修改以下三個(gè)文件

/etc/network/interfaces

/etc/hosts

/etc/hostname

修改過程

1./etc/network/interfaces

X一口終端文件(F)編輯(E)查看(V)搜索(S)終端(T)幫助(H)

#interfaces(S)fileusedbyifup(8)andifdown(8)

autoIo

Ifaceloinetloopback

autoenp0s3

ifaceenp0s3inetstatic

address01

netmask

autoenp0s8

Ifaceenp0s8inetstatic

addressle.o.i.iei

netmask

autoenp0s9

ifaceenp0s9inetdhcp

ttautoenp0s3

?Ifaceenp0s3inetstatic

address01

tfnetmask

^gateway53

1,1全部

可以通過

wget/interfaces

sudocpinterfaces/etc/network/interfaces覆蓋填寫

2./etc/hostname文件內(nèi)谷如下

hadoopOl

3./etc/hosts文件內(nèi)容如下

localhost

01hadoopOl

02hadoop02

曲2.168.56.103hadoop03

可以通過

wget/hosts

sudocphosts/etc/hosts覆蓋填寫

生效此網(wǎng)絡(luò)配置后復(fù)制hadoopOl作為hadoop02,hadoop03,然后修改

/etc/network/interfaces中的address改為對應(yīng)的IP地址

/etc/hostname中的用戶名改為對應(yīng)修改

4.在虛擬機(jī)hadoopOl上，做如下操作

l).ping(主機(jī))測試與主機(jī)間的網(wǎng)絡(luò)是否互通

#如果不能ping通,查看主機(jī)是否打開了防火墻,關(guān)閉防火墻嘗試ping通

2).ping測試與互聯(lián)網(wǎng)間的網(wǎng)絡(luò)是否互通

3).ping02測試與虛擬機(jī)hadoop02,hadoop03間的網(wǎng)絡(luò)是否互通

終端文件(F)編相(E)查看(V)搜索(S)終端(T)幫助(H)

hadoop@hadoop01:pinghadoopOZ-c3

PINGhadoopOZ(02)56(84)bytesofdata.

64bytesfromhadoopez(02):tcmp_seq=ittl=64ttne=i.29ms

64bytesfromhadoop02(02):icmp_seq=2ttl=64tine=0.774ms

64bytesfromhadoop82(02):tcmp_seq=3ttl=64ttne=0.796ms

—hadoopOZpingstatistics—

3packetstransmitted,3received,0%packetloss,time2001ms

rttnin/avg/nax/ndev=6.774/0.953/1.291/0.241ms

hadoop@hadoop01:~$pinghadoop03-c3

PINGhadoop03(03)56(84)bytesofdata.

64bytesfromhadoop63(63):icmp_seq=lttl=64tine=1.58ms

64bytesfromhadoop63(03):tcmp_seq=2ttl=64tine=0.437ms

64bytesfromhadoop03(03):lcmp_seq=3ttl=64ttne=0.814ms

—hadoop03pingstatistics—

3packetstransmitted,3received,0%packetloss,time2001ms

rttmin/avg/max/mdev=6.437/0.943/1.580/0.476ms

hadoop@hadoop01:~$

四.SSH無密碼登陸節(jié)點(diǎn)

SSH無密碼登錄可以讓hadoopOl節(jié)點(diǎn)可以無密碼SSH登陸到其他各個(gè)節(jié)點(diǎn)上。

1.首先生成hadoopOl節(jié)點(diǎn)的公匙，在hadoopOl節(jié)點(diǎn)的終端中執(zhí)行：

$mkdir~/.ssh#如果不存在該文件夾需先創(chuàng)建，若已存在則忽略

$cat~/id_rsa.pub?~/.ssh/authorized_keys

$rm-/id_rsa.pub#用完就可以刪掉了

Shell命令

$cd~/.ssh

$rm./id_rsa*

$ssh-keygen-trsa

2.讓hadoopOl節(jié)點(diǎn)需能無密碼SSH本機(jī)，在hadoopOl節(jié)點(diǎn)上執(zhí)行:

$cat./id_rsa.pub?./authorized_keys

Shen命令劭</>

$cat./id_rsa.pub>>./authorized_keys

3.完成后可執(zhí)行sshhadoopOl驗(yàn)證一下(可能需要輸入yes,成功后執(zhí)行exit返回原來

的終端)o接著在hadoopOl節(jié)點(diǎn)將上公匙傳輸?shù)絟adoop02節(jié)點(diǎn)：

$scp~/.ssh/id_rsa.pubhadoop@hadoop02:/home/hadoop/

adoop@hadoop01:~$scp~/.ssh/id_rsa.pubhadoop@hddoop02:/home/hadoop/

scp是securecopy的簡寫，用于在Linux下進(jìn)行遠(yuǎn)程拷貝文件，類似于cp命令，不過cp

只能在本機(jī)中拷貝。執(zhí)行scp時(shí)會要求輸入hadoop02上hadoop用戶的密碼(hadoop),

輸入完成后會提示傳輸完畢。

hadoop@hadoop01:~$scp-/.ssh/id_rsa.pubhadoop@hadoop02:/home/hadoop/

td_rsa.pub-160%3970.4KB/S00:00

4.接著在hadoop02節(jié)點(diǎn)上，將ssh公匙加入授權(quán)：

$mkdir~/.ssh#如果不存在該文件夾需先創(chuàng)建，若已存在則忽略

$cat~/id_rsa.pub?~/.ssh/authorized_keys

$rm~/id_rsa.pub#用完就可以刪掉了

Shell?令

$mkdir~/.ssh

$cat*/id_rsa.pub>>-I.ssh/authorized_keys

$rm**/id_rsa.pub#

同理，執(zhí)行將hadoopOl公匙傳輸?shù)絟adoop03節(jié)點(diǎn)、在hadoop03節(jié)點(diǎn)上加入授權(quán)這兩

步。

最后，這樣就可以在hadoopOl節(jié)點(diǎn)上就可以無密碼SSH到hadoop02,hadoop03節(jié)點(diǎn)

了。

hadoopdhadoopei:sshhadoopOZ

WelcometoUDuntu16.04LTS(CNU/Ltnux4.4.0-21-genertcx86_64)

*Documentation:/

853個(gè)可升級軟件包。

571個(gè)安全更新。

Newrelease'18.04.SLTS'available.

Run'do-release-upgrade'toupgradetoit.

Lastl產(chǎn)…小挎耀屏標(biāo)割用doopOZ

亍exit返回hadoopOl)____________

五.配置PATH變量

如果在之前單機(jī)偽分布式配置中，沒有配置將Hadoop安裝目錄加入PATH變量，需要在

hadoopOl節(jié)點(diǎn)上進(jìn)行配置（如果配置過了就進(jìn)行下一步）。首先執(zhí)行vim~/.bashrc加

入一行：

exportPATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

保存后執(zhí)行source~/.bashrc使配置生效。

六.配置集群/分布式環(huán)境

集群/分布式模式需要修改/usr/lccal/hadoop/etc/hadoop中的5個(gè)配置文件，更多設(shè)置項(xiàng)可

點(diǎn)擊查看官方說明，這里僅設(shè)置了正常啟動所必須的設(shè)置項(xiàng)（切記不要改錯(cuò)）：slaves、

core-site.xmkhdfs-site.xmkmapred-site.xmKyarn-site.xml（>

1.文件slaves,將作為DataNode的主機(jī)名寫入該文件，每行一個(gè)，默認(rèn)為localhost,所以

在偽分布式配置時(shí)，節(jié)點(diǎn)即作為NameNode也作為DataNodeo分布式配置可以保留

localhost,也可以刪掉，讓hadoopOl節(jié)點(diǎn)僅作為NameNode使用。

本教程讓hadoopOl節(jié)點(diǎn)僅作為NameNode使用，因此將文件中原來的localhost刪除，

只添加兩行內(nèi)容：

hadoop02hadoop03c

2.文件core-site.xml改為下面的配置：

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>Abaseforothertemporarydirectories.</description>

</property>

</configuration>

3.文件hdfs-site.xml,dfs.replication一般設(shè)為3,但我們只有兩個(gè)hadoop節(jié)點(diǎn),所以

dfs.replication的值還是設(shè)為2：

<configuration>

<property>

<name>node.secondary.http-address</name>

<value>hadoop01:50090</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

</configuration>

4.文件mapred-site.xml（可能需要先重命名,默認(rèn)文件名為maprec-site.xml.template）,

然后配置修改如下：

<configuration>

<property>

<name></name>

<value>yarn</value>

</property>

<property>

<name>mapredjce.jobhistory.address</name>

<value>hadoop01:10020</value>

</property>

<property>

<name>mapredjce.jobhistory.webapp.address</name>

<value>hadoop01:19888</value>

</property>

</configuration>

5.文件yarn-site.xml：

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop01</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

配置好后，將hadoopOl上的/usr/local/Hadoop文件夾復(fù)制到各個(gè)節(jié)點(diǎn)上。因?yàn)橹坝信?/p>

過偽分布式模式，建議在切換到集群模式前先刪除之前的臨時(shí)文件。在hadoopOl節(jié)點(diǎn)上

執(zhí)行：

$cd/usr/local

$sudorm-r./hadoop/tmp#刪除Hadoop臨時(shí)文件

$sudorm-r./hadoop/logs/*#刪除日志文件

$tar-zcf~/hadoop.master.tar.gz./hadoop#先壓縮再復(fù)制

$cd~

$scp./hadoop.master.tar.gzhadoop02:/home/hadoop

在hadoop02節(jié)點(diǎn)上執(zhí)行:

$sudorm-r/usr/local/hadoop#刪掉I口的（如果存在）

$sudotar-zxf^/hadoop.hadoopOl.tar.gz-C/usr/local

$sudochown-Rhadoop/usr/local/hadoop

同樣，如果有其他(hadoop03)節(jié)點(diǎn)，也要執(zhí)行將hadoop.hadoop01.tar.gz傳輸?shù)絟adoop03

節(jié)點(diǎn)、在hadoop03節(jié)點(diǎn)解壓文件的操作。

首次啟動需要先在hadoopOl節(jié)點(diǎn)執(zhí)行NameNode的格式化：

Shell命令噩

$hdfsnamenode-format

接著可以啟動hadoop了，啟動需要在hadoopOl節(jié)點(diǎn)上進(jìn)行（在/jsr/local/hadoop路徑

下）：

$./sbin/start-dfs.sh

$./sbin/start-yarn.sh

$./sbin/mr-jobhistory-daemon.shstarthistoryserver

hadoopghadoopOl:/usr/local/hadoop$./sbln7starE-dfs.sh

Startingnamenodeson[hadoopOl]（一

hadoopGl:startingnanenode,loggingto/usr/local/hadoop/logs/hadoop-hadoop-namenode

-hadoopOl.out

hadoop63:startingdatanode,loggingto/usr/local/hadoop/logs/hadoop-hadoop-datanode

-hadoop03.out

hadoop02:startingdatanode,loggingto/usr/local/hadoop/logs/hadoop-hadoop-datanode

?hadoop02.out

Startingsecondarynanenodes[hadoopOl]

hadoopOl:startingsecondarynamenode,loggingto/usr/local/hadoop/logs/hadoop-hadoop

-secondarynamenode-hadoopei.outt_____________________

hadoop@hadoop01:/usr/local/hadoop$L/sbin/start-yarn.sh

startingyarndaemons

startingresourcemanager,loggingto/usr/local/hadoop/logs/yarn-hadoop-resourcemanag

er-hadoopOl.out

hadoop62:startingnodemanager,loggingto/usr/local/hadoop/logs/yarn-hadoop-nodenan

ager-hadoop62.out

hadoop03:startingnodemanager,loggingto/usr/local/hadoop/logs/yarn-hadoop-nodeman

ager-hadoop63.out

hadoopQhadoopOl:/usr/locaL/hadoop$I./SDin/nr-jODnistory-aaenon.snTtarxnvsxoryserver

startinghtstoryserver,loggingto/usr/local/hadoop/logs/mapred-hadoop-htstoryserver

最后可以通過命令jps可以查看各個(gè)節(jié)點(diǎn)所啟動的進(jìn)程。正確的話，在hadoopOl節(jié)點(diǎn)上可

以看到NameNode、ResourceMarager^SecondrryNameNode、JobHistoryServer進(jìn)程，如下

圖所示：

hadoop@hadoop61:/usr/local/hadoop$jps

3642Jps

2918NameNode

3162SecondaryNameNode

3266ResourceManager

3607JobHistoryServer

在hadoop02,hadoop03節(jié)點(diǎn)可以看到DataNode和NodeManager進(jìn)程，如下圖所示:

hadoop@hadoop02:~$jpshadoop@hadoop63:jps

22875DataNode23850Jps

24015Jps22798NodeManager