Centos7安裝和配置hadoop2.7.3地流程和總結(jié)材料

1、CentOS7安裝完整流程及總結(jié)一、前言配置一臺(tái)master服務(wù)器，兩臺(tái)（或多臺(tái)）slave服務(wù)器，master可以無(wú)密 碼SSH登錄到slave。卸載centos7自帶的openjdk,通過SecureCRT的rz命令 上傳jdk-7u79-linux-x64.tar.gz文件到服務(wù)器,解壓安裝JDK解壓安裝Hadoop配置 hadoop 的 core-site.xml 、 hdfs-site.xml 、 mapred-site.xml 、 yarn-site.xml文件。配置好之后啟動(dòng)hadoope服務(wù)，用jps命令查看狀態(tài)。再運(yùn)行hadoop自帶的wordcount程序做一個(gè)Hello

2、World 實(shí)例。二、準(zhǔn)備工作我的系統(tǒng)：windows 10家庭普通中文版cpu:intel i5 2.2GHz存：8G64位操作系統(tǒng)需要準(zhǔn)備的軟件和文件（全部是64位安裝包）1. 虛擬機(jī)：VMware 12 2. Centos7 官網(wǎng)下載：https:/./download/選擇 DVD ISO標(biāo)準(zhǔn)版3. JDK 1.7 及以上，官網(wǎng)下載：4. Hadoop 2.7.3 下載地址：z三、安裝過程提示：先創(chuàng)建一臺(tái)虛擬機(jī),安裝好centos7系統(tǒng)，使用VMware的克隆功能，克 隆另外兩臺(tái)虛擬機(jī)。這樣可以節(jié)省時(shí)間。3.1虛擬機(jī)設(shè)置砸件選頃設(shè)奮摘要匚內(nèi)存2C6口處理器1Sfif

3、SCSI)20 GB/ CD/DVD(3DE)正在使用文件 G:CemtOS-7-K&6_M-.壷網(wǎng)錨話酉曙NAT USB控制器存在心聲卡自 artHN吾打印機(jī)存在J個(gè)監(jiān)視器當(dāng)三臺(tái)虛擬機(jī)安裝好之后，獲得它們的IP地址,并設(shè)置主機(jī)名，（根據(jù)實(shí)際IP地址和主機(jī)名）修改/etc/hosts 文件容為：28 master.hadoop29 slave1.hadoop30 slave2.hadoop1、vi /etc/hosts命令修改，然后保存（vi的相關(guān)命令見引用來(lái)源16）127. 0. 0.1 luLdlfioi

4、L inaLKr . hdduuy luLdilliuiL4lu(_dldmiiafn4lccalhost localhost,localdomain localhost6 Iccslhoste.localdomain6 192.16B.1B6.12B master.hadoop2 slavel.hadoap192*168*16*130 ldwZ. Idduup2、more /etc/hosts 查看roor<?4iia5ttr badoop# more /etc/hosrs#1 ?7. D. 0L1 localhnt matpr. hacloop lncalh

5、ostd loralhnst. IocaI rionai r4#;1localhost localhost* 1 ocaldomain localhcstG locallTost localdomainCIQ?. 168.1££. 1?E. hadnop192.16B.18.125 s1avel.hadoop192 168.186.130 s lavc2.hadMpr OOL4T)d5tt!l hddoop# I3、重啟后，hosts生效。命令：reboot now3.2 SSH免密碼登錄提示：我全程用的都是root用戶，沒有另外創(chuàng)建用戶。每臺(tái)服務(wù)器都生成公鑰，再合并至U

6、authorized_keys。1) CentOS默認(rèn)沒有啟動(dòng)ssh無(wú)密登錄，去掉/etc/ssh/sshd_config其中2行的注釋，每臺(tái)服務(wù)器都要設(shè)置，#RSAAuthentication yes#PubkeyAuthe nticati on yes2) 輸入命令，ssh-keygen -t rsa，生成key，都不輸入密碼，一直回車，/root 就會(huì)生成.ssh文件夾，每臺(tái)服務(wù)器都要設(shè)置，3) 合并公鑰到authorized_keys 文件，在 master服務(wù)器，進(jìn)入/root/.ssh 目錄，通過SSH命令合并，(/.ssh/id_rsa.pub是省略的寫法，要根據(jù)實(shí)際路徑來(lái)確定)

7、cat id_rsa.pub>> authorized_keysssh root29 cat /.ssh/id_rsa.pub >> authorized_keysssh root192.168. 186.130 cat /.ssh/id_rsa.pub >> authorized_keys4) 把 master 服務(wù)器的 authorized_keys、known_hosts 復(fù)制到 slave 服務(wù)器的 /root/.ssh 目錄scp-r/root/.ssh/authorized_keysroot29

8、:/root/.ssh/scp -r /root/.ssh/k no wn_hosts root29:/root/.ssh/scp-r/root/.ssh/authorized_keysroot30:/root/.ssh/scp -r /root/.ssh/k no wn_hosts root30:/root/.ssh/5) 完成后，ssh root29、ssh root30 或者(sshrootslavel.hadoop、ssh rootslave2.hadoop

9、 )就不需要輸入密碼直接登錄到其他節(jié)點(diǎn)上。|root®master # ssh roott&slavel.hadoopLast login: sat Nov 26 23:10:58 2016 from rootsTavel # esit豊出connection to siavel. hadoop closed.rootmaster -# ssh roorslave2h赳ToopLast 1ogi n! Sat Nov 26 22ilO:59 2016 from roor&sTave2 exit登出hConnett

10、l on to si ave2. hadoop c1osed.r oot &niast er|3.4 Secure CRT 連接虛擬機(jī)1、在VMware中把三臺(tái)虛擬機(jī)啟動(dòng)，如下圖所示:2、打開SecureCRT,在一個(gè)session里連接三臺(tái)虛擬機(jī)，就可以登錄實(shí)現(xiàn)操作Fiel->Quick Conn ecti onProtocol:ssh2前提條件是在3.2中實(shí)現(xiàn)了 ssh免密碼登錄Host name:28 連接的主機(jī)名Username: root連接主機(jī)的用戶名Connect依次連接好三臺(tái)虛擬機(jī)Fnbi Eij" Vhvr Optisra.

11、Tran«M- Kcnpitij.-. r'Tocda-二j_匕型；&D 0 CoIh3、結(jié)果如下:4、上傳windows系統(tǒng)中的文件到虛擬機(jī)中定位到要上傳文件的目錄下，輸入命令：rz，回車后，彈出文件選擇窗口， 選擇文件，點(diǎn)擊add,再0K文件就上傳到當(dāng)前服務(wù)器的當(dāng)前目錄下。rz 命令如 果沒有安裝，使用這個(gè)命令安裝：yum in stallIrzszFl* 14k 釧” wb* Hii 耳磁 肩如 T«h WUd$» H>«£國(guó) Fii«. ta Send usr qmSijj.fl卑 IGQfia 186.

12、1»如*B|匚祁血關(guān)鶴cii対rt vTew tMe K*Z» d* =.-,.wi-和1列0.畑陽(yáng)丈武曲!”Bpm"申kavlh bnohmaHin.l'flini也曲 eHhT >mlin. 單為KE <5iud| tii>c+ n 祁I(lǐng)ptejT專斤n 怙援巧mGanri皿 鬲g _3嚀需Mb利Z3.5安裝JDKHadoop2.7需要JDK7,由于我的CentOS自帶了 OpenJDK所以要先卸載，然 后解壓下載的JDK并配置變量即可。1) 在/home目錄下創(chuàng)建java 目錄，然后使用rz命令，上傳“jdk-7u79-linux-

13、x64.gz”到 /home/java 目錄下，2) 解壓，輸入命令，tar -zxvf jdk-7u79-li nux-x64.gz3) 編輯 /etc/profileexportjaCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools rexport PATH=$PATH:$JAVA_HOME/bi n4) 使配置生效，輸入命令，source /etc/profile5) 輸入命令，java -version ，完成rootmaster # java -version javs ve

14、rsion ,hl. 7. D_7gM java(TM) se Runtime Environment (build 1.7- O_79-bl5) java Hotspot(tm) 64-Bic server vw Cbufld 24* 79-b02, mixed mode) root&niaster3.6 安裝 3.6.1 提要1) secureCRT 上傳“ hadoop-2.7.3.tar.gz ”，放到 /home/hadoop 目錄下2) 只在 master 服務(wù)器解壓，再?gòu)?fù)制到 slave 服務(wù)器( scp 命令傳輸)3) 解壓，輸入命令， 4) 在/home/hadoop

15、目錄下創(chuàng)建數(shù)據(jù)存放的文件夾，tmp、dfs、dfs/data、dfs/name (hdfs-site.xml文件中會(huì)用到)3.6.2 配置文件1、目錄下的 core-site.xml<configuration><property><name></name> <value>hdfs:/master.hadoop:9000</value></property><property><name>hadoop.tmp.dir</name><valu

16、e> /home/hadoop/tmp</value></property><property><name>io.file.buffer.size</name><value>131702</value></property></configuration>2、配置 目錄下的 hdfs-site.xml <configuration><property><name>.dir</name><valu

17、e>file:/home/hadoop/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/hadoop/dfs/data</value></property><property><name>dfs.replication</name><value>1</value></property><p

18、roperty><name>node.secondary.http-address</name><value>master.hadoop:50090</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property></configuration>3、配置 目錄下的 mapred-site.xml<configu

19、ration><property><name></name><value>yarn</value><final>true</final></property><property><name>mapreduce.jobtracker.http.address</name><value>master.hadoop:50030</value></property><prope

20、rty><name>mapreduce.jobhistory.address</name><value>master.hadoop:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master.hadoop:19888</value></property><property><name>mapred.job

21、.tracker</name><value>master.hadoop:9001</value></property></configuration>4、配置 目錄下的 yarn-site.xml<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><

22、name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</ name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>master.hadoop:8032</value></property><property

23、><name>yarn.resourcemanager.scheduler.address</name> <value>master.hadoop:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master.hadoop:8031</value></property><property><na

24、me>yarn.resourcemanager.admin.address</name> <value>master.hadoop:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name> <value>master.hadoop:8088</value></property><property><name>yarn.resourcemana

25、ger.hostname</name><value>master.hadoop</value></property><property><name>yarn.nodemanager.resource.memory-mb</name><value> 2048</value></property></configuration>提示： yarn.nodemanager.resource.memory-mbr 的值一定要注意，在最后的 hello world 程序運(yùn)行時(shí)

26、，會(huì)提示存太小， ( hadoop 運(yùn)行到 mapreduce.job:Running job后停止運(yùn)行）我把它從1024改成了 20485、配置目錄下 hadoop-env.sh、 yarn-env.sh 的 JAVA_HOME取消注釋，設(shè)置為 6 配置目錄下的 slaves，刪除默認(rèn)的localhost ，增加2個(gè)slave節(jié)點(diǎn):slave1.hadoopslave2.hadoop7、將master服務(wù)器上配置好的Hadoop復(fù)制到各個(gè)節(jié)點(diǎn)對(duì)應(yīng)位置上，通過scp傳送scp -r /home/hadoop 29:/home/scp -r /home/hadoop 1

27、30:/home/3.6.3 啟動(dòng) hadoop提示：在master服務(wù)器啟動(dòng)hadoop，各從節(jié)點(diǎn)會(huì)自動(dòng)啟動(dòng)，進(jìn)入 /home/hadoop/hadoop-2.7.0 目錄，hadoop的啟動(dòng)和停止都在 master服務(wù)器上 執(zhí)行。1）初始化，在 hadoop-2.7.3 目錄下輸入命令，bi n/hdfs name node - format2）啟動(dòng)命令sbi n/start-dfs.sh sbi n/start-yarn.shrooti&naster7. 3# sbi n/stop-dfs. shstoppi ng namenades on masre廠.

28、hadoop master. nadoop: stoppi ng namenoB色 si hadoop: &tapping daitanode siavel. hadoop: stopping datanoderoatnater hadoop-27»了柑 sbi n/stap-yarn掃h(yuǎn) sropplng yarn daernons stoppl ng r esourcernanagersi ave?. nadoop: sroppi ng nodeinanager siavel. hadoap: stopping nodemanager no proxyserver vo

29、stoprootSMnaster hadoop-2人于#3）輸入命令，jps，可以看到相關(guān)信息master上看至UErootOmasrQr hadoop-2.7.3# jps 4248 NameNode4773 Jps4496 ResourceMartaigmr roorOmasr er hactoop-Z. 7. 3#slave 上rooxaslavel 斗# jps 301 Jps341 KodeMngerroot&slavel 十#4) 停止命令，依次執(zhí)行：sbin/stop-dfs.sh 、sbin/stop-yarn.shrootmAster hadoop-2.7.3# sb

30、i n/stop-dfs, sh stopping ramenodes on mastehadoop master. nadoop: stoppi ng nanienode siave2.hadoop: stoppi ng datanode 51 avcl* hadoop; sto-ppi ng d at anoderootmaster hadoop-2sbi n/stop-yarn* sh stopping yarn daemons stopping resourcemanagerslaves, hadoop: sxo-ppi ng nod emanager siavel.hadoop: s

31、to-pping nodemanager no proxyserver to stopz 2! j 至此，hadoop配置完成了。四、Hadoop入門之HelloWorld 程序摘要：初步接觸 Hadoop,必不可少的就是運(yùn)行屬于 Hadoop的Helloworld 程序wordcount，統(tǒng)計(jì)文件中各單詞的數(shù)目。安裝好的Hadoop集群上已有相應(yīng) 的程序。我們來(lái)驗(yàn)證一下。4.1準(zhǔn)備數(shù)據(jù)在 /home/hadoop 下創(chuàng)建 file 文件夾，里面生成file1.txt,file2.txt,file3.txt,file4.txt四個(gè)文件'rootmaster TOOtm aster ro

32、ot®rtiaster 總用量16fi lei fi le' fileecho lFHe11 o echo lhHel 1 o11world Hello Hadoop" a fi1e3.txt xiongfeJ 1 > 鬥lE4.txt1 root1 root1 root1 root月月月月1 1 X 1 11112 3 5 51 1 2 1 otgotCT o o o o22:01 22； 01 03:16 Qi: 17filel.txt file2.txt f i 1 e 3. t xt f i 1 e4. r xr4.2然后把數(shù)據(jù)put到HDFS里rDa

33、t-mistcr r »ar&master Fuund 4 i tens 一 -rw-rr一一mapreauce haronp-?. hadoap-2. hacoap-2.ti c d7. 31#7.3#7.31/homehadoo ri/hdnnp b n/hadoop bJ n/hadoop乞-pur /hfTm/hAfinnp/f i 1ilp?,-put hom/hadcop f11c/fi'e4. -13 /1npuLtxt /i txt /inpuT nptrtr ootSfliiistcrL rooi supergroup 1 root supergro

34、up 1 rOol Supergroup 1 root supergroup hacoop 27312Oie-Ll-Z> 21；43 /1npui/f lei 2316-11-2j 21:43 input/f-Ie2 2016-11-26 03:26 /Input/file! 2016-11-26 03:26 /dnput/file4,tXT -txt .txt txt4.3 進(jìn)入 hadoop-mapreduce-examples-2.7.3.jar所在文件夾，使用pwd輸出當(dāng)前目錄的路徑Eroot<&mast er nipr edu匚色# 1 srooriMaster

35、mapredu匚e# pwd /home/hadaop/liadoap-Z. 了、3f shar e/hadoap? mapr edu匚e roorater mapredike#4.4 在/home/hadoop/hadoop-2.7.3目錄下執(zhí)行命令:jarwordco untbin/hadoop/in put /output2tinglb.lL/Zb16/11/21&/1S/2E.1G/11/2C 16/11/26lfiibf ir./2b in n/?6 lb/lS/2b 16/11/26 1&；L1 /2<?03:3003:和03:3003:50O3：3O03:0

36、03: JO03:3103: M03： 3103:510313103: 31OJ：J103 :31File sysrpfn countCTk C WrTl r1IHFOTNFO IM=DINFO IN-FO INFO INFOTNFO IINFO INFOIFO ThFO INFO 1HFOcl I efi匚 HMPrcxy: corimuCLlrig Lu K老scmj廣l出dndig色 dit iLis-Ler. hdoqp/192 丄& 1K6 input. Fi lTnputFarmait; Tgftail inpirr paths to proress : 4vnapredu

37、ce Jobutinnttwr: nuiriber of splits:4''_ 1CM1 on app 11 CM i on_14B01004 50J81 JXJOl job： hrr|i：/niascer . ludoop:safi3/proy/a|tiiapr educe. ubSuhtn r t ter ' Slubmf 11°i m ifflipEYarrclientlimp 1: sub-viitted 即云卩reduce, jab： mapreduce Job: vujpriuduL Job: fnpreducf1 lab: vnpreduce

38、Jab: tiiapr educe. 3ub: prcducQ. Job; imapreduce. lab: vnapreduce Jab: viMpruduc. Jub:The ur 1 2 Lrack rheRumi ng job: job_14K01C04b0-3Bl_D001 j<jb Jod_jL4801(X)4501*丄丄 rurmlriig 1h uber ncuJ電:falhuIITldpITI岬IYWmapJob jOb_148iil(XJ4SUJS1_COO1 conp leted successful 1yCduriitirs: 51ON reduce <9%

39、 reduce 0%7貿(mào) rduc.i> OK idgk reduce ox IDO% redLire lOOfcINFO map reduce .Jo b: Job job_81_0001 completed successfully意味著運(yùn)行成功，否則就要根據(jù)出錯(cuò)信息或者日志排錯(cuò)。其中，/output2是執(zhí)行結(jié)果輸出目錄（因?yàn)橹耙呀?jīng)存在了 output文件夾了），到此，HelloWorld就 順利執(zhí)行了，你可以用hadoop fs -cat /output2/part-r-*命令來(lái)查看結(jié)果.4.5結(jié)果如下：Lrootiwsrer3J# bin/hadoop f 3 -Is15； r

40、: hk> such file or directory1 root supergroup0 ZQ1&-11-Z6 Q3；31 /outpUTZZiUCCESS1 root supergroup3b 201&-11-26/output2/part-r-OODCXJhadoop 2.7.31* bln/iaooop fs cat /outpurcz/parT ir oooooILrootfiAfliaster hadoop-2- 7- bi n/ha6oop ts -Is /owtputJ Found I frciTJrw-r一 -rw-pr rrootawacicr1hi

41、iidcwp-2.Hadoop 2 H&lllG 5 tforlld 2 xliongf ai 丨-八亠bln/hadoop fs bi n/hadoop fs bln/hadoop fs bi n/hadoop fs-cat /input/filel.txt -cat /input/fi1e2.txt -car /input/file3.txt -car /input/fille4.txt查看之前的文件容，對(duì)比上圖的結(jié)果rootmister hadoop-2.7. M# Hello worldrootmaster hadoop-2.7. 3# Hello Hadaoproot

42、9;master hadoap-Z. 7.3# Hell d worl ci Hel 1 o Hadoop root©master hadoop-2.7. 3* Hel 1 o xl ongfelroormasrer hadoop-2.7. 3#五、引用來(lái)源提示：從安裝到配置再到成功運(yùn)行 hadoop的wordcount程序，借鑒了來(lái)自以下 網(wǎng)頁(yè)中的智慧，根據(jù)實(shí)際情況稍做修改。在此表示感！1、CentOS7安 裝 Hadoop2.7 完 整流程 - OPEN開 發(fā)經(jīng)驗(yàn)庫(kù).ope n-ope n. /lib/view/ope n78.html2、CentOS 7.1下SSH遠(yuǎn)程登錄服務(wù)器詳解.li nuxidc./Li nux/2016-03/129204.htm3、ssh連接失敗，排錯(cuò)經(jīng)驗(yàn).cnblogs./starof/p/4709805.html4、CentOS7安裝 Hadoop2.7 完整步驟.li nuxidc./Li nux/2015-11/124800.htm5、