Centos7安裝和配置hadoop2.7.3的流程和總結(jié)

1、CentOS7安裝Hadoop2.7.3完整流程及總結(jié)一、前言配置一臺master服務(wù)器，兩臺（或多臺）slave服務(wù)器，master可以無密碼SSH登錄到slave。卸載centos7自帶的openjdk,通過SecureCRT的rz命令上傳jdk-7u79-linux-x64.tar.gz文件到服務(wù)器,解壓安裝JDK，解壓安裝Hadoop，配置hadoop的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件。配置好之后啟動hadoope服務(wù)，用jps命令查看狀態(tài)。再運(yùn)行hadoop自帶的wordcount程序做一個Hell

2、o World實例。二、準(zhǔn)備工作我的系統(tǒng)：windows 10 家庭普通中文版cpu:intel i5 2.2GHz內(nèi)存：8G64位操作系統(tǒng)需要準(zhǔn)備的軟件和文件（全部是64位安裝包）1. 虛擬機(jī)：VMware 12 Pro 12.5.22. Centos7官網(wǎng)下載：/download/ 選擇DVD ISO(標(biāo)準(zhǔn)版)/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1511.iso3. JDK 1.7及以上，官網(wǎng)下載：jdk-7u79-linux-x64.tar.g

3、z4. Hadoop 2.7.3下載地址：/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz5. SecureCRT version 7.2.3三、安裝過程提示：先創(chuàng)建一臺虛擬機(jī),安裝好centos7系統(tǒng)，使用VMware 的克隆功能，克隆另外兩臺虛擬機(jī)。這樣可以節(jié)省時間。3.1虛擬機(jī)設(shè)置當(dāng)三臺虛擬機(jī)安裝好之后，獲得它們的IP地址,并設(shè)置主機(jī)名，（根據(jù)實際IP地址和主機(jī)名）修改/etc/hosts文件內(nèi)容為：28 master.hadoop29

4、 slave1.hadoop30 slave2.hadoop1、vi /etc/hosts命令修改，然后保存（vi的相關(guān)命令見引用來源16）2、more /etc/hosts查看3、重啟后，hosts生效。命令： reboot now3.2 SSH免密碼登錄提示：我全程用的都是root用戶，沒有另外創(chuàng)建用戶。每臺服務(wù)器都生成公鑰，再合并到authorized_keys。1) CentOS默認(rèn)沒有啟動ssh無密登錄，去掉/etc/ssh/sshd_config其中2行的注釋，每臺服務(wù)器都要設(shè)置，#RSAAuthentication yes#PubkeyAuthentic

5、ation yes2) 輸入命令，ssh-keygen -t rsa，生成key，都不輸入密碼，一直回車，/root就會生成.ssh文件夾，每臺服務(wù)器都要設(shè)置，3) 合并公鑰到authorized_keys文件，在master服務(wù)器，進(jìn)入/root/.ssh目錄，通過SSH命令合并，（/.ssh/id_rsa.pub 是省略的寫法，要根據(jù)實際路徑來確定）cat id_rsa.pub>> authorized_keysssh root29 cat /.ssh/id_rsa.pub >> authorized_keysssh root192.168

6、. 186.130 cat /.ssh/id_rsa.pub >> authorized_keys4) 把master服務(wù)器的authorized_keys、known_hosts復(fù)制到slave服務(wù)器的/root/.ssh目錄scp -r /root/.ssh/authorized_keys root29:/root/.ssh/ scp -r /root/.ssh/known_hosts root29:/root/.ssh/scp -r /root/.ssh/authorized_keys root30

7、:/root/.ssh/scp -r /root/.ssh/known_hosts root30:/root/.ssh/5) 完成后，ssh root29、ssh root30或者(ssh rootslave1.hadoop、ssh rootslave2.hadoop ) 就不需要輸入密碼直接登錄到其他節(jié)點上。3.4 Secure CRT連接虛擬機(jī)1、在VMware中把三臺虛擬機(jī)啟動，如下圖所示：2、打開SecureCRT,在一個session里連接三臺虛擬機(jī)，就可以登錄實現(xiàn)操作。Fiel->Quick Con

8、nectionProtocol:ssh2 前提條件是在3.2中實現(xiàn)了ssh免密碼登錄Hostname:28 連接的主機(jī)名Username: root 連接主機(jī)的用戶名Connect 依次連接好三臺虛擬機(jī)3、結(jié)果如下：4、上傳windows系統(tǒng)中的文件到虛擬機(jī)中定位到要上傳文件的目錄下，輸入命令：rz，回車后，彈出文件選擇窗口，選擇文件，點擊add,再OK。文件就上傳到當(dāng)前服務(wù)器的當(dāng)前目錄下。rz命令如果沒有安裝，使用這個命令安裝：yum install lrzsz 3.5 安裝JDKHadoop2.7需要JDK7，由于我的CentOS自帶了Open

9、JDK，所以要先卸載，然后解壓下載的JDK并配置變量即可。1) 在/home目錄下創(chuàng)建java目錄，然后使用rz命令，上傳“jdk-7u79-linux-x64.gz”到/home/java目錄下，2) 解壓，輸入命令，tar -zxvf jdk-7u79-linux-x64.gz3) 編輯/etc/profileexport JAVA_HOME=/home/java/jdk1.7.0_79export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=

10、$PATH:$JAVA_HOME/bin4) 使配置生效，輸入命令，source /etc/profile5) 輸入命令，java -version，完成3.6 安裝Hadoop2.7.3 3.6.1 提要1) secureCRT 上傳“hadoop-2.7.3.tar.gz”，放到/home/hadoop目錄下2) 只在master服務(wù)器解壓，再復(fù)制到slave服務(wù)器（scp命令傳輸）3) 解壓，輸入命令，tar -xzvf hadoop-2.7.3.tar.gz4) 在/home/hadoop目錄下創(chuàng)建數(shù)據(jù)存放的文件夾，tmp、dfs、dfs/data、dfs/name（hdfs-site

11、.xml文件中會用到）3.6.2 配置文件1、/home/hadoop/hadoop-2.7.3/etc/hadoop目錄下的core-site.xml<configuration>    <property>        <name></name>        <value>hdfs:/master.hadoop:9000</value>&

12、#160;   </property>    <property>        <name>hadoop.tmp.dir</name>        <value> /home/hadoop/tmp</value>    </property>    <property>

13、        <name>io.file.buffer.size</name>        <value>131702</value>    </property></configuration>2、 配置/home/hadoop/hadoop-2.7.3/etc/hadoop目錄下的hdfs-site.xml<configuration>    <property>

14、        <name>.dir</name>        <value>file:/home/hadoop/dfs/name</value>    </property>    <property>        <name>dfs.

15、datanode.data.dir</name>        <value>file:/home/hadoop/dfs/data</value>    </property>    <property>        <name>dfs.replication</name>      

16、0; <value>1</value>    </property>    <property>        <name>node.secondary.http-address</name>        <value>master.hadoop:50090</value>    </property> 

17、;   <property>    <name>dfs.webhdfs.enabled</name>    <value>true</value>    </property></configuration>3、配置/home/hadoop/hadoop-2.7.3/etc/hadoop目錄下的mapred-site.xml<configuration><property> &l

18、t;name></name> <value>yarn</value> <final>true</final> </property> <property> <name>mapreduce.jobtracker.http.address</name> <value>master.hadoop:50030</value> </property> <property> <name>

19、mapreduce.jobhistory.address</name> <value>master.hadoop:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master.hadoop:19888</value> </property> <property> <name>mapred.job.tracker<

20、;/name> <value>http:/master.hadoop:9001</value> </property></configuration>4、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目錄下的yarn-site.xml<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> &l

21、t;/property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master.hadoop:8032&l

22、t;/value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master.hadoop:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master.hadoop:8031</

23、value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master.hadoop:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master.hadoop:8088</value> </pr

24、operty> <property> <name>yarn.resourcemanager.hostname</name> <value>master.hadoop</value></property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property></configuration>提示：yarn.no

25、demanager.resource.memory-mbr的值一定要注意，在最后的hello world程序運(yùn)行時，會提示內(nèi)存太小，（hadoop運(yùn)行到mapreduce.job: Running job后停止運(yùn)行 ）我把它從1024改成了20485、配置/home/hadoop/hadoop-2.7.3/etc/hadoop目錄下hadoop-env.sh、yarn-env.sh的JAVA_HOME取消注釋，設(shè)置為export JAVA_HOME=/home/java/jdk1.7.0_796、 配置/home/hadoop/hadoop-2.7.3/etc/hadoop目錄下的slaves

26、，刪除默認(rèn)的localhost，增加2個slave節(jié)點:slave1.hadoopslave2.hadoop7、將master服務(wù)器上配置好的Hadoop復(fù)制到各個節(jié)點對應(yīng)位置上，通過scp傳送scp -r /home/hadoop 29:/home/scp -r /home/hadoop 30:/home/3.6.3 啟動hadoop提示：在master服務(wù)器啟動hadoop，各從節(jié)點會自動啟動，進(jìn)入/home/hadoop/hadoop-2.7.0目錄，hadoop的啟動和停止都在master服務(wù)器上執(zhí)行。1) 初始化，在hadoop-2

27、.7.3目錄下輸入命令，bin/hdfs namenode format2) 啟動命令sbin/start-dfs.shsbin/start-yarn.sh3) 輸入命令，jps，可以看到相關(guān)信息master上看到slave上4) 停止命令，依次執(zhí)行：sbin/stop-dfs.sh、sbin/stop-yarn.sh至此，hadoop配置完成了。四、Hadoop入門之HelloWorld程序摘要：初步接觸Hadoop，必不可少的就是運(yùn)行屬于Hadoop的Helloworld程序wordcount，統(tǒng)計文件中各單詞的數(shù)目。安裝好的Hadoop集群上已有相應(yīng)的程序。我們來驗證一下。4.1 準(zhǔn)備數(shù)

28、據(jù) 在/home/hadoop下創(chuàng)建file文件夾，里面生成file1.txt,file2.txt,file3.txt,file4.txt四個文件4.2 然后把數(shù)據(jù)put到HDFS里4.3 進(jìn)入hadoop-mapreduce-examples-2.7.3.jar所在文件夾，使用pwd輸出當(dāng)前目錄的路徑4.4 在/home/hadoop/hadoop-2.7.3目錄下執(zhí)行命令：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output2INFO mapred

29、uce.Job: Job job_1480100450381_0001 completed successfully意味著運(yùn)行成功，否則就要根據(jù)出錯信息或者日志排錯。其中，/output2是執(zhí)行結(jié)果輸出目錄(因為之前已經(jīng)存在了output文件夾了)，到此，HelloWorld就順利執(zhí)行了，你可以用hadoop fs -cat  /output2/part-r-* 命令來查看結(jié)果.4.5 結(jié)果如下：查看之前的文件內(nèi)容，對比上圖的結(jié)果。五、引用來源提示：從安裝到配置再到成功運(yùn)行hadoop的wordcount程序，借鑒了來自以下網(wǎng)頁中的智慧，根據(jù)實際情況稍做修改。在此表示感謝！1、CentOS7安裝Hadoop2.7完整流程 - OPEN 開發(fā)經(jīng)