Hadoop集群搭建

1、Hadoop集群搭建Master機的ip地址假定為slaves1的假定為slaves2的假定為各臺機器的用戶同為redmap,hadoop根目錄為：/hadoop（即直接在filesystem里裝得hadoop）（1）redmap-master作為Namenode,JobTracker,SecondaryNameNode（2）redmap-slaves1作為Datanode,TaskTracker（3）redmap-slaves2作為Datanode,TaskTr

2、acker配置首先,需要配置各個機器間的相互訪問：1、按照上面的設置修改各臺機器的host文件和hostname文件,保證機器可正常通信。在master機上的hosts文件（相關部分）為：localhostredmap-masterredmap-slaves1redmap-slaves22、配置ssh的自動登陸（在master機上）：$ssh-keygen-tdsa-P”-f/.ssh/id_dsa完成后會在/.ssh/生成兩個文件：id_dsa和id_dsa.pub。再把id_dsa.pub追加到授權key里面（當前并沒有authorized_keys文件）：$cat/.s

3、sh/id_dsa.pub/.ssh/authorized_keys完成后可以實現(xiàn)無密碼登錄本機：$sshlocalhost3、把master上的id_dsa.pub文件追加到2和3的authorized_keys內（以slaves1節(jié)點為例）：#拷貝master的id_dsa.pub文件（在master號機器上執(zhí)行）$scpid_dsa.pubredmap:/home/maple/注：（只需在主節(jié)點上運行ssh-kegen程序。其他節(jié)點的目錄結構創(chuàng)建后,將剛才在主節(jié)點創(chuàng)建的keys通過scp拷貝到從節(jié)點的同樣的目錄上。）我們在實際執(zhí)行中是手動把id_dsa.pub拷貝到

4、兩個slaves的節(jié)點中，而不是用scp命令登錄，進入/目錄執(zhí)行：$catid_dsa.pub.ssh/authorized_keys之后可以在master上不輸入密碼直接SSH訪問slaves14、配置集群node文件在master機器(namenode,)上完成5、修改conf/目錄下的master文件，內容如下：redmap-master6、修改conf/目錄下的slaves文件，內容如下：redmap-slaves1redmap-slaves27、修改conf/hadoop-env.sh文件的環(huán)境變量：#Thejavaimplementati

5、ontouse.Required.exportJAVA_HOME=/usr/java/jdk1.68、修改conf/core-site.xml配置文件，內容如下：?xmlversion=1.0?xml-stylesheettype=”text/xsl”href=”configuration.xsl”?!一Putsite-specificpropertyoverridesinthisfile.-propertynamehadoop.tmp.dirvalue/hadoop/tmpdescriptionAbaseforothertemporarydirectories./propertyproper

6、valuehdfs:/hadoop-test1:9000/property/configuration9、修改conf/hdfs-site.xml配置文件，內容如下：?xmlversion=1.0?xml-stylesheettype=”text/xsl”href=”configuration.xsl”?!-Putsite-specificpropertyoverridesinthisfile.-namedfs.replication!-設置一個數(shù)據(jù)塊存儲的份數(shù)-1/propertydfs.data.dir/hadoop/hadoopfs/datadf

7、.dir/hadoop/hadoopfs/name10、修改conf/mapred-site.xml配置文件，內容如下：?xmlversion=1.0?xml-stylesheettype=”text/xsl”href=”configuration.xsl”?!-Putsite-specificpropertyoverridesinthisfile.-propertynamemapred.job.trackervaluehadoop-test1:9001/property/configuration11、修改/ect/profile配置文件，在末尾追加以下內容，并輸入source/

8、etc/profile使之生效：exportJAVA_HOME=/usr/java/jdk1.6exportJRE_HOME=/usr/java/jdk1.6/jreexportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$PATHexportHADOOP_HOME=/hadoop/exportPATH=$HADOOP_HOME/bin:$PATH分發(fā)集群軟件到各個機器：使用tar和scp命令將master機器上的hadoop目錄打包分發(fā)到其他機器對應的目錄下：$tar-cafhadoop.tar.gzhadoop$scp-Chadoop.tar.gzrepmap:/hadoop/ect/profile和/etc/hosts也要相應保持一致注意profile需要做生效操作。注：實際中，我們也是手動把hadoop.tar.gz拷貝到兩個slaves使用配置完成后，就可以使用hadoop了：1、啟動前需要格式化H