hadoop集群完整配置過程詳細筆記

本文為筆者安裝配置過程中詳細記錄的筆記1．下載hadoophadoop-2.7.1.tar.gzhadoop-2.7.1-src.tar.gz64位linux需要重新編譯本地庫2．準備環(huán)境Centos6.464位，3臺hadoop0 51 namenodehadoop1 52 datanode1Hadoop2 53 datanode21）安裝虛擬機：vmwareWorkstation10,創(chuàng)建三臺虛擬機，創(chuàng)建時，直接建立用戶ha，密碼111111.同時為root密碼。網(wǎng)卡使用橋接方式。安裝盤對OntOS-5.4-iS654-l3in-DVD-12）.配置IP.創(chuàng)建完成后，設(shè)置IB可以直接進入桌面，在如下菜單下配置IP,配置好后,PING確認好用。LockscreenLogOutShutDown...RreferencEAdministrationAboutthisComputer0AboutMe>忸A(yù)ppearanceAssistiveTechnologies0LockscreenLogOutShutDown...RreferencEAdministrationAboutthisComputer0AboutMe>忸A(yù)ppearanceAssistiveTechnologies0Bluetuoth,,DefautPrinter/Deskt叩Effects劃Display匱FileManrigemeri：由Keyboard爵KeyboardShortcutsMouseNetworkconnections3） 更改三臺機器主機名切換到root用戶，更改主機名。[ha@hadoop0~]$su-rootPassword:[root@hadoop0~]#hostnamehadoop0[root@hadoop0~]#vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop0以上兩步后重啟服務(wù)器。三臺機器都需要修改。4） 創(chuàng)建hadoop用戶由于在創(chuàng)建虛擬機時，已自動創(chuàng)建，可以省略。否則用命令創(chuàng)建。5）修改hosts文件[root@hadoop0~]#vi/etc/hostslocalhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainlocalhost6localhost6.localdomain6hadoop0hadoop1hadoop2此步驟需要三臺機器都修改。建立三臺機器間，無密碼SSH登錄。1） 三臺機器生成密鑰，使用hadoop用戶操作[root@hadoopO~]#su一ha[ha@hadoop0~]$ssh-keygen-trsa所有選項直接回車，完成。以上步驟三臺機器上都做。2） 在namenode機器上，導(dǎo)入公鑰到本機認證文件[ha@hadoopO~]$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys3） 將hadoopl和hadoop2打開/home/ha/?ssh/id_rsa?pub文件中的內(nèi)容都拷貝到hadoopO的/home/ha/.ssh/authorized_keys文件中。如下：[hadQiad口叩口'"]?cart.sstv*authc>t:izedleysssh-E^aAAAABlffzaCLyc2EAAAABIvAAAqEA：lc95ireti9tLfDlnPPGITEkLhKST+JR內(nèi)血dC詛TIHgtflAXinhFDt2EfFcOCKdw凸心■lEJ筒EIKC+clEb：??強宛6肚。站皿邊據(jù)訶威日注?}咲]Wdp血旳口訓(xùn)曲5粧*sVf斷血販it]網(wǎng)呢+fStnffl7Xf73tPj【MK）RiToi；訐二h：擄h：対皿切ssh-tsaAAAAEi汕訶：Lyc：2EAAAABT|yAAMlEABlif]cy+刪hKniupEi工呂悝図默lnJWJg：3L￡；b<）dabt50|c：￡fyFgUCnjJ]cRiiin：lsiW[>t￥3ORMQjXI￥4RbQiriAPpA￡itYVMMH/f|iilM!3PaK￡sffCP8bBVV6ijO1VY3-H{au^+l（i￡i3l^r7slONFLAi；bLwisBaE.3JK-EAdEJjOfa37Hi^kE35C：bLlEjKcL1CEPKKEeIoP0c^iWe^0Xt.sbS叮慎鼠曲創(chuàng)1聘曲fKikPuiTHDiLEIpI2Of九口￡際1點|：[超01/雅1肚《11比14兀曲nJOySOYDf話j切LVk陸biz說RKw】工監(jiān)就陰TJCMPp呱鼬2昭S1ElSriKakRi￡pOB?JCFZULP8HEkT6i==haShadaopli=h-we!WLE：JNriCL^2IAAAAIIIvW￡|EAirE/SpJ91WHdffJTaaEvdQ3^h05d]VdTwOnKlJAIAEujgoclE-EluhE15tMSnjrabyJKIMSHASkjFUZez;卄1LiflKtETn!C31L&EHaVc5^ITAr+fluBcTGiV6sajLiiilxIiIEBi31J&/slJIVxt￡vZTiESuIigESTVAVhfiy3yTHriLB3uRdEffd5UHhn^JXIiTT/ve9^]ijrSDt6ScrjlncQhIi^wi^PEVlyErilridHiTif7ZIy7BK￡nV99jIPce/tiFvbinclffiiFLG-HfjikCfdOvCMG-pKii^ciJ口Piroa0xJqQyjE9x2HyUFpaLpcDVrlLIOfllrLjlCtB/aLVTiryC4:VehBQlqRTpAl^=hdKhadDopS4） 將namenode上的/home/ha/.ssh/authorized_keys文件拷貝到hadoopl和hadoop2的/home/ha/?ssh文件夾下。同時在三臺機器上將authorized_keys授予600權(quán)限。[]$chmod6OOauthorized_keys5） 驗證任意兩臺機器是否可以無密碼登錄，如下狀態(tài)說明成功，第一次訪問時需要輸入密碼。此后即不再需要。[ha@hadoopO~]$sshhadoop1Lastlogin:TueAug11OO:58:1O2O15fromhadoop2安裝JDK1.71） 下載JDK（32或64位），解壓[ha@hadoopOtools]$tar-zxvfjdk-7u67-linux-x64.tar.gz2） 設(shè)置環(huán)境變量（修改/etx/profile文件），exportJAVA_HOME=/usr/jdk1.7.O_67exportCLASSPATH=:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin3） 使環(huán)境變量生效，然后驗證JDK是否安裝成功。[ha@hadoop1~]$source/etc/profile[ha@hadoop1~]$java-versionjavaversion"1.7.0_67"Java(TM)SERuntimeEnvironment(build1.7.0_67-b01)JavaHotSpot(TM)64-BitServerVM(build24.65-b04,mixedmode)5．關(guān)閉防火墻[root@hadoop0~]#chkconfigiptablesoff//關(guān)閉開機啟動[root@hadoop0~]#serviceiptablesstop//停止防火墻關(guān)閉selinux[root@hadoop0~]#vi/etc/selinux/configSELINUX=disable6.編譯hadoop本地庫，如果是64位linux，需要通過hadoop源代碼重新編譯本地庫。32位的不用編譯。1.）編譯相關(guān)包下載下載重新編譯需要的軟件包apache-ant-1.9.6-bin.tar.gzfindbugs-3.0.1.tar.gzprotobuf-2.5.0.tar.gzapache-maven-3.3.3-bin.tar.gz下載hadoop2.7.1的源碼包hadoop-2.7.1-src.tar.gz安裝相關(guān)包[root@hadoop0~]#tar-zxvfhadoop-2.7.1-src.tar.gz[root@hadoop0~]#tar-zxvfapache-maven-3.3.3-bin.tar.gz-C/opt/[root@hadoop0~]#tar-zxvfapache-ant-1.9.6-bin.tar.gz-C/opt/[root@hadoop0~]#tar-zxvffindbugs-3.0.1.tar.gz-C/opt/[root@hadoop0~]#tar-zxvfprotobuf-2.5.0.tar.gz修改/etc/profile[root@hadoop0~]#vi/etc/profileexportMAVEN_HOME=/home/ha/maven-3.3.3exportANT_HOME=/home/ha/ant-1.9.6exportFINDBUGS_HOME=/home/ha/findbugs-3.0.1exportPATH=$PATH:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$ANT_HOME/bin[root@hadoop0~]#source/etc/profile安裝PROTOBUF[root@hadoop0~]#cdprotobuf-2.5.0[root@hadoop0~]#./configure[root@hadoop0~]#make[root@hadoop0~]#makecheck[root@hadoop0~]#makeinstall5）驗證各軟件是否安裝成功。[root@hadoop0~]#mvn-v[root@hadoop0~]#ant-version[root@hadoop0~]#findbugs-version[root@hadoopO~]#protoc-version6）安裝依賴包[root@hadoop0~]#yum-yinstallsvnncurses-develgcc*[root@hadoop0~]#yum-ylzo-develzlib-develautoconfautomakelibtoolcmakeopenssl-devel7）編譯hadoop[**********************.1-src]#cd/home/ha/hadoop-2.7.1-src[**********************.l—src]#mvncleaninstall -DskipTests[**********************.l—src]#mvnpackage-Pdist,native-DskipTests -Dtar執(zhí)行過程中，會從互聯(lián)網(wǎng)下載許多東西，由于網(wǎng)絡(luò)原因，可能會失敗，多執(zhí)行幾次就會成功。編譯成功后，會出現(xiàn)/home/ha/hadoop-2.7.1-src/hadoop-dist/target/hadoop-2.7.1/lib/native文件夾。7．安裝hadoop1）解壓hadoop[ha@hadoop0~]$tar-zxvfhadoop-2.7.1.tar.gz并將上一步編譯好的native的內(nèi)容替換/home/ha/hadoop-2.7.1/lib/native內(nèi)容2）修改/home/ha/hadoop-2?7?1/etc/hadoop下配置文件。hadoop-env.shhdfs-site.xmlcore-site.xmlmapred-site.xmlslavesyarn-env.shyarn-site.xml略，詳見配置文件.需要建立/home/ha/tmp,/home/ha/dfs/name,/home/ha/dfs/data三個文件夾。在core-site?xml中配置<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop0:9000</value></property><property><name>io.file.buffer.size</name><value>131072</value></property><property><name>hadoop.tmp.dir</name><value>file:/home/ha/tmp</value><description>Abaseforothertemporarydirectories.</description></property></configuration>在hdfs-site?xml中配置<configuration><property><name>node.secondary.http-address</name><value>hadoop0:9001</value></property><property><name>.dir</name><value>file:/home/ha/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/ha/dfs/data</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property></configuration>配置mapred-site.xml文件<configuration><property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop0:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop0:19888</value></property></configuration>配置slaveshadoop1hadoop2配置yarn-site.xml<configuration><!--SitespecificYARNconfigurationproperties--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>hadoop0:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop0:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>hadoop0:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>hadoop0:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>hadoop0:8088</value></property></configuration>確保hadoop-env.sh和yarn-env.sh中的JAVA_HOME是正確的。3）修改/etc/profile略，詳見配置文件,藍色用于編譯hadoopexportJAVA_HOME=/usr/jdk1.7.0_67exportHADOOP_HOME=/home/ha/hadoop-2.7.1exportHIVE_HOME=/home/ha/hive-1.2.1exportMAVEN_HOME=/home/ha/maven-3.3.3exportANT_HOME=/home/ha/ant-1.9.6exportFINDBUGS_HOME=/home/ha/findbugs-3.0.1exportHADOOP_COMMON_HOME=$HADOOP_HOMEexportHADOOP_HDFS_HOME=$HADOOP_HOMEexportHADOOP_MAPRED_HOME=$HADOOP_HOMEexportHADOOP_YARN_HOME=$HADOOP_HOMEexportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexportJAVA_LIBRARY_PATH=$HADOOP_HOME/lib/nativeexportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexportHADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"exportCLASSPATH=:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexportCLASSPATH=:$CLASSPATH:$HADOOP_HOME/libexportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/binexportPATH=$PATH:$HADOOP_HOME/sbin:$HIVE_HOME/binexportPATH=$PATH:$FINDBUGS_HOME/bin:$ANT_HOME/bin:$MAVEN_HOME/bin4）格式化文件系統(tǒng)[ha@hadoop0~]$cd/home/ha/hadoop-2.7.1/bin[ha@hadoop0~]$hdfsnamenode-format5） 啟動hadoop[ha@hadoop0~]$cd/home/ha/hadoop-2.7.1/sbin[ha@hadoop0~]$./start-all.sh6） 查看進程，成功狀態(tài)如下：Hadoop0的進程[ha@hadoop0~]$jps2931SecondaryNameNode3086ResourceManager6317Jps2738NameNodeHadoop1的進程[ha@hadoop1~]$jps2475NodeManager3625Jps2361DataNodeHadoop2的進程[ha@hadoop1~]$jps2475NodeManager3625Jps2361DataNode7） 停止hadoop[ha@hadoop0~]cd/home/ha/hadoop-2.7.1/sbin[ha@hadoop0~]./stop-all.sh8） 瀏覽器中查看主機51:5007051:8088輔機52:198888hive的安裝1） 安裝mysql[root@hadoopO~]#yum-yinstallmysql-server2） 設(shè)置開機啟動[root@hadoop0~]#chkconfigmysqldon3） 啟動mysql[root@hadoop0~]#servicemysqldstart4） 設(shè)置root密碼[root@hadoop0~]#mysql-urootmysql>setpassword for'root'@'localhost'=password（'111111'）;mysql>setpassword for'root'@'hadoop0'=password（'111111'）;5）創(chuàng)建用戶[ha@hadoop0~]$mysql-uroot-pEnterpassword:mysql>createuser'hadoop'@'hadoop0'identifiedby'111111';mysql>grantallprivilegeson*.*to'hadoop'@'hadoop0'withgrantoption;6）創(chuàng)建數(shù)據(jù)庫[root@hadoopO~]#su-ha[ha@hadoop0~]$mysql-hhadoop0-uhadoop-pmysql>createdatabasehive;7） 下載解壓hiveapache-hive-1.2.1-bin.tar.gz[ha@hadoop0~]$tar-zxvfapache-hiveT.2.1-bin.tar.gz8） 配置/etx/profile（root用戶）[root@hadoop0~]#vi/etx/profileexportHIVE_HOME=/home/ha/hive-1.2.1exportPATH=$PATH:$HIVE_HOME/bin授權(quán)[root@hadoop0~]#chmod777/home/ha/hive-1.2.1/bin/*9） 創(chuàng)建/user/hive/warehouse[ha@hadoop0~]$hdfsdfs-mkdir-p/user/hive[ha@hadoop0~]$hdfsdfs-mkdir-p/user/hive/warehouse10） 配置Hive,編輯/home/ha/hiveT.2.1/conf/hive-site.xml<configuration><!--HiveExecution