基于hadoop部署與實施

LET'SMAKESTUDYLET'SMAKESTUDYINTRESTINGRICHAND基于Hadoop的部署與實施基于Hadoop郭Hadoop的偽分布模式部Hadoop的偽分布模式部Hadoop的集群部在Linux上安裝與配置Hadoop系Hadoop的啟動停止及其注意事一二三四九 1234熟練部署各種場景的Hadoop 1234熟練部署各種場景的Hadoop平臺熟悉如何在Windows和Linux上部署數(shù)據(jù)分析平臺熟悉企業(yè)級大規(guī)模Hadoop集群的部署與管理熟悉Hadoop的啟動和停止過程Hadoop的偽分布模式部Hadoop的偽分布模式部Hadoop的集群部在Linux上安裝與配置Hadoop系Hadoop的啟動停止及其注意事一二三四九 ?– ?––––在單節(jié)點上以偽分布模式運使用線程模擬分布 ……JobTrackerMaster ……JobTrackerMasterSecondaryNameNodeMasterNameNode一二三Hadoop的偽分布模一二三Hadoop的偽分布模式部Hadoop的集群部在Linux上安裝與配置Hadoop系Hadoop的啟動停止及其注意事四九 ?– ?–––––以非分布式模式運行的一個獨立Java進在這種默認(rèn)模式下所有3個XML文件均為當(dāng)配置文件為空時，Hadoop會完全運行在本 TaskTrackerJobTracker TaskTrackerJobTrackerMasterSecondaryNameNodeMasterNameNode一二三Hadoop的偽分布模一二三Hadoop的偽分布模式部Hadoop的集群部在Linux上安裝與配置Hadoop系Hadoop的啟動停止及其注意事四九 ?? ??–––––真正有意義的集由一個NameNode個SecondaryNameNode和多個DataNode組成 Slave-Slave-Slave- Slave-Slave-Slave-一二三Hadoop的偽分布模一二三Hadoop的偽分布模式部Hadoop的集群部在Linux上安裝與配置Hadoop系Hadoop的啟動停止及其注意事四九 ?– ?–––????????在ESXi上創(chuàng)建Linux在OpenStack環(huán)境下創(chuàng)建Linux在Windows的VMwareWorkStation上創(chuàng)建Linux虛擬機 ??在OpenStack環(huán)境下創(chuàng)建1臺CentOS ??在OpenStack環(huán)境下創(chuàng)建1臺CentOS6.5Intel(R)Xeon(R)CPUE5-26200@cat/proc/cpuinfo|grep"modelcat/proc/meminfo|grepfree-df?? ?Hadoop–––––Hadoop的可執(zhí)行程 ?Hadoop–––––Hadoop的可執(zhí)行程MapReduce的日志文?Hadoop軟件相關(guān)的文Hadoop數(shù)據(jù)相關(guān)的文文件系統(tǒng)大小用途/安裝操作系操作系統(tǒng)的啟動分內(nèi)存交換分用于存放Hadoop的軟用于存放Hadoop的數(shù) ?直接使用root用戶部署Hadoop–––– ?直接使用root用戶部署Hadoop––––權(quán)限最大，可屏蔽關(guān)于文件系統(tǒng)權(quán)限的問風(fēng)險較出現(xiàn)問題無法?使用特定的組和用戶部署Hadoop––––需要額外規(guī)劃，并創(chuàng)建新的組和用戶，文件系統(tǒng)的權(quán)限也需要修有利于審計工?? ? ????????????配置Hadoop配置Linux的SSH ?–JDK ?–JDK?/technetwork/java/javase/downloads/jdk7-–JDK?/technetwork/java/javase/downloads/jdk8-其他版–?/technetwork/java/javase/archive- ?使用RPM ?使用RPM的方式安使用tar包解壓的方式安JDK?––––使用root用戶將JDK安裝到/usr/local/java7目錄并將JAVA_HOME下的bin目錄添加到PATH環(huán)境變量?解壓jdktar-zxf?解壓jdktar-zxfjdk-7u79-linux-移動jdkmvjdk1.7.0_79/??echo"exportJAVA_HOME=/usr/local/java7"?echo"exportJAVA_HOME=/usr/local/java7">>echo"exportPATH=\$JAVA_HOME/bin:\$PATH">>重新加載source? ?? ??––––lvcreate-L5120-nlvhadoopmkfs-text4/dev/vg00/lvhadoopmkdir-p/hadoopmount/dev/vg00/lvhadoop?––––lvcreate-L20480-nlvdatamkfs-text4/dev/vg00/lvdatamkdir-p/datamount/dev/vg00/lvdata?–修改/etc/fstab文?–修改/etc/fstab文 ?groupadd-g ?groupadd-g3000useradd-u3001-gcloudadminchown-Rhadoop:cloudadminchown-Rhadoop:cloudadminls-l/|grep??? ? ??配置SSH–––ssh-keygen-tcdcatid_rsa.pub>??將key測試SSH–sshlocalhost ?? ??–tar-zxfhadoop- ?––––修改 ?––––修改hadoop-env.sh文件：添加JAVA_HOME配修改mapred-?–––mkdir-pmkdir-pmkdir-p ?conf/hadoop-env.sh ?conf/hadoop-env.shHadoopCore配置選HadoopCore配置選 ?conf/core-site.xml ?conf/hdfs-site.xml ?conf/hdfs-site.xmlMapReduce守護進程配MapReduce守護進程配置選 ?conf/mapred-site.xml ?修改完Hadoop的配置文件后，需要對HDFS ?修改完Hadoop的配置文件后，需要對HDFS–bin/hadoopnamenode-?? ?使用Hadoop– ?使用Hadoop–bin/start-?檢查Hadoop–?–bin/hadoopdfsadmin?–bin/hadoopdfsadmin- ? ? ?一二三Hadoop的偽分布模一二三Hadoop的偽分布模式部Hadoop的集群部在Linux上安裝與配置Hadoop系Hadoop的啟動停止及其注意事四九 ?Hadoop系統(tǒng)不能直接在Windows ?Hadoop系統(tǒng)不能直接在Windowscygwin軟件來在Windows下模擬Linux支持的WindowsWindowsXP、7、2003、2008cygwin：用于在Windows下模擬Linux???––––安裝NetCategory下的openssl?––––安裝NetCategory下的openssl的軟件Basatg下的s的軟件包tsatg?–此處省略……10000231231一二三Hadoop的偽分布模一二三Hadoop的偽分布模式部Hadoop的集群部在Linux上安裝與配置Hadoop系Hadoop的啟動停止及其注意事四九 ? ???????????如何選擇JDK哪些節(jié)點做datanode ??在OpenStack環(huán)境下創(chuàng)建4臺CentOS ??在OpenStack環(huán)境下創(chuàng)建4臺CentOS6.5Intel(R)Xeon(R)CPUE5-26200@cat/proc/cpuinfo|grep"modelcat/proc/meminfo|grepfree-df-?? ???? ?????IP地址主機用Hadoop的namenode和Hadoop的datanode和 ? ????????????配置Hadoop配置Linux的SSH ??? ??????上面的步驟和前面的配置一致，這里不再重復(fù)配置主機名和IP地址對應(yīng)關(guān)配置主機名和IP地址對應(yīng)關(guān) ?–使用root?––––echoechoechoechohm2">>hd001">>/etc/hostshd002">>hd003">>?–cat在集群中配置SSH在集群中配置SSH免密碼登 ?在集群的master節(jié)點上使用hadoop–ssh-keygen-t在集群的namenode?–––––cdcatid_rsa.pub>>scpauthorized_keys3:/home/hadoop/.ssh/scpauthorized_keysscpauthorized_keys???SSH?SSH ?––––– ?––––––修改hadoop-env.sh文件：添加JAVA_HOME配修改slave文?–––mkdir-pmkdir-pmkdir-p ?conf/hadoop-env.sh ?conf/hadoop-env.shHadoopCore配置選HadoopCore配置選 ?conf/core-site.xml ?conf/hdfs-site.xml ?conf/hdfs-site.xmlMapReduce守護進程配MapReduce守護進程配置選 ?conf/mapred-site.xml ?conf/masters?conf/slaves ?conf/masters?conf/slaves ?–––scp-rhadoop-1.2.1scp-rhadoop-1.2.1scp-rhadoop-1.2.1 ?修改完Hadoop的配置文件后，需要對HDFS ?修改完Hadoop的配置文件后，需要對HDFS–bin/hadoopnamenode- ?使用Hadoop–bin/start- ?使用Hadoop–bin/start-?檢查Hadoop–主節(jié)點的進從節(jié)點的進程 ?– ?–bin/hadoopdfsadmin-DFSUsedNonDFSDFSUsed%DFS????? ?ddif=/dev/zeroof=/hadoop/test.datbs=1024000上傳文件到HDFSbin/hadoopfs-copyFromLocal/hadoop/test.dat檢查HDFSbin/hadoopfs-ls??一二三Hadoop的偽分布模一二三Hadoop的偽分布模式部Hadoop的集群部在Linux上安裝與配置Hadoop系Hadoop的啟動停止及其注意事四九完全分布完全分布式Hadoop系統(tǒng)的實施步 ????????????配置Hadoop配置Linux的SSH企業(yè)級大規(guī)企業(yè)級大規(guī)模集群部署的問 ?–CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)如何構(gòu)建SSH免密碼登陸Hadoop???? ??Windows下的Active ???再利用NFS將hadoop用戶的home目錄放在NFS一二三Hadoop的偽分布模一二三Hadoop的偽分布模式部Hadoop的集群部在Linux上安裝與配置Hadoop系Hadoop的啟動停止及其注意事四九WordCount程序簡 ???WordCount程序簡 ???它可以稱為MapReduce版“Hello?211MapReduce總體過MapReduce總體過 ? ? ?Mapping過 ?Mapping過 ?Reducing過 ?ReducingReducing過 ?Reducing ?–––echo ?–––echo"thisisatestfile">>echo"hadoopissoeasy">>echo"testhadoopprogram">>?上傳測試文件到HDFSbin/hadoopfs-mkdirbin/hadoopfs-copyFromLocal/hadoop/*.txt運行wordcountbin/hadoopjarhadoop-examples-1.2.1.jarwordcountin查看wordcountbin/hadoopfs-ls??Reduce的執(zhí)行過程Reduce的執(zhí)行過程過程數(shù)據(jù)統(tǒng)計信息 ?? ???使用ls指令查看wordcount使用cat指令查看wordcount一二三Hadoop的偽分布模一二三Hadoop的偽分布模式部Hadoop的集群部在Linux上安裝與配置Hado