3.8 Hadoop分布式集群搭建

Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——Hadoop分布式集群搭建目錄content0201Hadoop集群部署方式Hadoop集群搭建Hadoop集群的部署方式單機(jī)模式：在該模式下，無須運(yùn)行任何守護(hù)進(jìn)程，所有的程序都在單個(gè)JVM上執(zhí)行。偽分布式模式：Hadoop程序的守護(hù)進(jìn)程運(yùn)行在一臺(tái)主機(jī)節(jié)點(diǎn)上，通常使用偽分布式模式來調(diào)試Hadoop分布式程序的代碼。全分布式模式：Hadoop的守護(hù)進(jìn)程分別運(yùn)行在由多個(gè)主機(jī)搭建的集群上，不同節(jié)點(diǎn)擔(dān)任不同的角色，在實(shí)際工作應(yīng)用開發(fā)中，通常使用該模式構(gòu)建企業(yè)級Hadoop系統(tǒng)。Hadoop分布式集群部署規(guī)劃Hadoop分布式集群部署規(guī)劃如下所示：名稱節(jié)點(diǎn)在matser上，數(shù)據(jù)節(jié)點(diǎn)在master、slave1和slave2節(jié)點(diǎn)上，第二名稱節(jié)點(diǎn)與名稱節(jié)點(diǎn)要部署在不同的節(jié)點(diǎn)上。masterslave1slave2HDFSNameNodeDataNodeSecondaryNameNodeDataNodeDataNodeHadoop集群搭建步驟—Hadoop安裝Xshell中的文件傳輸拖到文件傳輸窗口查看Hadoop安裝包步驟1Hadoop集群搭建步驟—Hadoop安裝解壓Hadoop安裝包命令Hadoop系統(tǒng)環(huán)境變量步驟2步驟3重命名命令步驟4編輯profile文件步驟5使profile文件生效Hadoop安裝路徑Hadoop集群搭建步驟—Hadoop安裝步驟6查看Hadoop版本信息Hadoop目錄下的內(nèi)容Hadoop集群搭建步驟—修改配置文件步驟1Hadoop的配置文件hadoop-env.sh配置文件內(nèi)容Hadoop集群搭建步驟—修改配置文件步驟2core-site.xml配置文件內(nèi)容Hadoop集群搭建步驟—修改配置文件步驟3hdfs-site.xml配置文件內(nèi)容HDFS文件系統(tǒng)的元信息保存位置HDFS文件系統(tǒng)的數(shù)據(jù)保存位置第二名稱及誒點(diǎn)http服務(wù)器地址和端口Hadoop集群搭建步驟—修改配置文件步驟3hdfs-site.xml配置文件內(nèi)容HDFS文件系統(tǒng)的元信息保存位置HDFS文件系統(tǒng)的數(shù)據(jù)保存位置第二名稱及誒點(diǎn)http服務(wù)器地址和端口Hadoop集群搭建步驟—修改配置文件步驟4slaves配置文件內(nèi)容Hadoop集群搭建步驟—配置slave1和slave2拷貝Hadoop到slave1和slave2兩個(gè)節(jié)點(diǎn)拷貝profile文件到slave1和slave2兩個(gè)節(jié)點(diǎn)Hadoop集群搭建步驟—配置slave1和slave2使profile文件生效，并查看Hadoop版本信息本章小結(jié)本節(jié)我們介紹了Hadoop集群部署方式和Hadoop集群搭建，相信大家對Hadoop分布式集群