云計算（第三版）配套之16第5章Hadoop20主流開源云架構(gòu)（二）

5.1引例5.2Hadoop2.0簡述5.3Hadoop2.0部署5.4Hadoop2.0體系架構(gòu)5.5Hadoop2.0訪問接口5.6Hadoop2.0編程接口5.2Hadoop2.0簡述5.2.1Hadoop2.0由來5.2.2Hadoop2.0相關工程5.2.3Hadoop應用35.2Hadoop2.0簡述Hadoop2.0由來開源組織Apache成立開源搜索引擎工程NutchApache實現(xiàn)了Nutch版的NDFS和MapReduceNDFS和MapReduce移出Nutch，形成獨立工程，稱為Hadoop。工業(yè)界稱Hadoop1.X及其以前的版本〔除外〕為Hadoop1.0，稱Hadoop2.X及其以后版本為Hadoop2.02002年2004年2006年4將Hadoop2.0部署至集群后，通過調(diào)用Hadoop2.0程序庫，能夠用簡單的編程模型來處理分布在不同機器上的大規(guī)模數(shù)據(jù)集。由于采用客戶-效勞器模式，Hadoop2.0很容易從一臺機器擴展至成千上萬臺機器，并且每臺機器都能提供本地計算存儲和本地計算?？紤]到集群中每臺機器都可能會出問題〔如硬件失效〕，Hadoop2.0本身從設計上就在程序?qū)佣惚芰诉@些問題。5.2Hadoop2.0簡述Hadoop2.0由來Hadoop2.0分布式存儲〔HDFS〕分布式操作系統(tǒng)〔Yarn〕55.2Hadoop2.0簡述Hadoop2.0由來Hadoop至少應當包含分布式存儲和分布式計算兩個模塊，下面給出Hadoop1.0工程模塊。HadoopCommon聯(lián)系HDFS和MapReduce的紐帶，它一方面為另外兩組件提供一些公用jar包，另一方面也是程序員訪問其他兩模塊的接口。HDFSHadoop的分布式文件系統(tǒng)。主要提供分布式存儲效勞。HadoopMapReduce分布式計算框架。主要負責資源管理、任務調(diào)度和MapReduce算法實現(xiàn)。5.2Hadoop2.0簡述5.2.1Hadoop2.0由來5.2.2Hadoop2.0相關工程5.2.3Hadoop應用7Hadoop云計算系統(tǒng)Google云計算系統(tǒng)HadoopHDFSGoogleGFSHadoopMapReduceGoogleMapReduceHBaseGoogleBigTableZooKeeperGoogleChubbyPigGoogleSawzall5.2Hadoop2.0簡述Google云計算組件和Hadoop及其相關工程之間的對應關系：Hadoop2.0相關工程8ClouderaManager/AmbariHueBigTopAvroMahoutRHadoopHivePigImaplaSerachOozieHcataLogCassandraSqoopFlumeChukwaWebHDFSZookeeperMapReduceHbaseYarnHDFS5.2Hadoop2.0簡述Hadoop2.0相關工程近幾年工業(yè)界圍繞Hadoop進行了大量的外圍產(chǎn)品開發(fā)，以下圖描述了各個產(chǎn)品工程之間的層次關系。5.2Hadoop2.0簡述5.2.1Hadoop2.0由來5.2.2Hadoop2.0相關工程5.2.3Hadoop應用105.2Hadoop2.0簡述Hadoop應用構(gòu)建大型分布式集群數(shù)據(jù)倉庫數(shù)據(jù)挖掘5.1引例5.2Hadoop2.0簡述5.3Hadoop2.0部署5.4Hadoop2.0體系架構(gòu)5.5Hadoop2.0訪問接口5.6Hadoop2.0編程接口5.3Hadoop2.0部署5.3.1部署綜述5.3.2傳統(tǒng)解壓包部署135.3Hadoop2.0部署部署綜述安裝方式簡單易用煩瑣易錯隱藏了太多細節(jié)有助于讀者深入理解Hadoop傳統(tǒng)解壓包方式Linux標準方式部署環(huán)境不需要與其他節(jié)點交互，不需要使用HDFS，直接讀寫本地的文件系統(tǒng)單機模式偽分布模式分布式模式在一臺單機上運行，用不同的進程模仿分布式運行中的各類節(jié)點在不同的機器上部署系統(tǒng)145.3Hadoop2.0部署部署步驟制定部署規(guī)劃準備機器準備機器軟件環(huán)境下載Hadoop解壓Hadoop配置Hadoop啟動Hadoop測試Hadoop部署前工作部署Hadoop1〕硬件環(huán)境由于分布式計算需要用到很多機器，部署時用戶須提供多臺機器，至于提供幾臺，須根據(jù)“部署規(guī)劃〞確定。實際上，完全模式部署Hadoop時，最低需要兩臺機器〔一個主節(jié)點，一個從節(jié)點〕，此外，硬件方面，每臺機器最低要求有1GB內(nèi)存，20GB硬盤空間。5.3Hadoop2.0部署準備環(huán)境165.3Hadoop2.0部署準備環(huán)境2〕軟件環(huán)境大量的實踐證明，在Linux環(huán)境下使用Hadoop那么更加穩(wěn)定高效須注意的是新裝系統(tǒng)〔CentOS〕的機器不可以直接部署Hadoop修改機器名添加域名映射安裝JDK175.3Hadoop2.0部署關于Hadoop依賴軟件SSH只是給sbin/start-yarn.sh等幾個start-x.sh與stop-x.sh腳本使用Hadoop本身是一堆Java代碼，而Java代碼并不依賴SSH本節(jié)使用的Hadoop版本為穩(wěn)定版CentOS版本為64位CentOS-6.5JDK版本為jdk-7u40-linux-x64.rpm5.3Hadoop2.0部署5.3.1部署綜述5.3.2傳統(tǒng)解壓包部署5.3Hadoop2.0部署傳統(tǒng)解壓包部署【例5-5】195.3Hadoop2.0部署傳統(tǒng)解壓包部署1.制定部署規(guī)劃此Hadoop集群需三臺機器〔cMaster，cSlave0和cSlave1〕，其中cMaster作為主節(jié)點，cSlave0和cSlave1作為從節(jié)點。2.準備機器準備三臺機器，它們可以是實體機也可以是虛擬機，假設使用虛擬機。3.準備機器軟件環(huán)境205.3Hadoop2.0部署傳統(tǒng)解壓包部署4.下載Hadoop谷歌搜索“Hadoopdownload〞并下載，以joe用戶身份，將Hadoop分別復制到三臺機器上。5.解壓Hadoop分別以joe用戶登錄三臺機器，每臺都執(zhí)行如下命令解壓Hadoop文件：6.配置Hadoop三臺機器都要配置，且配置相同215.3Hadoop2.0部署傳統(tǒng)解壓包部署7.啟動Hadoop首先，在主節(jié)點cMaster上格式化主節(jié)點命名空間其次，在主節(jié)點cMaster上啟動存儲主效勞namenode和資源管理主效勞resourcemanager。最后，在從節(jié)點上啟動存儲從效勞datanode和資源管理從效勞nodemanager8.測試Hadoop22Hadoop2.0部署通過上述單機部署和集群部署，可以看出，Hadoop本身部署起來很簡單，其大量工作其實都是前期的Linux環(huán)境配置，Hadoop安裝只是解壓、修改配置文件、格式化、啟動和驗證，關于Linux命令問題，請參考Linux專業(yè)書籍?？偨Y(jié)本章未完待續(xù)百度排名首位的大數(shù)據(jù)資料和