Hadoop-20-主流開源云架構(gòu)(二)課件

云計算（第三版）CLOUDCOMPUTINGThirdEdition第5章Hadoop2.0主流開源云架構(gòu)(二)云計算（第三版）CLOUDCOMPUTINGThird5.1引例5.2Hadoop2.0簡述5.3Hadoop2.0部署5.4Hadoop2.0體系架構(gòu)5.5Hadoop2.0訪問接口5.6Hadoop2.0編程接口5.1引例5.2Hadoop2.0簡述5.3Hado5.2Hadoop2.0簡述5.2.1Hadoop2.0由來5.2.2Hadoop2.0相關(guān)項目5.2.3Hadoop應(yīng)用5.2Hadoop2.0簡述5.2.1Hadoop45.2Hadoop2.0簡述Hadoop2.0由來開源組織Apache成立開源搜索引擎項目NutchApache實現(xiàn)了Nutch版的NDFS和MapReduceNDFS和MapReduce移出Nutch，形成獨立項目，稱為Hadoop。工業(yè)界稱Hadoop1.X及其以前的版本（0.23.X除外）為Hadoop1.0，稱Hadoop2.X及其以后版本為Hadoop2.02002年2004年2006年45.2Hadoop2.0簡述Hadoop2.0由來開5將Hadoop2.0部署至集群后，通過調(diào)用Hadoop2.0程序庫，能夠用簡單的編程模型來處理分布在不同機(jī)器上的大規(guī)模數(shù)據(jù)集。由于采用客戶-服務(wù)器模式，Hadoop2.0很容易從一臺機(jī)器擴(kuò)展至成千上萬臺機(jī)器，并且每臺機(jī)器都能提供本地計算存儲和本地計算?？紤]到集群中每臺機(jī)器都可能會出問題（如硬件失效），Hadoop2.0本身從設(shè)計上就在程序?qū)右?guī)避了這些問題。5.2Hadoop2.0簡述Hadoop2.0由來Hadoop2.0分布式存儲（HDFS）分布式操作系統(tǒng)（Yarn）5將Hadoop2.0部署至集群后，通過調(diào)用Hadoop65.2Hadoop2.0簡述Hadoop2.0由來Hadoop至少應(yīng)當(dāng)包含分布式存儲和分布式計算兩個模塊，下面給出Hadoop1.0項目模塊。HadoopCommon聯(lián)系HDFS和MapReduce的紐帶，它一方面為另外兩組件提供一些公用jar包，另一方面也是程序員訪問其他兩模塊的接口。HDFSHadoop的分布式文件系統(tǒng)。主要提供分布式存儲服務(wù)。HadoopMapReduce分布式計算框架。主要負(fù)責(zé)資源管理、任務(wù)調(diào)度和MapReduce算法實現(xiàn)。65.2Hadoop2.0簡述Hadoop2.0由來H5.2Hadoop2.0簡述5.2.1Hadoop2.0由來5.2.2Hadoop2.0相關(guān)項目5.2.3Hadoop應(yīng)用5.2Hadoop2.0簡述5.2.1Hadoop8Hadoop云計算系統(tǒng)Google云計算系統(tǒng)HadoopHDFSGoogleGFSHadoopMapReduceGoogleMapReduceHBaseGoogleBigTableZooKeeperGoogleChubbyPigGoogleSawzall5.2Hadoop2.0簡述Google云計算組件和Hadoop及其相關(guān)項目之間的對應(yīng)關(guān)系：Hadoop2.0相關(guān)項目8Hadoop云計算系統(tǒng)Google云計算系統(tǒng)Hadoop9ClouderaManager/AmbariHueBigTopAvroMahoutRHadoopHivePigImaplaSerachOozieHcataLogCassandraSqoopFlumeChukwaWebHDFSZookeeperMapReduceHbaseYarnHDFS5.2Hadoop2.0簡述Hadoop2.0相關(guān)項目近幾年工業(yè)界圍繞Hadoop進(jìn)行了大量的外圍產(chǎn)品開發(fā)，下圖描述了各個產(chǎn)品項目之間的層次關(guān)系。9ClouderaManager/AmbariHueBig5.2Hadoop2.0簡述5.2.1Hadoop2.0由來5.2.2Hadoop2.0相關(guān)項目5.2.3Hadoop應(yīng)用5.2Hadoop2.0簡述5.2.1Hadoop115.2Hadoop2.0簡述Hadoop應(yīng)用構(gòu)建大型分布式集群數(shù)據(jù)倉庫數(shù)據(jù)挖掘115.2Hadoop2.0簡述Hadoop應(yīng)用構(gòu)建大型5.1引例5.2Hadoop2.0簡述5.3Hadoop2.0部署5.4Hadoop2.0體系架構(gòu)5.5Hadoop2.0訪問接口5.6Hadoop2.0編程接口5.1引例5.2Hadoop2.0簡述5.3Hado5.3Hadoop2.0部署5.3.1部署綜述5.3.2傳統(tǒng)解壓包部署5.3Hadoop2.0部署5.3.1部署綜述5.3145.3Hadoop2.0部署部署綜述安裝方式簡單易用煩瑣易錯隱藏了太多細(xì)節(jié)有助于讀者深入理解Hadoop傳統(tǒng)解壓包方式Linux標(biāo)準(zhǔn)方式部署環(huán)境不需要與其他節(jié)點交互，不需要使用HDFS，直接讀寫本地的文件系統(tǒng)單機(jī)模式偽分布模式分布式模式在一臺單機(jī)上運行，用不同的進(jìn)程模仿分布式運行中的各類節(jié)點在不同的機(jī)器上部署系統(tǒng)145.3Hadoop2.0部署部署綜述安裝簡單易用煩瑣155.3Hadoop2.0部署部署步驟制定部署規(guī)劃準(zhǔn)備機(jī)器準(zhǔn)備機(jī)器軟件環(huán)境下載Hadoop解壓Hadoop配置Hadoop啟動Hadoop測試Hadoop部署前工作部署Hadoop155.3Hadoop2.0部署部署步驟制定部署規(guī)劃準(zhǔn)備1）硬件環(huán)境由于分布式計算需要用到很多機(jī)器，部署時用戶須提供多臺機(jī)器，至于提供幾臺，須根據(jù)“部署規(guī)劃”確定。實際上，完全模式部署Hadoop時，最低需要兩臺機(jī)器（一個主節(jié)點，一個從節(jié)點），此外，硬件方面，每臺機(jī)器最低要求有1GB內(nèi)存，20GB硬盤空間。5.3Hadoop2.0部署準(zhǔn)備環(huán)境1）硬件環(huán)境5.3Hadoop2.0部署準(zhǔn)備環(huán)境175.3Hadoop2.0部署準(zhǔn)備環(huán)境2）軟件環(huán)境大量的實踐證明，在Linux環(huán)境下使用Hadoop則更加穩(wěn)定高效須注意的是新裝系統(tǒng)（CentOS）的機(jī)器不可以直接部署Hadoop修改機(jī)器名添加域名映射關(guān)閉防火墻安裝JDK175.3Hadoop2.0部署準(zhǔn)備環(huán)境2）軟件環(huán)境大量185.3Hadoop2.0部署關(guān)于Hadoop依賴軟件SSH只是給sbin/start-yarn.sh等幾個start-x.sh與stop-x.sh腳本使用Hadoop本身是一堆Java代碼，而Java代碼并不依賴SSH本節(jié)使用的Hadoop版本為穩(wěn)定版Hadoop-2.2.0.tar.gzCentOS版本為64位CentOS-6.5JDK版本為jdk-7u40-linux-x64.rpm185.3Hadoop2.0部署關(guān)于Hadoop依賴軟件5.3Hadoop2.0部署5.3.1部署綜述5.3.2傳統(tǒng)解壓包部署5.3Hadoop2.0部署5.3.1部署綜述5.35.3Hadoop2.0部署傳統(tǒng)解壓包部署現(xiàn)有三臺機(jī)器，且它們都剛裝好64位CentOS-6.5，安裝系統(tǒng)時用戶名為joe，請按要求完成：①修改三臺機(jī)器名為cMaster，cSlave0和cSlave1，并添加域名映射、關(guān)閉防火墻和安裝JDK。②以cMaster作為主節(jié)點，cSlave0和cSlave1作為從節(jié)點，部署Hadoop?！纠?-5】205.3Hadoop2.0部署傳統(tǒng)解壓包部署現(xiàn)有三臺機(jī)器，5.3Hadoop2.0部署傳統(tǒng)解壓包部署1.制定部署規(guī)劃此Hadoop集群需三臺機(jī)器（cMaster，cSlave0和cSlave1），其中cMaster作為主節(jié)點，cSlave0和cSlave1作為從節(jié)點。2.準(zhǔn)備機(jī)器準(zhǔn)備三臺機(jī)器，它們可以是實體機(jī)也可以是虛擬機(jī)，若使用虛擬機(jī)。3.準(zhǔn)備機(jī)器軟件環(huán)境三臺機(jī)器都要完成：修改機(jī)器名、添加域名映射、關(guān)閉防火墻和安裝JDK。215.3Hadoop2.0部署傳統(tǒng)解壓包部署1.制定部署規(guī)5.3Hadoop2.0部署傳統(tǒng)解壓包部署4.下載Hadoop谷歌搜索“Hadoopdownload”并下載，以joe用戶身份，將Hadoop分別復(fù)制到三臺機(jī)器上。5.解壓Hadoop分別以joe用戶登錄三臺機(jī)器，每臺都執(zhí)行如下命令解壓Hadoop文件：6.配置Hadoop三臺機(jī)器都要配置，且配置相同225.3Hadoop2.0部署傳統(tǒng)解壓包部署4.下載Had5.3Hadoop2.0部署傳統(tǒng)解壓包部署7.啟動Hadoop首先，在主節(jié)點cMaster上格式化主節(jié)點命名空間其次，在主節(jié)點cMaster上啟動存儲主服務(wù)namenode和資源管理主服務(wù)resourcemanager。最后，在從節(jié)點上啟動存儲從服務(wù)datanode和資源管理從服務(wù)nodemanager8.測試Hadoop235.3Hadoop2.0部署傳統(tǒng)解壓包部署7.啟動HaHadoop2.0部署通過上述單機(jī)部署和集群部署，可以看出，Hadoop本