Hadoop總體概述演示文稿

Hadoop總體概述演示文稿現(xiàn)在是1頁\一共有35頁\編輯于星期日大數(shù)據(jù)入門

以前有個(gè)國王很闊綽也很愛排場(chǎng)，有天他很高興想獎(jiǎng)賞他的寵臣,這個(gè)大臣給國王看下面這個(gè)棋盤，8*8的方格，希望獲得在每個(gè)標(biāo)號(hào)的格子內(nèi)放米粒，第一個(gè)格子放1粒米，后面的格子總是前面格子的兩倍的所有米粒。如果把整個(gè)棋盤放滿，需要多少米粒？我們學(xué)過級(jí)數(shù)的話，它的推演是1+2+4…+2^63＝2^64-1這個(gè)數(shù)字多大很多人沒印象，反正如果真的要兌現(xiàn)的話，這個(gè)國家肯定是破產(chǎn)了其實(shí)把這個(gè)棋盤分成上下兩半，在上一半總共需要的米粒是2^32,這并不是個(gè)很大的數(shù)，其實(shí)前幾年計(jì)算機(jī)的32位就是那么大，但下半場(chǎng)就完全不一樣了，這是個(gè)平方級(jí)別的scale現(xiàn)在是2頁\一共有35頁\編輯于星期日什么是大數(shù)據(jù)：什么樣的東西能成為數(shù)據(jù)呢？電子商務(wù)方面：淘寶,美團(tuán),京東買東西,你的IP地址,商品名,價(jià)格,快遞名,手機(jī)號(hào),收貨地址,下單的時(shí)間日期等這些就是數(shù)據(jù)工業(yè)方面：鋼鐵廠的日，月，年產(chǎn)量;銷量;省，市，縣銷量等這些也是數(shù)據(jù)...現(xiàn)在是3頁\一共有35頁\編輯于星期日本章要點(diǎn)一、hadoop總體概述二、hadoop生態(tài)系統(tǒng)三、hadoop特點(diǎn)及工作機(jī)制四、hadoop任務(wù)(job)運(yùn)行過程五、核心進(jìn)程講解六、hadoop配置文件現(xiàn)在是4頁\一共有35頁\編輯于星期日Hadoop總體概述

Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(HadoopDistributedFileSystem)簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)Hadoop框架核心設(shè)計(jì)HDFS和MapReduce:HDFS為海量的數(shù)據(jù)提供分布式存儲(chǔ)MapReduce為海量的數(shù)據(jù)提供分布式計(jì)算現(xiàn)在是5頁\一共有35頁\編輯于星期日什么是分布式文件系統(tǒng)：HDFS最簡(jiǎn)單的理解如上圖，多臺(tái)服務(wù)器(三臺(tái)也行,兩萬臺(tái)也可以)構(gòu)成的一個(gè)集群系統(tǒng)對(duì)外無論是讀操作還是寫操作都僅有主節(jié)點(diǎn)這一個(gè)出入口對(duì)內(nèi)若干個(gè)服務(wù)器之間會(huì)自動(dòng)完成文件的多機(jī)復(fù)制，自動(dòng)遷移，數(shù)據(jù)文件讀寫等操作,前期，你們就理解這樣這個(gè)工作機(jī)制就行HDFS是可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用，它運(yùn)行于廉價(jià)的普通硬件上，提供容錯(cuò)功能現(xiàn)在是6頁\一共有35頁\編輯于星期日分布式計(jì)算mapreduce簡(jiǎn)單介紹：形象化例子1：

1、校長(zhǎng)對(duì)一位老師說，批改一萬份卷子（必須上午改完）

2、老師叫了100個(gè)學(xué)生，老師和這100個(gè)學(xué)生組成一個(gè)團(tuán)隊(duì)（集群），老師指定將卷子分給這100個(gè)學(xué)生，讓他們完成，然后匯總，老師不改只管分配例子2：現(xiàn)在是7頁\一共有35頁\編輯于星期日Hadoop生態(tài)系統(tǒng)現(xiàn)在是8頁\一共有35頁\編輯于星期日Hadoop生態(tài)系統(tǒng)概況：ApacheHive：數(shù)據(jù)倉庫基礎(chǔ)設(shè)施，提供數(shù)據(jù)匯總和特定查詢。這個(gè)系統(tǒng)支持用戶進(jìn)行有效的查詢，并實(shí)時(shí)得到返回結(jié)果。ApacheSpark：ApacheSpark是提供大數(shù)據(jù)集上快速進(jìn)行數(shù)據(jù)分析的計(jì)算引擎。它建立在HDFS之上，卻繞過了MapReduce使用自己的數(shù)據(jù)處理框架，Spark常用于實(shí)時(shí)查詢、流處理、迭代算法、復(fù)雜操作運(yùn)算和機(jī)器學(xué)習(xí)。ApacheAmbari：Ambari用來協(xié)助管理Hadoop，它提供對(duì)Hadoop生態(tài)系統(tǒng)中許多工具的支持，包括Hive、HBase、Pig、Spooq和ZooKeeper，這個(gè)工具提供集群管理儀表盤，可以跟蹤集群運(yùn)行狀態(tài)，幫助診斷性能問題。現(xiàn)在是9頁\一共有35頁\編輯于星期日ApachePig：Pig是一個(gè)集成高級(jí)查詢語言的平臺(tái)，可以用來處理大數(shù)據(jù)集ApacheHBase：HBase是一個(gè)非關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，運(yùn)行在HDFS之上。它用來處理大數(shù)據(jù)工程中稀疏數(shù)據(jù)集其他常見的Hadoop項(xiàng)目還包括Avro、Cassandra、Chukwa,Mahout和ZooKeeperHadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。具有可靠、高效、可伸縮的特點(diǎn)，Hadoop的核心是HDFS和Mapreduce，hadoop2.0還包括YARNHadoop生態(tài)系統(tǒng)概況：現(xiàn)在是10頁\一共有35頁\編輯于星期日Hadoop特點(diǎn)Hadoop是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺(tái)，用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個(gè)優(yōu)點(diǎn)：高可靠性：Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴。高擴(kuò)展性：Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。高效性：Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非?？臁８呷蒎e(cuò)性：Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。低成本：與一體機(jī)、商用數(shù)據(jù)倉庫以及QlikView、YonghongZ-Suite等數(shù)據(jù)集市相比，hadoop是開源的，項(xiàng)目的軟件成本因此會(huì)大大降低?，F(xiàn)在是11頁\一共有35頁\編輯于星期日Hadoop工作機(jī)制hadoop由兩部分組成，分別是分布式文件系統(tǒng)HDFS和分布式計(jì)算框架MapReduceHDFS主要用于大規(guī)模數(shù)據(jù)的分布式存儲(chǔ)MapReduce則構(gòu)建在分布式文件系統(tǒng)之上，對(duì)存儲(chǔ)在分布式文件系統(tǒng)中的數(shù)據(jù)進(jìn)行分布式計(jì)算Hadoop默認(rèn)使用的分布式文件系統(tǒng)HFDS(Hadoop

Distributed

File

System),它與MapReduce框架緊密結(jié)合Hadoop中，MapReduce底層的分布式文件系統(tǒng)是獨(dú)立模塊，用戶可按照約定的一套接口實(shí)現(xiàn)自己的分布式文件系統(tǒng)，然后經(jīng)過簡(jiǎn)單的配置后，存儲(chǔ)在該文件系統(tǒng)上的數(shù)據(jù)便可以被MapReduce處理現(xiàn)在是12頁\一共有35頁\編輯于星期日Hadoop工作機(jī)制HDFS工作機(jī)制簡(jiǎn)單介紹:1、由一個(gè)master與多個(gè)server組成2、Master用來保存目錄與索引信息，hadoop2x設(shè)置的每個(gè)chunk大

小為128M；Hadoop1x設(shè)置的每個(gè)chunk大小為64M3、Master的所有信息都存儲(chǔ)在內(nèi)存中，啟動(dòng)時(shí)的信息從chunk

server中獲得

現(xiàn)在是13頁\一共有35頁\編輯于星期日Hadoop工作機(jī)制HDFS是一個(gè)具有高度容錯(cuò)性的分布式文件系統(tǒng)，適合部署在廉價(jià)的機(jī)器上HDFS的架構(gòu)如下圖1所示，總體上采用了master/slave架構(gòu)，主要由以下幾個(gè)組件組成：Client,NameNode,Secondary,DataNode現(xiàn)在是14頁\一共有35頁\編輯于星期日Client：切分文件,訪問HDFS,與NameNode交互，獲取文件位置信息；與

DataNode交互，讀取和寫入數(shù)據(jù)

NameNode：Master節(jié)點(diǎn)，在hadoop1.X中只有一個(gè)，在hadoop2x中可以配合zookeeper實(shí)現(xiàn)HA(熱備-兩個(gè)NameNode)，管理HDFS的名稱空間和數(shù)據(jù)

塊映射信息，配置副本策略，處理客戶端請(qǐng)求

DataNode：Slave節(jié)點(diǎn)，存儲(chǔ)實(shí)際的數(shù)據(jù)，匯報(bào)存儲(chǔ)信息給NameNodeSecondaryNameNode(可以叫做冷備)：輔助NameNode，分擔(dān)其工作量；定期合并fsimage和fsedits，推送給NameNode；緊急情況下，可輔助恢復(fù)NameNode，但SecondaryNameNode并非NameNode的熱備現(xiàn)在是15頁\一共有35頁\編輯于星期日Mapreduce（分布式計(jì)算框架）源自于google的MapReduce論文，發(fā)表于2004年12月，HadoopMapReduce是googleMapReduce克隆版，MapReduce是一種計(jì)算模型，用以進(jìn)行大數(shù)據(jù)量的計(jì)算Map：對(duì)數(shù)據(jù)集上的獨(dú)立元素進(jìn)行指定的操作，生成鍵-值對(duì)形式中間結(jié)果Reduce：對(duì)中間結(jié)果中相同“鍵”的所有“值”進(jìn)行規(guī)約，以得到最終結(jié)果MapReduce這樣的功能劃分，非常適合在大量計(jì)算機(jī)組成的分布式并行環(huán)境里進(jìn)行數(shù)據(jù)處理現(xiàn)在是16頁\一共有35頁\編輯于星期日Mapreduce處理流程，以wordCount(詞頻統(tǒng)計(jì))為例：現(xiàn)在是17頁\一共有35頁\編輯于星期日Mapreduce（map和reduce）處理流程：現(xiàn)在是18頁\一共有35頁\編輯于星期日hadoop工作任務(wù)(job)過程HadoopV1:現(xiàn)在是19頁\一共有35頁\編輯于星期日J(rèn)obTracker：Master節(jié)點(diǎn)，只有一個(gè)，管理所有作業(yè)，作業(yè)/任務(wù)的

監(jiān)控、錯(cuò)誤處理等；將任務(wù)分解成一系列任務(wù)，并分

派給TaskTrackerTaskTracker：Slave節(jié)點(diǎn),運(yùn)行MapTask和ReduceTask,與JobTracker交互，匯報(bào)任務(wù)狀態(tài)MapTask：解析每條數(shù)據(jù)記錄，傳遞給用戶編寫的map(),并執(zhí)行，

將輸出結(jié)果寫入本地磁盤(如果為map-only作業(yè)，直接寫入HDFS)。ReducerTask：從MapTask的執(zhí)行結(jié)果中，遠(yuǎn)程讀取輸入數(shù)據(jù)，對(duì)數(shù)

據(jù)進(jìn)行排序，將數(shù)據(jù)按照分組傳遞給用戶編寫的reduce

函數(shù)執(zhí)行。現(xiàn)在是20頁\一共有35頁\編輯于星期日現(xiàn)在是21頁\一共有35頁\編輯于星期日Client(客戶端)：編寫mapreduce程序，配置作業(yè)，提交作業(yè)，這就是程序員完成的工作JobTracker：初始化作業(yè)，分配作業(yè)，與TaskTracker通信，協(xié)調(diào)整個(gè)作業(yè)的執(zhí)行TaskTracker：保持與JobTracker的通信，在分配的數(shù)據(jù)片段上執(zhí)行Map或Reduce任務(wù)TaskTracker和JobTracker的不同有個(gè)很重要的方面，就是在執(zhí)行任務(wù)時(shí)候TaskTracker可以有n多個(gè)，JobTracker則只會(huì)有一個(gè)（JobTracker只能有一個(gè)就和hdfs里namenode一樣存在單點(diǎn)故障，我會(huì)在后面的mapreduce的相關(guān)問題里講到這個(gè)問題的）Hdfs：保存作業(yè)的數(shù)據(jù)、配置信息等等，最后的結(jié)果也是保存在hdfs上面mapreduce作業(yè)執(zhí)行涉及4個(gè)獨(dú)立的實(shí)體：現(xiàn)在是22頁\一共有35頁\編輯于星期日hadoop工作任務(wù)(job)過程HadoopV2:現(xiàn)在是23頁\一共有35頁\編輯于星期日MapReduce在Hadoop2x中稱為MR2或YARN，將JobTracker中的資源管理及任務(wù)生命周期管理（包括定時(shí)觸發(fā)及監(jiān)控），拆分成兩個(gè)獨(dú)立的服務(wù):1、用于管理全部資源的ResourceManager---用于管理向應(yīng)用程序分配計(jì)算資源2、管理每個(gè)應(yīng)用的ApplicationMaster---用于管理應(yīng)用程序、調(diào)度以及協(xié)調(diào)一個(gè)應(yīng)用程序可以是經(jīng)典的MapReduce架構(gòu)中的一個(gè)單獨(dú)的任務(wù)ResourceManager及每臺(tái)機(jī)上的NodeManager服務(wù)，用于管理那臺(tái)機(jī)的用戶進(jìn)程，形成計(jì)算架構(gòu)每個(gè)應(yīng)用程序的ApplicationMaster實(shí)際上是一個(gè)框架具體庫，并負(fù)責(zé)從ResourceManager中協(xié)調(diào)資源及與NodeManager(s)協(xié)作執(zhí)行并監(jiān)控任務(wù)。說明：現(xiàn)在是24頁\一共有35頁\編輯于星期日關(guān)鍵進(jìn)程N(yùn)ameNode

SecondaryNameNodeDataNodeJobTrackerTaskTracker

現(xiàn)在是25頁\一共有35頁\編輯于星期日關(guān)鍵進(jìn)程N(yùn)ameNodeNameNode：它是Hadoop中的主服務(wù)器，管理文件系統(tǒng)名稱空間和對(duì)集群中存儲(chǔ)的文件的訪問現(xiàn)在是26頁\一共有35頁\編輯于星期日關(guān)鍵進(jìn)程SecondaryNameNodeSecondaryNameNode：它不是namenode的冗余守護(hù)進(jìn)程，而是提供周期檢查點(diǎn)和清理任務(wù)。出于對(duì)可擴(kuò)展性和容錯(cuò)性等考慮，我們一般將SecondaryNameNode運(yùn)行在一臺(tái)非NameNode的機(jī)器上現(xiàn)在是27頁\一共有35頁\編輯于星期日關(guān)鍵進(jìn)程DataNodeDataNode：它負(fù)責(zé)管理連接到節(jié)點(diǎn)的存儲(chǔ)（一個(gè)集群中可以有多個(gè)節(jié)點(diǎn)）。每個(gè)存儲(chǔ)數(shù)據(jù)的節(jié)點(diǎn)運(yùn)行一個(gè)datanode守護(hù)進(jìn)程現(xiàn)在是28頁\一共有35頁\編輯于星期日關(guān)鍵進(jìn)程

JobTrackerJobTracker負(fù)責(zé)調(diào)度

DataNode上的工作,每個(gè)

DataNode有一個(gè)TaskTracker，它們執(zhí)行實(shí)際工作JobTracker和

TaskTracker采用主-從形式，JobTracker跨DataNode分發(fā)工作，而

TaskTracker執(zhí)行任務(wù)JobTracker還檢查請(qǐng)求的工作，如果一個(gè)

DataNode由于某種原因失敗，JobTracker會(huì)重新調(diào)度以前的任務(wù)現(xiàn)在是29頁\一共有35頁\編輯于星期日關(guān)鍵進(jìn)程

TaskTrackerTaskTracker:

是在網(wǎng)絡(luò)環(huán)境中開始和跟蹤任務(wù)的核心位置，與Jobtracker連接請(qǐng)求執(zhí)行任務(wù)而后報(bào)告任務(wù)狀態(tài)現(xiàn)在是30頁\一共有35頁\編輯于星期日HDFShdfs-site.xml參數(shù)配置hadoop配置文件.dir

NameNode元數(shù)據(jù)存放位置默認(rèn)值：file://${hadoop.tmp.dir}/dfs/namedfs.blocksize對(duì)于新文件切分的大小，單位byte。默認(rèn)是128M,每一個(gè)節(jié)點(diǎn)都要指定，包括客戶端。默認(rèn)值：134217728dfs.datanode.data.dirDataNode在本地磁盤存放block的位置，可以是以逗號(hào)分隔的目錄列表，DataNode循環(huán)向磁盤中寫入數(shù)據(jù)，每個(gè)DataNode可單獨(dú)指定與其它DataNode不一樣默認(rèn)值：file://${hadoop.tmp.dir}/dfs/data現(xiàn)在是31頁\一共有35頁\編輯于星期日HDFShdfs-site.xml參數(shù)配置node.handler.countNameNode用來處理來自DataNode的RPC請(qǐng)求的線程數(shù)量建議設(shè)置為DataNode數(shù)量的10%，一般在10~200個(gè)之間如設(shè)置太小，DataNode在傳輸數(shù)據(jù)的時(shí)候日志中會(huì)報(bào)告“connectonrefused"信息在NameNode上設(shè)定默認(rèn)值：10dfs.datanode.handler.countDataNode用來連接NameNode的RPC請(qǐng)求的線程數(shù)量取決于系統(tǒng)的繁忙程度設(shè)置太小會(huì)導(dǎo)致性能下降甚至報(bào)錯(cuò)在DataNode上設(shè)定默認(rèn)值：10dfs.datanode.max.transfer.threadsDataNode可以同時(shí)處理的數(shù)據(jù)傳輸連接數(shù)建議值：4096現(xiàn)在是32頁\一共有35頁\編輯于星期日HDFShdfs-site.xml參數(shù)配置dfs.permissions

如果是true則檢查權(quán)限，否則不檢查（每一個(gè)人都可以存取文件）于NameNode上設(shè)定默認(rèn)值：truedfs.datanode.du.reserved 在每個(gè)卷上面HDFS不能使用的空間大小在每個(gè)DataNode上面設(shè)定默認(rèn)值：0建議為10737418240，即10G。需要結(jié)合MapReduce場(chǎng)景設(shè)置。dfs.datanode.failed.volumes.toleratedDataNode可以容忍損塊的磁盤數(shù)量，超過這個(gè)數(shù)量DataNode將會(huì)離線，所有在這個(gè)節(jié)點(diǎn)上面的block將會(huì)被重新復(fù)制默認(rèn)是0，但是在有多塊磁盤的時(shí)候一般會(huì)增大這個(gè)值dfs.replication在文件被寫入的時(shí)候，每一塊將要被復(fù)制多少份默認(rèn)是3份。建議3份在客戶端上設(shè)定通常也需要在DataNode上設(shè)定現(xiàn)在是33頁\一共有35頁\編輯于星期日HDFShdfs-site.xml參數(shù)配置dfs.webhdfs.enabled

-EnableWebHDFS(RESTAPI)inNa