hadoop培訓1高級開發(fā)實戰(zhàn)

目前流行什么 +大數(shù)Hadoop1.0 Hadoop1.0HDFS分布SecondaryNameNode根據過editslogHadoop2.0Hadoop2.0新特性:NameNodeHadoop2.0HA Hadoop2.0新特性:通過 HadoopNFSv3實現(xiàn)方

NFS允許用戶像本地文件系統(tǒng) 通過引入一個NFSgateway服務實，該服務能將NFS協(xié)議轉換 協(xié)unnameduser(fileunnamedgroup(filenamednamed權限掩碼，用于過濾nameduser和namedgroup的權限MapReduceMapReduceMapReduceMapReduce

(2)assign

local

getmap

(onlocaldisks)

MapReduceMapReduceReduceMapper抽象1、protectedvoidsetup(Context2、protectedvoidmap(KEYINkey,VALUEINContextcontext)throwsIOException,InterruptedException{context.write((KEYOUT)key,(VALUEOUT)}3、protectedvoidcleanup(Context)throwsIOException,InterruptedException//}4、publicvoidrun(Contextcontext)throwsIOException,InterruptedException{while(context.nextKeyValue())}Reducer抽象1protectedvoidsetup(Context)throwsIOException,InterruptedException}2、protectedvoidreduce(KEYINkey, ble<VALUEIN>values,Context)throwsIOException,InterruptedException{for(VALUEINvalue:values){context.write((KEYOUT)key,(VALUEOUT)}}3、protectedvoidcleanup(Context)throwsIOException,InterruptedException}4、publicvoidrun(ContextcontextthrowsIOExceptionInterruptedExceptionwhile(context.nextKey())}} 文件輸入格式Defaultformat;readsoftextThebyteoffsetofTheParseslinesintokey-valEverythinguptothefirsttabcharacterofthelineAHadoop-specifichigh-performancebinaryformat輸入數(shù)據分塊輸入數(shù)據分塊InputSplit定義了輸入到單個任務的輸入數(shù)一個MapReduce程序被統(tǒng)稱InputSplit將文件分為64MB數(shù)據記錄讀入 讀入一個文本行數(shù)據記合并相同key的鍵值對，減少partitioner時候的數(shù)據通信開是在本地執(zhí)行的一個Reducer，滿足一定的條件才能夠執(zhí)行Partitioner&Partitioner&，用來決定一個給定(key,value)對傳給哪個節(jié)

傳輸?shù)矫恳粋€Reducer節(jié)點上新版本的編程接口是文件輸出格式 個號（partitionid） Default;writeslinesin"key\tvalue"WritesbinaryfilessuitableforreadingsubsequentMapReduceDisregardsitsHadoopStreaming介 運行一個MapReduce運行一個MapReduceStreamingcattest.log|wcfs-三、運行/bin/hadoopjarcontrib/streaming/hadoop-streaming--mappercat-reducer'wc-- /data/test.log-outputHadoopMRhadoops MapReduce案例實 Hadoop1.0的局限-Hadoop1.0的局限-擴展可用

map-reducejob非常多的時候，會造成很大的內存開銷，潛在來說，也增加了JobTrackerfail的風險，這也是業(yè)界普遍總結出老Hadoop的Map-Reduce只能支持4000節(jié)點主機的上限。存在單點故障,一旦故障，批處理模低效的資源管把資源強制劃分為maptaskslot和reducetaskslot,有maptask或者只有reducetask的時候，會造成資源的浪費Hadoop2.0新特性:YARN

YARNHadoop2.0啟動 處理來自 Hadoop2.0新特性:YARN-1.0資源調概概念:SlotHadoop1.0采用了靜態(tài)資源設置策略，即每個節(jié)點實現(xiàn)配Hadoop1.0將slot分為Mapslot和Reduceslot兩種，不允許共沒引入有效的資源機制，采用了基于jvm的資源機Hadoop2.0新特性:YARN的資源概概念:Container,實現(xiàn)資源動態(tài)管理Hadoop2.0新特性:YARN的資源可