MapReduce的各個執(zhí)行階段

MapReduce的各個執(zhí)行階段2學(xué)習(xí)任務(wù)了解MapReduce各個執(zhí)行階段掌握MapReduce階段知識3知識目標(biāo)學(xué)習(xí)MapReduce執(zhí)行階段了解MapReduce宏觀上的三個階段01能力目標(biāo)熟練掌握MapReduce各個執(zhí)行階段02學(xué)習(xí)目標(biāo)4目錄01MapReduce簡介02MapReduce宏觀執(zhí)行階段03MapReduce工作原理04MapReduce主要功能5MapReduce簡介MapReduce是一種并行可擴(kuò)展計算模型，并且有較好的容錯性，主要解決海量離線數(shù)據(jù)的批處理。實現(xiàn)下面目標(biāo)。易于編程良好的擴(kuò)展性高容錯性6MapReduce宏觀執(zhí)行階段宏觀上MapReduce可以分為以下三個階段,如下圖所示。階段1：input/map/partition/sort/spill階段2：mapper端merge階段3：reducer端merge/reduce/output7MapReduce宏觀執(zhí)行階段以下分別對上述三個階段詳解。首先是Mapper端的執(zhí)行邏輯，主要包含以下三點，如圖所示：1.將key/value/Partition寫入到內(nèi)存緩沖區(qū)中2.當(dāng)緩沖區(qū)使用量達(dá)到一定閥值，將其spill到disk上，spill前，需要進(jìn)行排序3.排序時先按照Partition進(jìn)行排序，再按照key進(jìn)行排序，默認(rèn)排序算法是快速排序。8MapReduce宏觀執(zhí)行階段注意：在內(nèi)存中進(jìn)行排序時，數(shù)據(jù)本身不用移動，僅對索引排序即可9MapReduce宏觀執(zhí)行階段接下來是Map端的歸并實現(xiàn)，主要包含以下兩點，如圖所示。1.對生成的多個spill文件，進(jìn)行歸并排序2.最終歸并成一個大文件10MapReduce宏觀執(zhí)行階段注意：1.由于每一個spill文件都是按分區(qū)和key排序好的，所以歸并完的文件也是按分區(qū)和key排序好的。2.在進(jìn)行歸并的時候，不是一次性的把所有的spill文件歸并成一個大文件。而是部分spill文件歸并成中間文件，然后中間文件和剩下的spill文件再進(jìn)行歸并。11MapReduce宏觀執(zhí)行階段最后是Reducer端的Merge和Reduce，主要包含以下三點，如下圖所示：1.當(dāng)有新的MapTask事件完成時，拷貝線程從指定的機(jī)器上面拷貝數(shù)據(jù)2.當(dāng)數(shù)據(jù)拷貝的時候，分兩種情況，當(dāng)數(shù)據(jù)量小的時候就會寫入內(nèi)存當(dāng)中，當(dāng)數(shù)據(jù)量大的時候就會寫入硬盤當(dāng)中3.來自不同的機(jī)器的多個數(shù)據(jù)文件，需要歸并成一個文件.在拷貝文件過程中會進(jìn)行文件歸并操作.12MapReduce宏觀執(zhí)行階段3.來自不同的機(jī)器的多個數(shù)據(jù)文件，需要歸并成一個文件.在拷貝文件過程中會進(jìn)行文件歸并操作.13MapReduce運行的5個階段MapReduce在運行的過程中大致概括為5個步驟1.[input階段]獲取輸入數(shù)據(jù)進(jìn)行分片作為map的輸入

2.[map階段]過程對某種輸入格式的一條記錄解析成一條或多條記錄

3.[shffle階段]對中間數(shù)據(jù)的控制，作為reduce的輸入

4.[reduce階段]對相同key的數(shù)據(jù)進(jìn)行合并

5.[output階段]按照格式輸出到指定目錄14MapReduce運行的5個階段input階段input階段主要是從節(jié)點上反序列化數(shù)據(jù)，讀取后切片，供map階段使用

序列化格式和inputformat格式可以自定義設(shè)置

只有支持分片的壓縮格式可以分片

記錄格式：如serse用正則表達(dá)式來轉(zhuǎn)換文本hive

具體的步驟順序如下:1.訪問datanode中的數(shù)據(jù)反序列化數(shù)據(jù)并進(jìn)行切片，為每一個切片分配一個map任務(wù)

。2.并發(fā)的執(zhí)行這些任務(wù)

。3.通過recordReader讀取切片中的每一條記錄，按照記錄格式讀取，偏移值作為map的key，記錄行作為value，當(dāng)做map方法的參數(shù)。15MapReduce運行的5個階段map階段通過對輸入記錄的處理，轉(zhuǎn)換成一個或多個中間記錄shuffle階段需要注意：

1.shuffle階段會對中間值進(jìn)行優(yōu)化，并且將分區(qū)的數(shù)據(jù)分發(fā)給各個reduce處理2.map任務(wù)的輸出默認(rèn)是放在本地磁盤的臨時緩沖目錄中的3.分區(qū)，排序，combiner過程可自定義4.由于受限于集群可用帶寬，通常會對中間數(shù)據(jù)做壓縮，combiner處理，減少網(wǎng)絡(luò)帶寬消耗5.分區(qū)的作用就是決定根據(jù)map輸出的key值由哪個reduce處理6.mapper實現(xiàn)類讀取配置文件屬性，可以在配置中指定壓縮的格式7.每一個分組的后臺線程對輸出結(jié)果的key進(jìn)行排序，在排序的過程中，有combine函數(shù)則會進(jìn)行調(diào)用16MapReduce運行的5個階段shuffle階段（1）map數(shù)據(jù)會先輸出到內(nèi)存緩沖區(qū)中，到達(dá)默認(rèn)的80%的閥值后，會像map任務(wù)本地寫數(shù)據(jù)，每次寫都會生成一個小文件。（2）在寫到本地的過程中，會經(jīng)歷分區(qū)，排序，combiner（可選）的過程（3）當(dāng)最后一個文件溢寫到本地磁盤中的時候，區(qū)與區(qū)的文件就是合并，排序，壓縮（可選）（4）經(jīng)過分區(qū)的排序的大文件會按照不同的分區(qū)被拷貝到相應(yīng)的reduce中處理（5）reduce端通過httpnetwork復(fù)制map端傳來的數(shù)據(jù)（6）將輸入的數(shù)據(jù)排序后合并，經(jīng)過2次排序后會返回一個value的迭代器（7）分組將相同key的value放到一起作為一個value集合，作為reduce的輸入17MapReduce運行的5個階段reduce階段處理<key,list<value>>對，對每個key產(chǎn)生一個結(jié)果output階段對輸出數(shù)據(jù)通常會做壓縮，節(jié)省磁盤空間將reduce結(jié)果按照輸出的格式寫入文件中按