mapreduce編程模型介紹

mapreduce編程模型介紹了解mapreduce編程模型1、Mapreduce介紹

2、InputFormat

3、OutputFormat

4、Mapper和Reducer

5、Partitioner從MapReduce自身的命名特點(diǎn)可以看出，MapReduce由兩個(gè)階段組成：Map和Reduce。用戶只需編寫map()和reduce()兩個(gè)函數(shù)，即可完成簡(jiǎn)單的分布式程序的設(shè)計(jì)。Map()函數(shù)以key/value作為輸入，產(chǎn)生另外一系列key/value對(duì)作為中間輸出寫入本地磁盤。MapReduce框架會(huì)自動(dòng)將這些中間數(shù)據(jù)按照key值進(jìn)行聚集，且key值相同（用戶可設(shè)定聚集策略，默認(rèn)情況下是對(duì)key值進(jìn)行哈希取模）的數(shù)據(jù)被統(tǒng)一交給reduce()函數(shù)處理。Mapreduce介紹主要用于描述輸入數(shù)據(jù)的格式，提供數(shù)據(jù)切分功能，按照某種方式將輸入數(shù)據(jù)且分成若干個(gè)split，確定maptask的個(gè)數(shù)，以及為Mapper提供輸入數(shù)據(jù)，給定某個(gè)split，讓其解析成一個(gè)個(gè)key/value對(duì)。

InputFormat中的getSplits方法主要完成數(shù)據(jù)切分的功能，會(huì)嘗試著將輸入數(shù)據(jù)且分成numSplits個(gè)進(jìn)行存儲(chǔ)。InputSplit中只記錄了分片的元數(shù)據(jù)信息，比如起始位置、長(zhǎng)度以及所在的節(jié)點(diǎn)列表。InputFormathadoop將數(shù)據(jù)本地性分成三個(gè)等級(jí)：nodelocality,racklocality和datacenterlocality。在進(jìn)行任務(wù)調(diào)度時(shí)，會(huì)依次考慮3個(gè)節(jié)點(diǎn)的locality，優(yōu)先讓空閑資源處理本節(jié)點(diǎn)的數(shù)據(jù)，其次同一個(gè)機(jī)架上的數(shù)據(jù)，最差是處理其他機(jī)架上的數(shù)據(jù)。

雖然InputSplit對(duì)應(yīng)的block可能位于多個(gè)節(jié)點(diǎn)上，但考慮到任務(wù)調(diào)度的效率，通常不會(huì)將所有節(jié)點(diǎn)到InputSplit的host列表中，而是選擇數(shù)據(jù)總量最大的前幾個(gè)節(jié)點(diǎn)，作為任務(wù)調(diào)度時(shí)判斷任務(wù)是否具有本地性的主要憑據(jù)。對(duì)于FileInputFormat設(shè)計(jì)了一個(gè)簡(jiǎn)單有效的啟發(fā)式算法：按照rack包含的數(shù)據(jù)量對(duì)rack進(jìn)行排序，在rack內(nèi)部按照每個(gè)node包含的數(shù)據(jù)量對(duì)node排序，取前N個(gè)node的host作為InputSplit的host列表。InputFormatOutputFormat主要用于描述輸出數(shù)據(jù)的格式，能夠?qū)⒂脩籼峁┑膋ey/value對(duì)寫入特定格式的文件中。其中與InputFormat類似，OutputFormat接口中有一個(gè)重要的方法就是getRecordWriter，返回的RecordWriter接收一個(gè)key/value對(duì)，并將之寫入文件。OutputFormatMapper的過(guò)程主要包括初始化、Map操作執(zhí)行和清理三個(gè)部分。Reducer過(guò)程與Mapper過(guò)程基本類似。初始化，Mapper中的configure方法允許通過(guò)JobConf參數(shù)對(duì)Mapper進(jìn)行初始化工作；Map操作，通過(guò)前面介紹的InputFormat中的RecordReader從InputSplit獲取一個(gè)key/value對(duì)，交給實(shí)際的map函數(shù)進(jìn)行處理；通過(guò)繼承Closable接口，獲得close方法，實(shí)現(xiàn)對(duì)Mapper的清理。Mapper和Reducer對(duì)于一個(gè)MapReduce應(yīng)用，不一定非要存在Mapper，MapReduce框架提供了比Mapper更加通用的接口org.apache.hadoop.mapred.MapRunnable，可以直接實(shí)現(xiàn)該接口定制自己的key/value處理邏輯（相對(duì)于MapReduce階段中固定的map階段，可以跳過(guò)Map階段，比如HadoopPipes中的將數(shù)據(jù)發(fā)送給其他進(jìn)程處理）。Mapper和ReducerPartitoner的作用是對(duì)Mapper產(chǎn)生的中間結(jié)果進(jìn)行分片，將同一分組的數(shù)據(jù)交給一個(gè)Reducer來(lái)處理，直接影響這Reducer階段的負(fù)載均衡。其中最重要的方法就是getPartition，包含三個(gè)參數(shù)，key，