e6.應(yīng)用篇-mapreducehbase進(jìn)階提升29講課件mapreduce高階實(shí)現(xiàn)

1、Hadoop大數(shù)據(jù)解決方案進(jìn)階應(yīng)用Hadoop講師：迪倫（北風(fēng)網(wǎng) ）MapReduce高階實(shí)現(xiàn) (6) 實(shí)例：數(shù)據(jù)分區(qū)-MultipleOutputFormat類實(shí)現(xiàn) 實(shí)例：數(shù)據(jù)分區(qū)-MultipleOutputs類實(shí)現(xiàn)課程目標(biāo)實(shí)例：數(shù)據(jù)分區(qū)-MultipleOutputFormat類實(shí)現(xiàn)MultipleOutputFormat類MultipleOutputFormat類可以將數(shù)據(jù)寫到多個(gè)文件，這些文件的名稱源于輸出的鍵和值包含兩個(gè)實(shí)體子類：MultipleTextOutputFormat和MultipleSequenceOutputFormat的多文件版本用MultipleOutputFor

2、mat類將整個(gè)數(shù)據(jù)集分區(qū)到以氣象站ID命名的文件實(shí)例：數(shù)據(jù)分區(qū)-MultipleOutputFormat類實(shí)現(xiàn)實(shí)例：數(shù)據(jù)分區(qū)-MultipleOutputFormat類實(shí)現(xiàn)實(shí)例：數(shù)據(jù)分區(qū)-MultipleOutputFormat類實(shí)現(xiàn)輸出結(jié)果：generateFileNameForKeyValue()方法返回的文件名實(shí)際上是一個(gè)相對于輸出目錄的路徑例如，實(shí)現(xiàn)每年的數(shù)據(jù)包含在一個(gè)以氣象站ID命名的目錄中實(shí)例：數(shù)據(jù)分區(qū)-MultipleOutputs類實(shí)現(xiàn)MultipleOutputs類MultipleOutputs類可以為不同的輸出產(chǎn)生不同的類型無法控制輸出的命名用MultipleOutputs

3、類將整個(gè)數(shù)據(jù)集分區(qū)到以氣象站ID命名的文件實(shí)例：數(shù)據(jù)分區(qū)-MultipleOutputs類實(shí)現(xiàn)實(shí)例：數(shù)據(jù)分區(qū)-MultipleOutputs類實(shí)現(xiàn)實(shí)例：數(shù)據(jù)分區(qū)-MultipleOutputs類實(shí)現(xiàn)文件命名模式：station_-r-輸出的文件MultipleOutputFormat和MultipleOutputs的區(qū)別簡單的對比MultipleOutputs功能更齊全，但MultipleOutputFormat對輸出目錄結(jié)構(gòu)和文件命名有更多控制新版API只有MultipleOutputs，它支持舊API的兩個(gè)多輸出類的所有特征延遲輸出File OutputFormat的子類會(huì)產(chǎn)生輸出文件，即使文件是空的LazyOutputFormat可實(shí)現(xiàn)不創(chuàng)建空文件是一個(gè)封裝的輸出格式可以保證指定分區(qū)第一條記錄輸出時(shí)才真正創(chuàng)建文件如何使用？通過JobConf和相關(guān)的輸出格式作為參數(shù)來調(diào)用setOutputFormatClass()方法Streamin