通過(guò)MapReduce對(duì)HBase數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析

通過(guò)MapReduce對(duì)HBase數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析目錄一、概述 1二、應(yīng)用場(chǎng)景 1三、Map程序 2四、Reduce程序 2五、Combiner程序 3六、作業(yè)執(zhí)行 3一、概述HBase作為一種kv數(shù)據(jù)庫(kù)，能夠很好的面對(duì)高吞吐率的在線(xiàn)數(shù)據(jù)讀寫(xiě)服務(wù)，尤其是寫(xiě)操作，但是在非rowkey多條件查詢(xún)、數(shù)據(jù)分析、統(tǒng)計(jì)等場(chǎng)景下，HBase表現(xiàn)的就不是很好了，這些場(chǎng)景下就比較適合MapReduce出場(chǎng)了。二、應(yīng)用場(chǎng)景這里就通過(guò)一個(gè)示例程序，一步一步帶著大家學(xué)習(xí)MapReduce的開(kāi)發(fā)。假設(shè)我們有一張業(yè)務(wù)表（biz_detail），它有一列是業(yè)務(wù)發(fā)生日期（ts），每行數(shù)據(jù)就是一條業(yè)務(wù)發(fā)生，現(xiàn)在我們要統(tǒng)計(jì)業(yè)務(wù)發(fā)生日期每天的業(yè)務(wù)量（數(shù)據(jù)行數(shù)），對(duì)于這樣一個(gè)簡(jiǎn)單統(tǒng)計(jì)需求，我們可以通過(guò)MapReduce程序來(lái)實(shí)現(xiàn)。三、Map程序TableAnalyzeMap繼承HBase的TableMapper基類(lèi)，把ts看做文本，行數(shù)自然是整數(shù)，所以key-value輸出類(lèi)型自然是<Text,IntWritable>，具體代碼如下：四、Reduce程序TableAnalyzeReduce繼承HBase的TableReducer基類(lèi)，這里我們把最終聚合后的結(jié)果寫(xiě)到目標(biāo)表中，rowkey對(duì)應(yīng)ts，行數(shù)對(duì)應(yīng)目標(biāo)表的cf:count列，具體代碼如下：五、Combiner程序分析map程序，我們可以看到，map階段處理后的數(shù)據(jù)是沒(méi)有任何合并的，key為日期，value都是1，這樣的話(huà)，如果直接進(jìn)入reduce階段，要分發(fā)的數(shù)據(jù)量還是比較大的，會(huì)造成網(wǎng)絡(luò)負(fù)擔(dān)，針對(duì)這個(gè)問(wèn)題，我們可以在map階段后，做一下本地reduce，這樣進(jìn)入reduce的階段的數(shù)據(jù)量會(huì)大大減少。六、作業(yè)執(zhí)行程序接收四個(gè)參數(shù)，依次為：業(yè)務(wù)表名稱(chēng)、日期字段列族、日期字段列名、目標(biāo)表名。當(dāng)然你也可以使用ApacheCommonsCLI類(lèi)解析命令行參數(shù)，這里就不做說(shuō)明了。其中scan.setCaching(500)設(shè)置每次讀取行數(shù)，根據(jù)實(shí)際情況進(jìn)行配置，scan.setCacheBlocks(false)告訴HBase本次掃描的數(shù)據(jù)不要放入緩存中，其他就不再詳述，通過(guò)代碼就能夠看明白。這樣，整個(gè)mapreduce程序我們已經(jīng)開(kāi)發(fā)完成，生成相應(yīng)jar包后，我