通過MapReduce對(duì)HBase數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析

通過MapReduce對(duì)HBase數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析目錄一、概述 1二、應(yīng)用場(chǎng)景 1三、Map程序 2四、Reduce程序 2五、Combiner程序 3六、作業(yè)執(zhí)行 3一、概述HBase作為一種kv數(shù)據(jù)庫，能夠很好的面對(duì)高吞吐率的在線數(shù)據(jù)讀寫服務(wù)，尤其是寫操作，但是在非rowkey多條件查詢、數(shù)據(jù)分析、統(tǒng)計(jì)等場(chǎng)景下，HBase表現(xiàn)的就不是很好了，這些場(chǎng)景下就比較適合MapReduce出場(chǎng)了。二、應(yīng)用場(chǎng)景這里就通過一個(gè)示例程序，一步一步帶著大家學(xué)習(xí)MapReduce的開發(fā)。假設(shè)我們有一張業(yè)務(wù)表（biz_detail），它有一列是業(yè)務(wù)發(fā)生日期（ts），每行數(shù)據(jù)就是一條業(yè)務(wù)發(fā)生，現(xiàn)在我們要統(tǒng)計(jì)業(yè)務(wù)發(fā)生日期每天的業(yè)務(wù)量（數(shù)據(jù)行數(shù)），對(duì)于這樣一個(gè)簡(jiǎn)單統(tǒng)計(jì)需求，我們可以通過MapReduce程序來實(shí)現(xiàn)。三、Map程序TableAnalyzeMap繼承HBase的TableMapper基類，把ts看做文本，行數(shù)自然是整數(shù)，所以key-value輸出類型自然是<Text,IntWritable>，具體代碼如下：四、Reduce程序TableAnalyzeReduce繼承HBase的TableReducer基類，這里我們把最終聚合后的結(jié)果寫到目標(biāo)表中，rowkey對(duì)應(yīng)ts，行數(shù)對(duì)應(yīng)目標(biāo)表的cf:count列，具體代碼如下：五、Combiner程序分析map程序，我們可以看到，map階段處理后的數(shù)據(jù)是沒有任何合并的，key為日期，value都是1，這樣的話，如果直接進(jìn)入reduce階段，要分發(fā)的數(shù)據(jù)量還是比較大的，會(huì)造成網(wǎng)絡(luò)負(fù)擔(dān)，針對(duì)這個(gè)問題，我們可以在map階段后，做一下本地reduce，這樣進(jìn)入reduce的階段的數(shù)據(jù)量會(huì)大大減少。六、作業(yè)執(zhí)行程序接收四個(gè)參數(shù)，依次為：業(yè)務(wù)表名稱、日期字段列族、日期字段列名、目標(biāo)表名。當(dāng)然你也可以使用ApacheCommonsCLI類解析命令行參數(shù)，這里就不做說明了。其中scan.setCaching(500)設(shè)置每次讀取行數(shù)，根據(jù)實(shí)際情況進(jìn)行配置，scan.setCacheBlocks(false)告訴HBase本次掃描的數(shù)據(jù)不要放入緩存中，其他就不再詳述，通過代碼就能夠看明白。這樣，整個(gè)mapreduce程序我們已經(jīng)開發(fā)完成，生成相應(yīng)jar包后，我