基于hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案tp

1、ACCP8.0職業(yè)教育研究院北京阿博泰克北大青鳥信息技術(shù)有限公司Y2第七章 天氣查詢系統(tǒng)預(yù)習檢查n HBase適合實時查詢嗎？為什么？n MapReduce適合實時查詢嗎？為什么？n 為什么在Mapper或Reducer類中定義的System.out.println()語句不會在客戶端中輸出？n 請解釋配置項“io.serializations”的作用集中測試集中測試2/33訓練的技能點n 會使用HDFS FS 命令n 能夠進行MapReduce 編程n 能夠讓Mapper輸出到HBasen 能夠讓Reducer輸出到HBasen 會使用HBase Java API進行內(nèi)容查詢n 能夠使用HB

2、ase過濾器進行內(nèi)容查詢n 能夠部署作業(yè)驅(qū)動客戶端3/33n 系統(tǒng)概述任務(wù)描述2-1天氣查詢系統(tǒng)天氣查詢系統(tǒng)天氣數(shù)據(jù)導入查詢某一天的天氣數(shù)據(jù)查詢每年的最高氣溫查詢每年查詢每年的最低氣的最低氣溫溫查詢每年的平均氣溫查詢每年下雨天數(shù)預(yù)測明天氣溫4/33任務(wù)描述2-2n 用例圖演示案例：天氣查詢系統(tǒng)5/33問題分析1：整體開發(fā)思路n 系統(tǒng)開發(fā)步驟u明確需求u準備氣象數(shù)據(jù)u創(chuàng)建項目u編碼順序u測試作業(yè)驅(qū)動主作業(yè)驅(qū)動主程序程序查詢某天天查詢某天天氣數(shù)據(jù)氣數(shù)據(jù)查詢每年最查詢每年最高（最低、高（最低、平均）氣溫平均）氣溫查詢每年的查詢每年的下雨天數(shù)下雨天數(shù)預(yù)測明天的預(yù)測明天的氣溫氣溫231546/33問題分

3、析2：界面交互設(shè)計n 界面交互設(shè)計的原則u易用性原則操作方式自然、操作方式自然、易理解易理解u友好性原則輸入錯誤或系統(tǒng)發(fā)生錯誤有及時的提示輸入錯誤或系統(tǒng)發(fā)生錯誤有及時的提示7/33問題分析3：技術(shù)分析n 技術(shù)實現(xiàn)中需要考慮的問題u原始數(shù)據(jù)格式u數(shù)據(jù)存儲設(shè)計u導入數(shù)據(jù)u工具選擇離線計算：離線計算：MapReduce實時查詢：實時查詢：HBaseu統(tǒng)計年最高、最低、平均氣溫年最高、最低、平均氣溫年下雨天數(shù)年下雨天數(shù)u天氣預(yù)測8/33難點分析：理解業(yè)務(wù)n 統(tǒng)計年最高氣溫、最低氣溫、平均氣溫umap階段:依次讀取每一條氣象數(shù)據(jù)，分別輸出MAX、MIN、TEMP值，key應(yīng)為年份ureduce階段：分別

4、求出最大值、最小值、平均值n 統(tǒng)計一年中下雨天數(shù)u統(tǒng)計記錄字段FRSHTT，如果R為1則計數(shù)一次n 天氣預(yù)測功能u根據(jù)歷史氣象數(shù)據(jù)，統(tǒng)計不同年的同一日期的TEMP、MAX、MIN，再分別求得平均數(shù)模擬預(yù)測功能9/33開發(fā)計劃n 準備數(shù)據(jù)30分鐘n 用例1：查詢某一天的天氣數(shù)據(jù)30分鐘n 用例2：查詢每年的最高氣溫50分鐘n 用例3：查詢每年的最低氣溫25分鐘n 用例4：查詢每年的平均氣溫25分鐘n 用例5：查詢每年下雨的天數(shù)30分鐘n 用例6：預(yù)測明天的氣溫50分鐘10/33準備數(shù)據(jù)n 使用Mapper逐條導入u解析氣象數(shù)據(jù)格式u使用TableOutputFormat格式輸出輸出鍵：輸出鍵：“

5、STN + YEARMODA”輸出值：解析后的輸出值：解析后的Put實例實例n Configuration conf.setStrings(io.serializations, conf.get(io.serializations),MutationSerialization.class.getName(),ResultSerialization.class.getName(),KeyValueSerialization.class.getName();使得使得MapTask可以對可以對TableOutputFormat的輸出鍵的輸出鍵/值類型進行序列化值類型進行序列化演示案例：導入數(shù)據(jù)完成時

6、間：30分鐘11/33用例1：查詢某一天的天氣數(shù)據(jù) 2-1n 需求說明u用戶選擇功能【1】，系統(tǒng)提示用戶輸入日期格式u根據(jù)輸入日期返回天氣數(shù)據(jù)n 方法一u使用Get對象查詢行鍵“STN+YEARMODA”n 方法二u使用Scan對象對表掃描u為Scan添加過渡器SingleColumnValueFilter指導指導講解需求說明分析分析完成時間：30分鐘scan.setFilter(new SingleColumnValueFilter(Bytes.toBytes(“info”),Bytes.toBytes(“YEARMODA”), CompareOp.EQUAL,Bytes.toBytes(“

7、20080808”);12/33n 啟動后是否正確顯示菜單n 輸入“0”，程序關(guān)閉n 輸入除“0”以外的操作編號，是否繼續(xù)顯示菜單n 輸入“1”并輸入正確日期，結(jié)果是否達到預(yù)期n 要求u互相驗證完成的程序功能u小組長檢查本組完成情況功能測試功能測試用例1：查詢某一天的天氣數(shù)據(jù) 2-213/33共性問題集中講解n 常見問題及解決辦法n 代碼規(guī)范問題n 調(diào)試技巧共性問題集中講解 14/33用例2：查詢每年的最高氣溫 2-1n 需求說明u用戶選擇功能【2】，作業(yè)被提交到Hadoop，并將統(tǒng)計結(jié)果輸出到“results”表的列“statistic:max”u作業(yè)結(jié)束后，查詢表并輸出n 實現(xiàn)Mapper

8、umap()：獲得每一天的最高氣溫，作為本年度最高氣溫的候選項n 實現(xiàn)Reducerureduce()：從本年度每天的最高溫度中選擇最大值，作為本年度最高氣溫輸出指導指導講解需求說明完成時間：50分鐘分析分析15/33n 輸入“2”，是否正確顯示結(jié)果n 要求u互相驗證完成的程序功能u小組長檢查本組完成情況功能測試功能測試用例2：查詢每年的最高氣溫 2-216/33共性問題集中講解n 常見問題及解決辦法n 代碼規(guī)范問題n 調(diào)試技巧共性問題集中講解 17/33用例3：查詢每年的最低氣溫 2-1n 需求說明u用戶選擇功能【3】，作業(yè)被提交到Hadoop，并將統(tǒng)計結(jié)果輸出到“results”表的列“s

9、tatistic:min”u作業(yè)結(jié)束后，查詢表并輸出n 實現(xiàn)Mapperumap()：獲得每一天的最高氣溫，作為本年度最低氣溫的候選項n 實現(xiàn)Reducerureduce()：從本年度每天的最低溫度中選擇最小值，作為本年度最低氣溫輸出講解需求說明完成時間：25分鐘練習練習提示提示18/33n 輸入“3”，是否正確顯示結(jié)果n 要求u互相驗證完成的程序功能u小組長檢查本組完成情況功能測試功能測試用例3：查詢每年的最低氣溫 2-219/33共性問題集中講解n 常見問題及解決辦法n 代碼規(guī)范問題n 調(diào)試技巧共性問題集中講解 20/33用例4：查詢每年的平均氣溫 2-1n 需求說明u用戶選擇功能【4】，

10、作業(yè)被提交到Hadoop，并將統(tǒng)計結(jié)果輸出到“results”表的列“statistic:avg”u作業(yè)結(jié)束后，查詢表并輸出n 實現(xiàn)Mapperumap()：獲得每一天的平均氣溫，作為本年度平均氣溫的候選項n 實現(xiàn)Reducerureduce()：從本年度每天的平均溫度中再求平均值，作為本年度平均氣溫輸出講解需求說明完成時間：25分鐘練習練習提示提示21/33n 輸入“4”，是否正確顯示結(jié)果n 要求u互相驗證完成的程序功能u小組長檢查本組完成情況功能測試功能測試用例4：查詢每年的平均氣溫 2-222/33共性問題集中講解n 常見問題及解決辦法n 代碼規(guī)范問題n 調(diào)試技巧共性問題集中講解 23/

11、33用例5：查詢每年的下雨天數(shù) 2-1n 需求說明u用戶選擇功能【5】，作業(yè)被提交到Hadoop，并將統(tǒng)計結(jié)果輸出到“results”表的列“statistic:rain”u作業(yè)結(jié)束后，查詢表并輸出n 實現(xiàn)Mapperumap()：輸出的前提條件是該行的“FRSHTT”中第1位（由0開始）為1n 實現(xiàn)Reducerureduce()：對輸入key的所有值求和，并按“results”表的行鍵key輸出該求和值到列“statistic:rain”講解需求說明完成時間：30分鐘練習練習提示提示24/33n 輸入“5”，是否正確顯示結(jié)果n 要求u互相驗證完成的程序功能u小組長檢查本組完成情況功能測試功

12、能測試用例5：查詢每年的下雨天數(shù) 2-225/33共性問題集中講解n 常見問題及解決辦法n 代碼規(guī)范問題n 調(diào)試技巧共性問題集中講解 26/33用例6：預(yù)測明天的氣溫 2-1n 需求說明u用戶選擇功能【6】，作業(yè)被提交到Hadoop，并將統(tǒng)計結(jié)果輸出到“forecast”表的列族“item”u作業(yè)結(jié)束后，查詢表并輸出列族“item”所有列n 實現(xiàn)Mapperumap()：獲得每年“明天”天氣數(shù)據(jù)，以MapWritable封裝后輸出u輸出鍵/值：n 實現(xiàn)Reducerureduce()：統(tǒng)計所有當天的TEMP、MAX、MIN，并分別求出平均值指導指導講解需求說明分析分析完成時間：50分鐘27/33n 輸入“6”，是否正確顯示結(jié)果n 要求u互相驗證完成的程序功能u小組長檢查本組完成情況功能測試功能測試用例6：預(yù)測明天的氣溫 2-228/33共性問題集中講解n 常見問題及解決辦法n 代碼規(guī)范問題n 調(diào)試技巧共性問題集中講解 29/33項目總結(jié)n 講解要點u完成情況、技能總結(jié)、經(jīng)驗分享、項目收獲n 表達要求u清晰流暢、有條理、重點突出作品展示作品展示30/33技能總結(jié)n 技術(shù)實現(xiàn)u靈活利用Hadoop提供的MapReduce編程模型Mapper在多節(jié)點間并行、逐行分解數(shù)據(jù)原始記錄在多節(jié)點間并行、逐行分解數(shù)據(jù)原始記錄Reducer合并合并Mappe