Hadoop MapReduce開發(fā)最佳實踐

1、最新Hadoop MapReduce開發(fā)最正確實踐前言本文是Hadoop最正確實踐系列第二篇，上一篇為?Hadoop管理員的十個最正確實踐?。MapRuduce開發(fā)對于大多數(shù)程序員都會覺得略顯復雜，運行一個WordCountHadoop中hello word程序不僅要熟悉MapRuduce模型，還要了解Linux命令盡管有Cygwin，但在Windows下運行MapRuduce仍然很麻煩，此外還要學習程序的打包、部署、提交job、調(diào)試等技能，這足以讓很多學習者望而退步。所以如何提高MapReduce開發(fā)效率便成了大家很關(guān)注的問題。但Hadoop的Committer早已經(jīng)考慮到這些問題，從而開發(fā)

2、了ToolRunner、MRunitMapReduce最正確實踐第二篇中會介紹、MiniMRCluster、MiniDFSCluster等輔助工具，幫助解決開發(fā)、部署等問題。舉一個自己親身的例子：某周一和伙伴(結(jié)對編程)決定重構(gòu)一個完成近10項統(tǒng)計工作的MapRuduce程序，這個MapReduce從Spring工程移植過來的,因為依賴Spring框架(原生Spring，非Spring Hadoop框架),導致性能難以忍受，我們決定將Spring從程序中剔除。重構(gòu)之前程序運行是正確的，所以我們要保障重構(gòu)后運行結(jié)果與重構(gòu)前一致。伙伴說，為什么我們不用TDD來完成這個事情呢？于是我們研究并應用了M

3、Runit，令人意想不到的是，重構(gòu)工作只用了一天就完成，剩下一天我們進行用findbug掃描了代碼，進行了集成測試。這次重構(gòu)工作我們沒有給程序帶來任何錯誤，不但如此我們還擁有了可靠的測試和更加穩(wěn)固的代碼。這件事情讓我們很爽的同時，也在思考關(guān)于MapReduce開發(fā)效率的問題，要知道這次重構(gòu)我們之前評估的時間是一周，我把這個事情分享到EasyHadoop群里，大家很有興趣，一個朋友問到，你們的評估太不準確了，為什么開始不評估2天完成呢？我說如果我們沒有使用MRUnit，真的是需要一周才能完成。因為有它單元測試，我可以在5秒內(nèi)得到我本次修改的反應，否那么至少需要10分鐘編譯、打包、部署、提交Map

4、Reduce、人工驗證結(jié)果正確性，而且重構(gòu)是個反復修改，反復運行，得到反應，再修改、再運行、再反應的過程，MRunit在這里幫了大忙。相同智商、相同工作經(jīng)驗的開發(fā)人員，借助有效的工具和方法，竟然可以帶來如此大的開發(fā)效率差距，不得不讓人驚詫！PS. 本文基于Hadoop 1.0Cloudera CDH3uX。本文適合讀者：Hadoop初級、中級開發(fā)者。1. 使用ToolRunner讓參數(shù)傳遞更簡單關(guān)于MapReduce運行和參數(shù)配置，你是否有下面的煩惱：將MapReduce Job配置參數(shù)寫到j(luò)ava代碼里，一旦變更意味著修改java文件源碼、編譯、打包、部署一連串事情。當MapReduce 依

5、賴配置文件的時候，你需要手工編寫java代碼使用DistributedCache將其上傳到HDFS中，以便map和reduce函數(shù)可以讀取。當你的map或reduce 函數(shù)依賴第三方j(luò)ar文件時，你在命令行中使用-libjars參數(shù)指定依賴jar包時，但根本沒生效。其實，Hadoop有個ToolRunner類，它是個好東西，簡單好用。無論在?Hadoop權(quán)威指南?還是Hadoop工程源碼自帶的example，都推薦使用ToolRunner。下面我們看下src/example目錄下WordCount.java文件，它的代碼結(jié)構(gòu)是這樣的：public class WordCount / 略. pu

6、blic static void main(String args) throws Exception Configuration conf = new Configuration(); String otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); / 略. Job job = new Job(conf, word count); / 略. System.exit(job.waitForCompletion(true) ? 0 : 1); WordCount.java中使用到了GenericOptions

7、Parser這個類，它的作用是將命令行中參數(shù)自動設(shè)置到變量conf中。舉個例子，比方我希望通過命令行設(shè)置reduce task數(shù)量，就這么寫：bin/hadoop jar MyJob.jar -=5上面這樣就可以了，不需要將其硬編碼到j(luò)ava代碼中，很輕松就可以將參數(shù)與代碼別離開。其它常用的參數(shù)還有-libjars和-“files，使用方法一起送上：bin/hadoop jar MyJob.jar -=5 -files ./dict.conf -libjars參數(shù)-libjars的作用是上傳本地jar包到HDFS中MapReduce臨時目錄并將其設(shè)置到map和reduce task的class

8、path中；參數(shù)-files的作用是上傳指定文件到HDFS中mapreduce臨時目錄，并允許map和reduce task讀取到它。這兩個配置參數(shù)其實都是通過DistributeCache來實現(xiàn)的。至此，我們還沒有說到ToolRunner，上面的代碼我們使用了GenericOptionsParser幫我們解析命令行參數(shù)，編寫ToolRunner的程序員更懶，它將 GenericOptionsParser調(diào)用隱藏到自身run方法，被自動執(zhí)行了，修改后的代碼變成了這樣：public class WordCount extends Configured implements Tool Overri

9、de public int run(String arg0) throws Exception Job job = new Job(getConf(), word count); / 略. System.exit(job.waitForCompletion(true) ? 0 : 1); return 0; public static void main(String args) throws Exception int res = ToolRunner.run(new Configuration(), new WordCount(), args); System.exit(res); 看看代

10、碼上有什么不同：讓WordCount繼承Configured并實現(xiàn)Tool接口。重寫Tool接口的run方法，run方法不是static類型，這很好。在WordCount中我們將通過getConf()獲取Configuration對象。關(guān)于GenericOptionsParser更多用法，請點擊這里：GenericOptionsParser.html推薦指數(shù)：推薦理由：通過簡單的幾步，就可以實現(xiàn)代碼與配置隔離、上傳文件到DistributeCache等功能。修改MapReduce參數(shù)不需要修改java代碼、打包、部署，提高工作效率。2. 有效使用Hadoop源碼作為MapReduce程序員不可

11、防止的要使用Hadoop源碼，Why？記得2022剛接觸hadoop的時候，總是搞不清舊api和新api的使用方法。寫了一段程序，在一個新api里面調(diào)用某個方法每次都是返回Null，非常惱火，后來附上源碼發(fā)現(xiàn)，這個方法真的就是只做了“return null并沒有給予實現(xiàn)，最后只得想其它方法曲線救國。總之要想真正了解MapReduce開發(fā)，源碼是不可缺少的工具。下面是我的源碼使用實踐，步驟有點麻煩不過配置一次就好：1. Eclipse中創(chuàng)立Hadoop源碼工程1.1 下載并解壓縮Hadoop分發(fā)包通常是tar.gz包1.2 Eclipse中新建Java工程1.3 將解壓后hadoop源碼包/sr

12、c目錄中core, hdfs, mapred, tool幾個目錄其它幾個源碼根據(jù)需要進行選擇copy到eclipse新建工程的src目錄。1.4 右鍵點擊eclipse工程，選擇“Properties，在彈出對話框中左邊菜單項選擇擇“Java Build Path：a) 點擊“Source標簽。先刪除src這個目錄，然后依次添加剛剛copy過來的目錄b) 點擊當前對話框“Libaries，點擊“Add External JARs，在彈出窗口中添加$HADOOPHOME下幾個hadoop程序jar包，然后再次添加$HADOOPHOME /lib、$HADOOP_HOME /lib/jsp-2.1

13、兩個目錄下所有jar包，最后還要添加ANT工程lib目錄下ant.jar文件。1.5 此時源碼工程應該只有關(guān)于找不到sun.security包的錯誤了。這時我們還是在“Libraries這個標簽中，展開jar包列表最低下的“JRE System Library，雙擊Access rules，在彈出窗口中點擊“add按鈕，然后在新對話框中Resolution下拉框選擇Accessible，Rule Pattern填寫*/，保存后就OK了。如下列圖：2. 如何使用這個源碼工程呢？比方我知道Hadoop某個源碼文件的名稱，在eclipse中可以通過快捷鍵“Ctrl + Shift + R調(diào)出查找窗口

14、，輸入文件名，如“MapTask，那可以翻開這個類的源碼了。還有個使用場景，當我們編寫MapReduce程序的時候，我想直接翻開某個類的源碼，通過上面的操作還是有點麻煩，比方我想看看Job類是如何實現(xiàn)的，當我點擊它的時候會出現(xiàn)下面的情景：解決方法很簡單：點擊圖中“Attach Source按鈕- 點擊“Workspace按鈕-選擇剛剛新建的Hadoop源碼工程。完成后源碼應該就蹦出來了?？偨Y(jié)一下，本實踐中我們獲得了什么功能：知道hadoop源碼文件名，快速找到該文件寫程序的時候直接查看Hadoop相關(guān)類源碼Debug程序的時候，可以直接進入源碼查看并跟蹤運行推薦指數(shù)：推薦理由：通過源碼可以幫助

15、我們更深入了解Hadoop，可以幫助我們解決復雜問題3. 正確使用壓縮算法下表資料引用cloudera官方網(wǎng)站的一篇博客，原文點這里。CompressionFileSize(GB)Compression Time (s)Decompression Time (s)Nonesome_logs8.0-Gzipsome_logs.gz1.324172LZOsome_logs.lzo2.05535上面表格與筆者集群實際環(huán)境測試結(jié)果一致，所以我們可以得出如下結(jié)論：LZO文件的壓縮和解壓縮性能要遠遠好于Gzip文件。相同文本文件，使用Gzip壓縮可以比LZO壓縮大幅減少磁盤空間。上面的結(jié)論對我們有什么幫助

16、呢？在適宜的環(huán)節(jié)使用適宜壓縮算法。在中國的帶寬本錢是非常貴的，費用上要遠遠高于美國、韓國等國家。所以在數(shù)據(jù)傳輸環(huán)節(jié)，我們希望使用了Gzip算法壓縮文件，目的是減少文件傳輸量，降低帶寬本錢。使用LZO文件作為MapReduce文件的輸入創(chuàng)立lzo index后是支持自動分片輸入的。對于大文件，一個map task的輸入將變?yōu)橐粋€block，而不是像Gzip文件一樣讀取整個文件，這將大幅提升MapReduce運行效率。主流傳輸工具FlumeNG和scribe默認都是非壓縮傳輸?shù)亩际峭ㄟ^一行日志一個event進行控制的，這點大家在使用時要注意。FlumeNG可以自定義組件方式實現(xiàn)一次傳輸多條壓縮數(shù)據(jù)

17、，然后接收端解壓縮的方式來實現(xiàn)數(shù)據(jù)壓縮傳輸，scribe沒有使用過不評論。另外值得一提的就是snappy，它是由Google開發(fā)并開源的壓縮算法的，是Cloudera官方大力提倡在MapReduce中使用的壓縮算法。它的特點是：與LZO文件相近的壓縮率的情況下，還可以大幅提升壓縮和解壓縮性能，但是它作為MapReduce輸入是不可以分割的。延伸內(nèi)容：Cloudera官方Blog對Snappy介紹：老外上傳的壓縮算法性能測試數(shù)據(jù)： :/pastebin /SFaNzRuf推薦指數(shù)：推薦理由：壓縮率和壓縮性能一定程度是矛盾體，如何均衡取決于應用場景。使用適宜壓縮算法直接關(guān)系到老板的錢，如果能夠節(jié)省

18、本錢，表達程序員的價值。4. 在適宜的時候使用Combinermap和 reduce 函數(shù)的輸入輸出都是key-value，Combiner和它們是一樣的。作為map和reduce的中間環(huán)節(jié)，它的作用是聚合map task的磁盤，減少map端磁盤寫入，減少reduce端處理的數(shù)據(jù)量，對于有大量shuffle的job來說，性能往往取決于reduce端。因為reduce 端要經(jīng)過從map端copy數(shù)據(jù)、reduce端歸并排序，最后才是執(zhí)行reduce方法，此時如果可以減少map task輸出將對整個job帶來非常大的影響。什么時候可以使用Combiner？比方你的Job是WordCount，那么完

19、全可以通過Combiner對map 函數(shù)輸出數(shù)據(jù)先進行聚合，然后再將Combiner輸出的結(jié)果發(fā)送到reduce端。什么時候不能使用Combiner？WordCount在reduce端做的是加法，如果我們reduce需求是計算一大堆數(shù)字的平均數(shù)，那么要求reduce獲取到全部的數(shù)字進行計算，才可以得到正確值。此時，是不能使用Combiner的，因為會其會影響最終結(jié)果。 考前須知：即使設(shè)置Combiner，它也不一定被執(zhí)行受參數(shù)影響，所以使用Combiner的場景應保證即使沒有Combiner，我們的MapReduce也能正常運行。推薦指數(shù)：推薦理由：在適宜的場景使用Combiner，可以大幅提升MapReduce 性能。5. 通過回調(diào)通知知道MapReduce什么時候完成你知道什么時候MapReduce完成嗎？知道它執(zhí)行成功或是失敗嗎？Hadoop包含job通知這個功能，要使用它非常容易，借助我們實踐一的ToolRunner，在命令行里面就可以進行設(shè)置，下面是一個例子：hadoop jar MyJob.jar -Djob.end.notification.url= :/moniter/mapred_notify/$jobId/$jobStatus 通過上面的