hadoop視頻教程運維雜記

1、Hadoop運維雜記 張月藍(lán)汛 自我介紹 張月 性別男，愛好女 就職于藍(lán)汛Chinacache數(shù)據(jù)平臺日志Team 工作內(nèi)容：開發(fā)，運維基于hadoop數(shù)據(jù)平臺及其生態(tài)系統(tǒng)；公 司內(nèi)部Hadoop技術(shù)推廣； 不要相信我說的 實踐是檢驗真理的唯一標(biāo)準(zhǔn) 今日菜單 Hadoop在藍(lán)汛 說說Cloudera和它的產(chǎn)品們 運維雜記幾次重大事故 Hadoop在藍(lán)汛 服務(wù) 設(shè)備 6000 節(jié)點 設(shè)備 300 集群 30臺 集群使用率40% 每日掃描數(shù)據(jù)6TB 輸出數(shù)據(jù)1.5TB GZ 原始數(shù)據(jù)3TB lzo 系統(tǒng)結(jié)構(gòu) Apache Hadoop與CDH版本關(guān)系 Apache: 0.20.205 = 1.0

2、0.23 = 2.0 Cloudera CDH: CDH3對應(yīng)0.20.2 CDH4基于對應(yīng)2.0 CDH為什么更好？ 安裝升級更簡單： yum ,tar, rpm, cloudera manager 四種安裝方法 更快獲取新功能和修正新bug 年度release，季度update Yum安裝自動匹配合適的生態(tài)系統(tǒng)版本 自動目錄配置（logs，conf），以及hdfs和mapred用戶創(chuàng)建 詳細(xì)的文檔 CDH3u3重大改善 CDH3u4重大改善 Cloudera Manager Cloudera Training 關(guān)于Training 分為Administrator和Development兩門

3、課程 關(guān)于認(rèn)證考試 關(guān)于證書 Hadoop成長之路 Hadoop開發(fā)，測試用了半年 2011年底上線運行至今 目前生產(chǎn)環(huán)境只用到了HDFS和MapReduce 事故一 傷不起的內(nèi)存 現(xiàn)象：系統(tǒng)上線第二天，Jobtracker不工作，web頁面打不開 原因：一次提交Job數(shù)量太多，導(dǎo)致Jobtracker 內(nèi)存溢出 解決：調(diào)大JT內(nèi)存；限制Running Job數(shù)量 現(xiàn)象：NN內(nèi)存溢出，重啟后發(fā)現(xiàn)50030頁面顯示fsimage損壞 ，調(diào)查發(fā)現(xiàn)SNN fsimage同樣損壞了 原因：小文件太多導(dǎo)致NN/SNN內(nèi)存溢出，導(dǎo)致fsimage文件損 壞，但是重啟后的NN可以正常服務(wù)。 解決：Cloud

4、era google group去救，獲得后門腳本 事故二 低效的MapReduce Job 現(xiàn)象：MapReduce Job執(zhí)行時間過長 原因：MR中用到了Spring，小文件導(dǎo)致Map方法效率低下， GZ文件讀寫效率低 解決：MR去Spring化；開啟JVM重用；使用LZO作為輸入和 map輸出結(jié)果；加大reduce并行copy線程數(shù) 壓縮與MapReduce性能 前提：大量小文件 輸入147GB，文件數(shù)45047，平均3MB CPU 8 core；32GB內(nèi)存；7200轉(zhuǎn)磁盤；28臺Slave機(jī)器 輸出類型輸出類型耗時耗時 GZ26min TEXT24min LZO18min 如果輸入是大塊的LZO文 件，則只需要11min 事故三 OMG，整個集群完蛋了 現(xiàn)象：早上來發(fā)現(xiàn)所有DataNode都dead了，重啟后10分鐘， DN陸續(xù)又都dead了；調(diào)查發(fā)現(xiàn)節(jié)點有8%左右丟包率 原因：交換機(jī)模塊故障；DN不能Hold住大量小文件 解決：升級3u2到3u4；設(shè)置DN內(nèi)存到2GB 遇到無法跨越的問題解決辦法 加入Hadoop官方Mail List 加入Cloudera