Hadoop運維雜記

1、Hadoop運維雜記今日菜單 Hadoop在XXX 說說Cloudera和它的產(chǎn)品們 運維雜記幾次重大事故Hadoop在藍(lán)汛服務(wù)設(shè)備6000節(jié)點設(shè)備300集群30臺集群使用率40%每日掃描數(shù)據(jù)6TB輸出數(shù)據(jù)1.5TB GZ原始數(shù)據(jù)3TB lzo系統(tǒng)結(jié)構(gòu)Apache Hadoop與CDH版本關(guān)系A(chǔ)pache:0.20.205 = 1.00.23 = 2.0Cloudera CDH:CDH3對應(yīng)0.20.2CDH4基于對應(yīng)2.0CDH為什么更好？ 安裝升級更簡單： yum ,tar, rpm, cloudera manager 四種安裝方法 更快獲取新功能和修正新bug 年度release，季度u

2、pdate Yum安裝自動匹配合適的生態(tài)系統(tǒng)版本 自動目錄配置（logs，conf），以及hdfs和mapred用戶創(chuàng)建 詳細(xì)的文檔CDH3u3重大改善CDH3u4重大改善Cloudera ManagerCloudera Training 關(guān)于Training 分為Administrator和Development兩門課程 關(guān)于認(rèn)證考試 關(guān)于證書Hadoop成長之路 Hadoop開發(fā)，測試用了半年 2011年底上線運行至今 目前生產(chǎn)環(huán)境只用到了HDFS和MapReduce事故一 傷不起的內(nèi)存 現(xiàn)象：系統(tǒng)上線第二天，Jobtracker不工作，web頁面打不開 原因：一次提交Job數(shù)量太多，導(dǎo)致

3、Jobtracker 內(nèi)存溢出 解決：調(diào)大JT內(nèi)存；限制Running Job數(shù)量 現(xiàn)象：NN內(nèi)存溢出，重啟后發(fā)現(xiàn)50030頁面顯示fsimage損壞，調(diào)查發(fā)現(xiàn)SNN fsimage同樣損壞了 原因：小文件太多導(dǎo)致NN/SNN內(nèi)存溢出，導(dǎo)致fsimage文件損壞，但是重啟后的NN可以正常服務(wù)。 解決：Cloudera google group去救，獲得后門腳本事故二 低效的MapReduce Job 現(xiàn)象：MapReduce Job執(zhí)行時間過長 原因：MR中用到了Spring，小文件導(dǎo)致Map方法效率低下，GZ文件讀寫效率低 解決：MR去Spring化；開啟JVM重用；使用LZO作為輸入和ma

4、p輸出結(jié)果；加大reduce并行copy線程數(shù)壓縮與MapReduce性能 前提：大量小文件 輸入147GB，文件數(shù)45047，平均3MB CPU 8 core；32GB內(nèi)存；7200轉(zhuǎn)磁盤；28臺Slave機(jī)器輸出類型輸出類型耗時耗時GZ26minTEXT24minLZO18min 如果輸入是大塊的LZO文件，則只需要11min事故三 OMG，整個集群完蛋了 現(xiàn)象：早上來發(fā)現(xiàn)所有DataNode都dead了，重啟后10分鐘，DN陸續(xù)又都dead了；調(diào)查發(fā)現(xiàn)節(jié)點有8%左右丟包率 原因：交換機(jī)模塊故障；DN不能Hold住大量小文件 解決：升級3u2到3u4；設(shè)置DN內(nèi)存到2GB遇到無法跨越的問題解決辦法 加入Hadoop官方Mail List 加入Cloudera Googl