hadoop運(yùn)維經(jīng)驗(yàn)分享

Hadoop運(yùn)維經(jīng)驗(yàn)分享趙云炯@ebay2012華東運(yùn)維技術(shù)大會(huì)2008年加入阿里巴巴云梯管理員2011年加入SDO負(fù)責(zé)搭建并維護(hù)hadoop集群2012年加入ebay自我介紹2012華東運(yùn)維技術(shù)大會(huì)hadoop集群搭建監(jiān)控集群性能調(diào)優(yōu)Hadoop如何被搞垮的概要2012華東運(yùn)維技術(shù)大會(huì)Mastermemory

磁盤(pán)sas+raid10active-backupbondingIPaliasHadoop集群搭建2012華東運(yùn)維技術(shù)大會(huì)Editlog本地一份，NFS一份NameQuota&SpaceQuota權(quán)限控制/tmpTrashRackawarenessNamenode2012華東運(yùn)維技術(shù)大會(huì)控制內(nèi)存mapred.jobtracker.maxtasks.per.jobervalpleteuserjobs.maximummapreduce.job.counters.limitJobTracker2012華東運(yùn)維技術(shù)大會(huì)內(nèi)存不能少于Namenode控制做checkpoint的次數(shù)及時(shí)間fs.checkpoint.periodfs.checkpoint.sizeSecondaryNamenode2012華東運(yùn)維技術(shù)大會(huì)Disk2T*12ext4noatime定期更換壞磁盤(pán)，一次一臺(tái)網(wǎng)絡(luò)如果條件允許，做匯聚綁定（mode4bonding)內(nèi)存24Gslave2012華東運(yùn)維技術(shù)大會(huì)內(nèi)存：map+reduce+tasktracker+datanode網(wǎng)絡(luò)磁盤(pán)注意wio確定map&reduce數(shù)2012華東運(yùn)維技術(shù)大會(huì)Endtoend檢測(cè)hdfs是否可用，是否能跑map/reduce10分鐘一次fsckGCFullGC監(jiān)控2012華東運(yùn)維技術(shù)大會(huì)Tasktracker&Datanode數(shù)量異常作業(yè)監(jiān)控大作業(yè)讀寫(xiě)數(shù)據(jù)特別多運(yùn)行時(shí)間特別長(zhǎng)監(jiān)控2012華東運(yùn)維技術(shù)大會(huì)GC策略Editlog鎖調(diào)度性能調(diào)優(yōu)2012華東運(yùn)維技術(shù)大會(huì)推薦使用CMS停頓時(shí)間短/technetwork/java/javase/gc-tuning-6-140523.html#cms指定heap內(nèi)存的初始值和最大值相等-Xms-XmxGC策略2012華東運(yùn)維技術(shù)大會(huì)2012華東運(yùn)維技術(shù)大會(huì)所有更改FSNamesystem的RPCCall都需要等待Editlogsync到磁盤(pán)才能返回Editlog2012華東運(yùn)維技術(shù)大會(huì)減少持有鎖的時(shí)間減少鎖頻率blockReport減少鎖粒度使用讀寫(xiě)鎖鎖2012華東運(yùn)維技術(shù)大會(huì)調(diào)度效率運(yùn)行效率Maplocality小作業(yè)重要的作業(yè)調(diào)度2012華東運(yùn)維技術(shù)大會(huì)創(chuàng)建大堆小文件創(chuàng)建大堆文件名非常長(zhǎng)的文件DDOSHadoopkiller2012華東運(yùn)維技術(shù)大會(huì)大量的job&tasks使用大量的counter往標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤輸出大量的信息Hadoopkiller2012華東運(yùn)維技術(shù)大會(huì)HadoopbugLinux內(nèi)核bugJVMbug交換機(jī)故障爬蟲(chóng)通過(guò)jobtrackerweb端抓取jobhistory文件Session30分鐘過(guò)期，導(dǎo)致內(nèi)存暴漲，頻繁fullgcbugs2012華東運(yùn)維技術(shù)大會(huì)誤刪除數(shù)據(jù)誤停止masterIPalias被搶分發(fā)不完整的hadoop-site.xml到slave，導(dǎo)致作業(yè)失敗拔錯(cuò)硬盤(pán)，格錯(cuò)系統(tǒng)人為錯(cuò)誤2012華東運(yùn)維技術(shù)大會(huì)承辦單位：ChinaUnix社區(qū)、ITPUB社區(qū)

協(xié)辦單位：mysqlops中文網(wǎng)、TopGeek場(chǎng)地支持：創(chuàng)智天地贊助商：又拍云存儲(chǔ)、韓國(guó)派凌科技有限公司北京基調(diào)網(wǎng)絡(luò)系統(tǒng)有限公司北京藍(lán)汛通信技術(shù)有限責(zé)任公司聯(lián)想集團(tuán)ThinkServer全球研發(fā)中心出版社支持：水利水電出版社、圖靈教育2