處理Linux文件系統(tǒng)100%使用的情況

主講：張義目錄0102空間相關(guān)問題處理Linux文件系統(tǒng)100%使用的情況空間相關(guān)問題1空間相關(guān)問題Hadoop可以使用多種類型的存儲。除了HDFS本身外，Hadoop在主機的/var目錄以及本地目錄中存儲日志文件。這些區(qū)域中任何的空間相關(guān)的問題都會導(dǎo)致作業(yè)失敗。因此，必須要對Hadoop的本地目錄使用情況加以關(guān)注。空間相關(guān)問題如第17章所述，NodeManager總是將應(yīng)用日志文件存儲于本地目錄中。即使開啟日志聚合功能，在將作業(yè)日志存儲到HDFS之前，仍然需要先將所有日志存儲于本地文件系統(tǒng)。如果日志目錄所在的掛載點被寫滿，則NodeManager將無法在該節(jié)點寫入日志。類似情況還有Hadoop進程的日志目錄頁被寫滿?？臻g相關(guān)問題為了避免任務(wù)和潛在的作業(yè)失敗，需要主動檢查掛載點的可用空間，并清除不必要的文件。如果無法通過刪除獲取足夠的空間，則需要增加掛載點的容量。可以在有問題的目錄運行如下命令來確定哪些文件需要被刪除﹔#find./-size+100000-typef-ls|sort-n//listsfileslargerthan25MB#du-a/var/sort-n-r|head-n10//liststhetop10filesinsize,inasortedorder空間相關(guān)問題如果將Hadoop進程的日志目錄和NodeManager使用的應(yīng)用本地目錄設(shè)置在/var目錄下，則需要知道，該目錄與其他（如tmp）目錄等共享根目錄文件系統(tǒng)。其他與Hadoop相關(guān)的組件（如ZooKeeper、Hive和Hue）也可能使用該目錄存儲日志。因此，需要寫一個簡單的腳本來對該掛載點的空間使用情況進行監(jiān)控。空間相關(guān)問題如果yarn.nodemanager.local-dirs參數(shù)指定的NodeManager本地目錄被占滿，則一個應(yīng)用可能會由于任務(wù)嘗試啟動次數(shù)超過了該節(jié)點上的配置值而失敗。從而會看到如下所示的應(yīng)用日志:Applicationapplication_1437683566204_0394failed2timesduetoAMContainerforappattempt_1437683566204_0394_ooo002exitedwithexitCode:-1000dueto:NospaceavailableinanyofthelocaldirectoriesFailingthisattempt..Failingtheapplication.處理Linux文件系統(tǒng)100%使用的情況2處理Linux文件系統(tǒng)100%使用的情況偶爾，文件系統(tǒng)會報告其已經(jīng)被使用了100%。如果這種情況發(fā)生在一個掛載點，如root文件系統(tǒng)，將會遇到許多麻煩，因為大多數(shù)與Hadoop相關(guān)的本地日志信息文件均存儲這里（位于/var/log目錄下)。很可能是一些用戶產(chǎn)生了大型的dump文件或者一個巨大的臨時文件，且文件被放于已滿的目錄中。使用以下操作來釋放目錄空間。處理Linux文件系統(tǒng)100%使用的情況使用find命令找到掛載點下最大的文件