3.5mapreduce performance你不能優(yōu)化一個不了解系統(tǒng)_第1頁
3.5mapreduce performance你不能優(yōu)化一個不了解系統(tǒng)_第2頁
3.5mapreduce performance你不能優(yōu)化一個不了解系統(tǒng)_第3頁
3.5mapreduce performance你不能優(yōu)化一個不了解系統(tǒng)_第4頁
已閱讀5頁,還剩6頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、Hadoop Performance你不能優(yōu)化一個你不了解的系統(tǒng)你不能優(yōu)化一個你不能測量的系統(tǒng)GangliaChukwahituneHadoop 系統(tǒng)層次結構Hadoop(JobTracker TaskTracker Task)JVMOSHardware(CPU Memory Disk Network)HardwareNameNode,JobTracker使用更好的機器OS增大同時打開文件和網(wǎng)絡連接的數(shù)量UlimitNet.core.somaxconn關閉swap分區(qū)調整參數(shù)設置,避免內存置換設置合理的磁盤預讀取bufferblockdev使用合適的文件系統(tǒng)關閉 noatime,不記錄磁盤訪問

2、時間,加快IO避免在TaskTracker和DataNode上配置RAID和LVMMapred.local.dir和dfs.data.dir指向多個磁盤,充分利用磁盤并發(fā)讀寫能力監(jiān)控cluster,及時檢查更換被放入黑名單的磁盤JVMJVM GC調整slot,充分利用資源編寫健康監(jiān)測腳本,利用JobTracker的黑名單機制(小規(guī)模集群慎用)調整心跳間隔,小規(guī)模集群使用更短的心跳間隔,快速分配任務啟用帶外心跳,有slot資源空閑立即報告JobTrackerJVM重用,一個JVM執(zhí)行多次相同任務應用設置Combiner,減少reduce階段處理數(shù)據(jù)量選擇合適的Writable重用Writable

3、對象調整map和reduce task數(shù)目Task任務時間短,減少task數(shù)目,task任務時間長,增加task數(shù)目。(30S)控制block size 調整split數(shù)目Reduce task數(shù)目等于小于reduce slot數(shù)目啟用壓縮 press.map.output=true避免map輸出多次spillio.sort.mb(buffer區(qū)大小,default100M)io.sort.spill.percent(buffer spill閾值,default0.8)優(yōu)化partitioner,避免hash聚焦調整shuffle線程數(shù)mapred.reduce.parallel.copies(5)避免shuffle數(shù)據(jù)多次mergemapred.job.shuffle.input.buffer.percent(用來緩存shuffle數(shù)據(jù)的reduce tas

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論