版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、Hadoop Performance你不能優(yōu)化一個你不了解的系統(tǒng)你不能優(yōu)化一個你不能測量的系統(tǒng)GangliaChukwahituneHadoop 系統(tǒng)層次結構Hadoop(JobTracker TaskTracker Task)JVMOSHardware(CPU Memory Disk Network)HardwareNameNode,JobTracker使用更好的機器OS增大同時打開文件和網(wǎng)絡連接的數(shù)量UlimitNet.core.somaxconn關閉swap分區(qū)調整參數(shù)設置,避免內存置換設置合理的磁盤預讀取bufferblockdev使用合適的文件系統(tǒng)關閉 noatime,不記錄磁盤訪問
2、時間,加快IO避免在TaskTracker和DataNode上配置RAID和LVMMapred.local.dir和dfs.data.dir指向多個磁盤,充分利用磁盤并發(fā)讀寫能力監(jiān)控cluster,及時檢查更換被放入黑名單的磁盤JVMJVM GC調整slot,充分利用資源編寫健康監(jiān)測腳本,利用JobTracker的黑名單機制(小規(guī)模集群慎用)調整心跳間隔,小規(guī)模集群使用更短的心跳間隔,快速分配任務啟用帶外心跳,有slot資源空閑立即報告JobTrackerJVM重用,一個JVM執(zhí)行多次相同任務應用設置Combiner,減少reduce階段處理數(shù)據(jù)量選擇合適的Writable重用Writable
3、對象調整map和reduce task數(shù)目Task任務時間短,減少task數(shù)目,task任務時間長,增加task數(shù)目。(30S)控制block size 調整split數(shù)目Reduce task數(shù)目等于小于reduce slot數(shù)目啟用壓縮 press.map.output=true避免map輸出多次spillio.sort.mb(buffer區(qū)大小,default100M)io.sort.spill.percent(buffer spill閾值,default0.8)優(yōu)化partitioner,避免hash聚焦調整shuffle線程數(shù)mapred.reduce.parallel.copies(5)避免shuffle數(shù)據(jù)多次mergemapred.job.shuffle.input.buffer.percent(用來緩存shuffle數(shù)據(jù)的reduce tas
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 精密高端檢測裝備研發(fā)生產(chǎn)基地項目可行性研究報告寫作模板-備案審批
- 河南八市重高聯(lián)盟2025屆高三第二次聯(lián)考考語文試題文試題含解析
- 河北保定市2025年教學質量檢測試題語文試題含解析
- 物理透鏡 課件 2024-2025學年蘇科版物理八年級上冊
- 廣東省韶關市六校2025年高三押題信息卷語文試題(三)含解析
- 廣東省廣州市增城一中2025年高三3月適應性考試語文試題含解析
- 廣東省百校2025屆高三2月第一次調研語文試題理試題含解析
- 甘肅省張掖市2024-2025學年高三大練習(二)語文試題含解析
- 福建省長汀一中等六校2025屆高三綜合練習語文試題試卷含解析
- 福建莆田秀嶼下嶼中學2024-2025學年高三下摸底聯(lián)考語文試題含解析
- SAP常用Tcode大全
- 施工現(xiàn)場簽證獎勵考核制度
- 鍋爐型號規(guī)格參數(shù)
- 醫(yī)院崗前培訓試題和答案及解析
- 紫白擇日法精編版
- 三文魚養(yǎng)殖項目可行性研究報告寫作范文
- 臺風安全專項檢查表(共3頁)
- 火車購票系統(tǒng)UML類圖_時序圖_狀態(tài)圖_協(xié)作圖_活動圖_對象圖__用例圖.doc
- 新粵教版三年級下冊科學課件 第6課《我們需要食物》
- 平行四邊形面積說課PPT課件
- 礦業(yè)權評估準則全
評論
0/150
提交評論