極少數(shù)任務(wù)的問題_第1頁
極少數(shù)任務(wù)的問題_第2頁
極少數(shù)任務(wù)的問題_第3頁
極少數(shù)任務(wù)的問題_第4頁
極少數(shù)任務(wù)的問題_第5頁
已閱讀5頁，還剩5頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進行舉報或認(rèn)領(lǐng)

文檔簡介

主講：張義目錄01極少數(shù)任務(wù)的問題02何時使用aggregateByKey比reduceByKey更好極少數(shù)任務(wù)的問題1極少數(shù)任務(wù)的問題由于諸如加入之類的聚合操作對內(nèi)存的需求，每個執(zhí)行器的任務(wù)太少可能意味著麻煩。需要大shuffle的大型聚合操作對作業(yè)性能有不利影響。在這些操作中有大量的記錄需要保存在內(nèi)存中，所以任務(wù)太少可能會導(dǎo)致以下問題。極少數(shù)任務(wù)的問題GC引起的暫停導(dǎo)致執(zhí)行時間較長。更多的磁盤I/О和排序，因為當(dāng)Spark將記錄放到磁盤上時，內(nèi)存不適合存放這些記錄。更少的分區(qū)意味著某些分區(qū)中的數(shù)據(jù)可能太大，無法適應(yīng)內(nèi)存，并且需要溢出到磁盤以防止出現(xiàn)內(nèi)存不足的異常。極少數(shù)任務(wù)的問題任務(wù)至少需要100ms才能完成（Spark的WebUI會顯示這些詳細(xì)信息)。如果不是這樣，則可能有太多的任務(wù)（并行度比需要的更高)。如果任務(wù)完成時間超過100ms,則可能需要逐漸增加并行度。極少數(shù)任務(wù)的問題如果工作集太大，也就是說GroupByKey操作中的一個reduce任務(wù)過大，則由于內(nèi)存溢出到磁盤，增加了垃圾回收的開銷，所以作業(yè)性能可能會下降。這時只需繼續(xù)提高并行度，使平均輸入集縮小到可管理的大小。何時使用aggregateByKey比reduceByKey更好2何時使用aggregateByKey比reduceByKey更好盡管在大多數(shù)情況下，reduceByKey運算優(yōu)于groupByKey，但是在一個操作中當(dāng)輸入值不同時，必須避免使用此運算。假設(shè)輸入值是字符串，輸出值是集合。在這種情況下，map操作會在為每個鍵創(chuàng)建一組字符串的過程中創(chuàng)建太多

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論