Spark調(diào)優(yōu)方案提高shuffle操作的并行度

提高shuffle操作的并行度

調(diào)優(yōu)概述數(shù)據(jù)傾斜發(fā)生時(shí)的現(xiàn)象提高shuffle操作的并行度/01基本介紹

調(diào)優(yōu)概述調(diào)優(yōu)概述

有的時(shí)候，我們可能會(huì)遇到大數(shù)據(jù)計(jì)算中一個(gè)最棘手的問(wèn)題——數(shù)據(jù)傾斜，此時(shí)Spark作業(yè)的性能會(huì)比期望差很多。

數(shù)據(jù)傾斜調(diào)優(yōu)，就是使用各種技術(shù)方案解決不同類型的數(shù)據(jù)傾斜問(wèn)題，以保證Spark作業(yè)的性能。/02基本介紹

數(shù)據(jù)傾斜發(fā)生時(shí)的現(xiàn)象數(shù)據(jù)傾斜發(fā)生時(shí)的現(xiàn)象絕大多數(shù)task執(zhí)行得都非?？?，但個(gè)別task執(zhí)行極慢。比如，總共有1000個(gè)task，997個(gè)task都在1分鐘之內(nèi)執(zhí)行完了，但是剩余兩三個(gè)task卻要一兩個(gè)小時(shí)。這種情況很常見(jiàn)。原本能夠正常執(zhí)行的Spark作業(yè)，某天突然報(bào)出OOM（內(nèi)存溢出）異常，觀察異常棧，是我們寫(xiě)的業(yè)務(wù)代碼造成的。這種情況比較少見(jiàn)。/03基本介紹

提高shuffle操作的并行度提高shuffle操作的并行度（一）方案實(shí)現(xiàn)思路：在對(duì)RDD執(zhí)行shuffle算子時(shí)，給shuffle算子傳入一個(gè)參數(shù)，比如reduceByKey(1000)，該參數(shù)就設(shè)置了這個(gè)shuffle算子執(zhí)行時(shí)shufflereadtask的數(shù)量。對(duì)于SparkSQL中的shuffle類語(yǔ)句，比如groupby、join等，需要設(shè)置一個(gè)參數(shù)，即spark.sql.shuffle.partitions，該參數(shù)代表了shufflereadtask的并行度，該值默認(rèn)是200，對(duì)于很多場(chǎng)景來(lái)說(shuō)都有點(diǎn)過(guò)小。方案優(yōu)點(diǎn)：實(shí)現(xiàn)起來(lái)比較簡(jiǎn)單，可以有效緩解和減輕數(shù)據(jù)傾斜的影響。提高shuffle操作的并行度（二）方案實(shí)現(xiàn)原理：增加shufflereadtask的數(shù)量，可以讓原本分配給一個(gè)task的多個(gè)key分配給多個(gè)task，從而讓每個(gè)task處理比原來(lái)更少的數(shù)據(jù)。舉例來(lái)說(shuō)，如果原本有5個(gè)key，每個(gè)key對(duì)應(yīng)10條數(shù)據(jù)，這5個(gè)key都是分配給一個(gè)task的，那么這個(gè)task就要處理50條數(shù)據(jù)。而增加了shufflereadtask以后，每個(gè)task就分配到一個(gè)key，即每個(gè)task就處理10條數(shù)據(jù)，那么自然每個(gè)task的執(zhí)行時(shí)間都會(huì)變短了。具體原理如下圖所示。方案適用場(chǎng)景：如果我們必須要對(duì)數(shù)據(jù)傾斜迎難而上，那么建議優(yōu)先使用這種方案，因?yàn)檫@是處理數(shù)據(jù)傾斜最簡(jiǎn)單的一種方案。提高shuffle操作的并行度（三）方案缺點(diǎn)：只是緩解了數(shù)據(jù)傾斜而已，沒(méi)有徹底根除問(wèn)題，根據(jù)實(shí)踐經(jīng)驗(yàn)來(lái)看，其效果有限。方案實(shí)踐經(jīng)驗(yàn)：該方案通常無(wú)法徹底解決數(shù)據(jù)傾斜，因?yàn)槿绻霈F(xiàn)一些極端情況，比如某個(gè)key對(duì)應(yīng)的數(shù)據(jù)量有100萬(wàn)，那么無(wú)論你的task數(shù)量增加到多少，這個(gè)對(duì)應(yīng)著100萬(wàn)數(shù)據(jù)的key肯定還是會(huì)分配到一個(gè)task中去處理，因此注定還是會(huì)發(fā)生數(shù)據(jù)傾斜的。所以這種方案只能說(shuō)是在發(fā)現(xiàn)數(shù)據(jù)傾斜時(shí)嘗試使用的第一種手段，嘗試去用嘴簡(jiǎn)單的方法緩解數(shù)據(jù)傾斜而已，或者是和其他方案結(jié)合起來(lái)使用。1.調(diào)優(yōu)概