2023學(xué)年完整公開課版Spark執(zhí)行模型

張義目錄0102Spark執(zhí)行模型shuffle操作以及如何減少shuffle操作Spark執(zhí)行模型1Spark執(zhí)行模型Spark應(yīng)用程序包含一個驅(qū)動程序進程和一組在各種集群節(jié)點上運行的執(zhí)行器進程。驅(qū)動程序管理工作流程，執(zhí)行器通過多個任務(wù)執(zhí)行工作。在YARNSpark設(shè)置中，ResourceManager決定任務(wù)可以在哪些節(jié)點上運行。Spark執(zhí)行模型Spark應(yīng)用程序Spark應(yīng)用程序由RDD操作（轉(zhuǎn)換和動作）組成。RDD是所有Spark編程的核心。DataFrame是RDD的核心抽象，其有助于將數(shù)據(jù)轉(zhuǎn)換成單個對象，從而掩蓋它分布在大量機器上的事實。啟動Spark應(yīng)用程序時，會創(chuàng)建一個Spark作業(yè)來執(zhí)行此工作。Spark首先根據(jù)動作使用的RDD創(chuàng)建一個執(zhí)行計劃。Spark執(zhí)行模型作業(yè)應(yīng)用程序通過啟動一個或一組作業(yè)來獲取結(jié)果。一個作業(yè)涉及Spark執(zhí)行的一組計算，以將RDD上的動作結(jié)果返回到啟動應(yīng)用程序的驅(qū)動程序。應(yīng)用程序通過調(diào)用RDD的action方法啟動作業(yè)。當(dāng)調(diào)用action方法時，作業(yè)啟動。例如檢索緩存的RDD數(shù)據(jù)或從存儲器讀取數(shù)據(jù)時作業(yè)啟動。然后Spark應(yīng)用必要的轉(zhuǎn)換來創(chuàng)建action方法所需的RDD。它還執(zhí)行該動作需要的任何計算。一旦完成所有的轉(zhuǎn)換和計算，并將結(jié)果傳遞給了驅(qū)動程序，則作業(yè)完成。Spark執(zhí)行模型Spark執(zhí)行術(shù)語■任務(wù):在單個節(jié)點上運行的執(zhí)行單元，每個執(zhí)行器都有一個或多個任務(wù)。■階段:一組任務(wù)，基于輸入數(shù)據(jù)的分區(qū)，它們對數(shù)據(jù)塊并行執(zhí)行相同的計算■作業(yè):與應(yīng)用程序相同，可能有一個或多個階段?！龉艿?當(dāng)RDD轉(zhuǎn)換可以在不移動數(shù)據(jù)的情況下執(zhí)行時，將RDD壓縮成單個階段?！鲇邢驘o環(huán)圖(DAG):RDD操作的邏輯圖?！鰪椥苑植际綌?shù)據(jù)集（RDD):并行只讀數(shù)據(jù)集（包含一個或多個分區(qū))。Spark執(zhí)行模型執(zhí)行計劃執(zhí)行計劃源自于和緩存數(shù)據(jù)有關(guān)的RDD或者不依賴于緩存數(shù)據(jù)的RDD，執(zhí)行計劃的目標(biāo)是得到最終結(jié)果的RDD。階段執(zhí)行計劃將作業(yè)的轉(zhuǎn)換納入不同的階段。作業(yè)的每個階段包括一組類似編碼的任務(wù)，每個任務(wù)在數(shù)據(jù)子集上工作。這里的關(guān)鍵在于，每個階段的轉(zhuǎn)換都可以完成，而不會shuffle所有的數(shù)據(jù)。Spark執(zhí)行模型shuffle是在集群節(jié)點之間重新分配數(shù)據(jù)的昂貴操作。每個數(shù)據(jù)塊都成為RDD的一個分區(qū)?？绻?jié)點的數(shù)據(jù)分布不是隨機的，而是基于具體的標(biāo)準(zhǔn)。作業(yè)由幾個階段組成,每個階段由一個或一組任務(wù)組成。一個作業(yè)被分成DAG階段。Spark組任務(wù)進入階段的方式是使用shuffle邊界。在不執(zhí)行shuffle的情況下把可以執(zhí)行的一組任務(wù)放在同一個階段。如果隨后的任務(wù)需要將數(shù)據(jù)進行shuffle，則標(biāo)志著不同階段的開始。任務(wù)任務(wù)是做實際工作的實體。Spark將任務(wù)提交給執(zhí)行器。集群節(jié)點上的任務(wù)調(diào)度與數(shù)據(jù)本地化有很大關(guān)系。shuffle操作以及如何減少

shuffle操作2shuffle操作以及如何減少shuffle操作shuffle操作是Spark重新分配數(shù)據(jù)的操作，因此它在所有分區(qū)中的分組不同。我們來看一下reduceByKey操作,當(dāng)對(K,V)對的數(shù)據(jù)集進行調(diào)用時,返回一個數(shù)據(jù)集(K,V）對，每個鍵的值都使用給定的reduce函數(shù)func進行聚合。shuffle操作以及如何減少shuffle操作reduceByKey操作生成一個新的RDD,其中包含組合在元組中的單個鍵的所有值。為了計算這個單鍵，鍵的所有值必須位于同一分區(qū)上。因此，為了執(zhí)行reduceByKey的reduce任務(wù)，Spark執(zhí)行所謂的all-to-all操作，它從所有分區(qū)讀取并檢索所有鍵的所有值，并將它們放在單個分區(qū)中，以便它可以計算每個鍵的結(jié)果。這就是shuffle操作。reduc