2023學(xué)年完整公開課版并行度

主講：張義目錄01并行度并行度1并行度要充分利用集群資源，必須設(shè)置足夠高的操作并行度。Spark會(huì)基于輸入數(shù)據(jù)自動(dòng)設(shè)置RDD上的map變換等操作的并行度(任務(wù)數(shù))。對于分布式reduce(groupByKey、reduceByKey）等操作，Spark根據(jù)父RDD中的分區(qū)數(shù)確定并行度。并行度還可以將并行度指定為參數(shù)，或者通過配置spark.default.parallelism屬性更改默認(rèn)值。通過并行化集合創(chuàng)建RDD時(shí)，spark.default.parallelism屬性指定默認(rèn)的分區(qū)數(shù)。并行度在基于YARN的Spark中，默認(rèn)分區(qū)數(shù)是兩個(gè)分區(qū)中較高者和所有執(zhí)行器上的內(nèi)核總數(shù)。在這兩種情況下，可以覆蓋默認(rèn)分區(qū)數(shù)——在文件上創(chuàng)建RDD時(shí)，和通過并行化集合創(chuàng)建RDD時(shí)，如下所示:sc.textFile(<inputPath>，<minPartitions>)sc.parallelize(<sequence>，<numslices>)并行度Spark如何創(chuàng)建RDD對分區(qū)數(shù)量有直接的影響。當(dāng)Spark通過HDFS文件創(chuàng)建RDD時(shí)，分區(qū)數(shù)等于該文件中的塊數(shù)。也就是說，每個(gè)文件有一個(gè)分區(qū)。因此，可以通過使用更小或更大的塊來控制分區(qū)數(shù)。也可以通過配置工InputFormat指定分區(qū)數(shù)。并行度最常見的是Spark通過向現(xiàn)有RDD應(yīng)用轉(zhuǎn)換來創(chuàng)建RDD。在許多情況下，RDD中的分區(qū)數(shù)與父RDD中的分區(qū)數(shù)相同。涉及廣泛依賴關(guān)系的轉(zhuǎn)換具有基于依賴RDD的最大分區(qū)數(shù)的分區(qū)數(shù)。我們知道,Spark作業(yè)由不同的階段組成，每個(gè)階段分解成多個(gè)任務(wù)。由于Spark將RDD分成階段，所以階段中的任務(wù)數(shù)量與階段的最后一個(gè)RDD中的分區(qū)數(shù)相同。一般來說是這樣，盡管在合并和聯(lián)合變換的情況下有例外。例如，轉(zhuǎn)換可以創(chuàng)建具有比其父RDD更少或更多分區(qū)的RDD。并行度可以通過調(diào)用rdd.partitions().size來檢查RDD中的分區(qū)數(shù)。還可以通過SparkWebUI來查看分區(qū)數(shù)?？梢栽赟parkWebUI的CompletedStages部分的SparkStages頁面中查看分區(qū)數(shù)。例如，以下示例創(chuàng)建一個(gè)RDD:scala>valsomeRDD=sc.parallelize(1到100，4)scala>someRDD.map(x=>x).collectSpark總共創(chuàng)建了4個(gè)分區(qū):并行度可以在SparkWebUI的SparkStages頁面上看到這4個(gè)分區(qū)（如圖20.6所示)。總?cè)蝿?wù)表示Spark作業(yè)的分區(qū)總數(shù)。一些RDD沒有父級RDD，例如通過paralleli