剖析spark作業(yè)運(yùn)行機(jī)制

剖析spark作業(yè)運(yùn)行機(jī)制主要內(nèi)容2Spark運(yùn)行機(jī)制Spark運(yùn)行機(jī)制特點(diǎn)3一、spark運(yùn)行機(jī)制4Spark運(yùn)行機(jī)制流程圖5Spark運(yùn)行機(jī)制構(gòu)建SparkApplication的運(yùn)行環(huán)境，啟動SparkContextSparkContext向資源管理器（可以是Standalone，Mesos，Yarn）申請運(yùn)行Executor資源，并啟動StandaloneExecutorbackend，Executor向SparkContext申請TaskSparkContext將應(yīng)用程序分發(fā)給ExecutorSparkContext構(gòu)建成DAG圖，將DAG圖分解成Stage、將Taskset發(fā)送給TaskScheduler，最后由TaskScheduler將Task發(fā)送給Executor運(yùn)行Task在Executor上運(yùn)行，運(yùn)行完釋放所有資源

6Spark運(yùn)行機(jī)制1）第一步：生成RDD

Spark本身對RDD的操作模式是惰性計算。在惰性計算機(jī)制中，盡管每一次算子操作都會將一個RDD轉(zhuǎn)換成一個新的RDD，并且邏輯上會順序的執(zhí)行這一系列計算，但是這些RDD的操作并不是立即執(zhí)行的，而是會等到出現(xiàn)行動算子時才觸發(fā)整個RDD操作序列，將之前的所有算子操作形成一個有向無環(huán)圖（DirectedAcyclicGraph，DAG），每個有向無環(huán)圖再觸發(fā)執(zhí)行一個作業(yè)（Job）。例如，WordCount程序中，只有程序執(zhí)行到saveAsTextFile時，Spark才對RDD進(jìn)行真正的處理，將之前的flatMap、map、reduceByKey和saveAsTextFile這些算子連成一個有向無環(huán)圖，并向Spark提交該作業(yè)。

采用惰性計算的優(yōu)勢：

1.相關(guān)的操作序列可以進(jìn)行連續(xù)計算，不用為存儲的中間結(jié)果離散的獨(dú)立分配內(nèi)存空間；

2.節(jié)省存儲空間，為之后對RDD變換操作的優(yōu)惠提供了條件；

7Spark運(yùn)行機(jī)制（2）第二步：生成Stage

Driver節(jié)點(diǎn)中的DAGSchedule實例會對有向無環(huán)圖中節(jié)點(diǎn)間的依賴關(guān)系進(jìn)行遍歷，將所有操作切分為多個調(diào)度階段（Stage）；

（3）第三步：生成Task

每個Stage需要轉(zhuǎn)換成任務(wù)在集群中的Worker節(jié)點(diǎn)上執(zhí)行，因此，由Driver節(jié)點(diǎn)中的TaskSchedule實例將Stage轉(zhuǎn)換為Task，并提交到Worker節(jié)點(diǎn)的Executor進(jìn)程中執(zhí)行；8二、RDD特點(diǎn)9RDD特點(diǎn)1.Alistofpartitions2.Afunctionforcomputingeachsplit3.AlistofdependenciesonotherRDDs4.Optionally,aPartitionerforkey-valueRDDs5.Optionally,alistofpreferredlocationstocomputeeachspliton101.Alistofpartitions

RDD由很多partition構(gòu)成，在spark中，計算式，有多少partition就對應(yīng)有多少個task來執(zhí)行

一組分片（partition），即數(shù)據(jù)集的基本組成單位，對于RDD來說，每個分片都會被一個計算任務(wù)處理，并決定并行計算的粒度。用戶可以在創(chuàng)建RDD時指定RDD的分片個數(shù)，如果沒有指定，那么就會采用默認(rèn)值。默認(rèn)值就是程序所分配到的CPUCore的數(shù)目。每個分配的存儲是由BlockManager實現(xiàn)的，每個分區(qū)都會被邏輯映射成BlockManager的一個Block，而這個Block會被一個Task負(fù)責(zé)計算。112.Afunctionforcomputingeachsplit

對RDD做計算，相當(dāng)于對RDD的每個split或partition做計算

Spark中的RDD的計算是以分片為單位的，每個RDD都會實現(xiàn)compute函數(shù)以達(dá)到這個目的。compute函數(shù)會對迭代器進(jìn)行復(fù)合，不需要保存每次計算的結(jié)果123.AlistofdependenciesonotherRDDs

RDD之間有依賴關(guān)系，可溯源

RDD的每次轉(zhuǎn)換都會生成一個新的RDD，所以RDD之間就會形成類似于流水線一樣的前后依賴關(guān)系。在部分分區(qū)數(shù)據(jù)丟失時，Spark可以通過這個依賴關(guān)系重新計算丟失的分區(qū)數(shù)據(jù)，而不是對RDD的所有分區(qū)進(jìn)行重新計算134.Optionally,aPartitionerforkey-valueRDDs

如果RDD里面存的數(shù)據(jù)是key-value形式，則可以傳遞一個自定義的Partitioner進(jìn)行重新分區(qū)，比如可以按key的hash值分區(qū)

一個partitioner，即RDD的分片函數(shù)。當(dāng)前Spark中實現(xiàn)了兩種類型的分片函數(shù)，一個是基于哈希的HashPartitioner，另外一個基于范圍的RangePartitioner。只有對于key-value的RDD，才會有Partitioner，非key-value的RDD的Partitioner的值是None。Partitioner函數(shù)不但決定了RDD本身的分片數(shù)量，也決定了parentRDDShuffle輸出時的分片數(shù)量145.Optionally,alistofpreferredlocationstocomputeeachspliton

最優(yōu)的位置去計算，也就是數(shù)據(jù)的本地性

計算每個split時，在split所在機(jī)器的本地上運(yùn)行task是最好的，避免了數(shù)據(jù)的移動