彈性數(shù)據(jù)分布式集RDD

彈性分布式數(shù)據(jù)集RDD2RDD特性：數(shù)據(jù)存儲結(jié)構(gòu)不可變支持跨集群的分布式數(shù)據(jù)操作可對數(shù)據(jù)記錄按key進行分區(qū)提供了粗粒度的轉(zhuǎn)換操作數(shù)據(jù)存儲在內(nèi)存中，保證了低延遲性3RDD的好處：RDD只能從持久存儲或通過Transformations操作產(chǎn)生，相比于分布式共享內(nèi)存(DSM)可以更高效實現(xiàn)容錯，對于丟失部分數(shù)據(jù)分區(qū)只需根據(jù)它的lineage就可重新計算出來，而不需要做特定的Checkpoint。RDD的不變性，可以實現(xiàn)類HadoopMapReduce的推測式執(zhí)行。RDD的數(shù)據(jù)分區(qū)特性，可以通過數(shù)據(jù)的本地性來提高性能，這與HadoopMapReduce是一樣的。RDD都是可序列化的，在內(nèi)存不足時可自動降級為磁盤存儲，把RDD存儲于磁盤上，這時性能會有大的下降但不會差于現(xiàn)在的MapReduce4RDD編程接口：Transformations轉(zhuǎn)換操作，返回值還是一個RDD，

如：map、filter、unionActions行動操作，返回結(jié)果或把RDD持久化起來，

如count、collect、save5RDD依賴關(guān)系：窄依賴(NarrowDependencies)

一個父RDD分區(qū)最多被一個子RDD分區(qū)引用，表現(xiàn)為一個父RDD的分區(qū)；對應(yīng)于一個子RDD的分區(qū)或多個父RDD的分區(qū)對應(yīng)于一個子RDD的分區(qū)，也就是說一個父RDD的一個分區(qū)不可能對應(yīng)一個子RDD的多個分區(qū)，如map、filter、union等操作則產(chǎn)生窄依賴；6RDD依賴關(guān)系：寬依賴(WideDependencies)一個子RDD的分區(qū)依賴于父RDD的多個分區(qū)或所有分區(qū)，也就是說存在一個父RDD的一個分區(qū)對應(yīng)一個子RDD的多個分區(qū)，如groupByKey等操作則產(chǎn)生寬依賴操作7StageDAG：Spark提交Job之后會把Job生成多個Stage，多個Stage之間是有依賴的，Stage之間的依賴關(guān)系就構(gòu)成了DAG（有向無環(huán)圖）。對于窄依賴，Spark會盡量多地將RDD轉(zhuǎn)換放在同一個Stage中；而對于寬依賴，但大多數(shù)時候是shuffle操作，因此Spark會將此Stage定義為ShuffleMapStage，以便于向MapOutputTracker注冊shuffle操作。Spar