教學(xué)YarnCluster模式工作流程

主講：侯磊目錄01了解Yarn02Yarn-Cluster模式了解Yarn1了解Yarn背景Yarn是一個(gè)分布式的資源管理系統(tǒng)，用以提高分布式的集群環(huán)境下的資源利用率，這些資源包括內(nèi)存、IO、網(wǎng)絡(luò)、磁盤等。其產(chǎn)生的原因是為了解決原MapReduce框架的不足。最初MapReduce的committer們還可以周期性的在已有的代碼上進(jìn)行修改，可是隨著代碼的增加以及原MapReduce框架設(shè)計(jì)的不足，在原MapReduce框架上進(jìn)行修改變得越來越困難，所以MapReduce的committer們決定從架構(gòu)上重新設(shè)計(jì)MapReduce,使下一代的MapReduce(MRv2/Yarn)框架具有更好的擴(kuò)展性、可用性、可靠性、向后兼容性和更高的資源利用率以及能支持除了MapReduce計(jì)算框架外的更多的計(jì)算框架。了解YarnYarn架構(gòu)Yarn/MRv2最基本的想法是將原JobTracker主要的資源管理和job調(diào)度/監(jiān)視功能分開作為兩個(gè)單獨(dú)的守護(hù)進(jìn)程。有一個(gè)全局的ResourceManager(RM)和每個(gè)Application有一個(gè)ApplicationMaster(AM)，Application相當(dāng)于map-reducejob或者DAGjobs。ResourceManager和NodeManager(NM)組成了基本的數(shù)據(jù)計(jì)算框架。ResourceManager協(xié)調(diào)集群的資源利用，任何client或者運(yùn)行著的applicatitonMaster想要運(yùn)行job或者task都得向RM申請一定的資源。ApplicatonMaster是一個(gè)框架特殊的庫，對于MapReduce框架而言有它自己的AM實(shí)現(xiàn)，用戶也可以實(shí)現(xiàn)自己的AM，在運(yùn)行的時(shí)候，AM會(huì)與NM一起來啟動(dòng)和監(jiān)視tasks。Yarn-Cluster模式2Yarn-Cluster模式Y(jié)ARN-cluster的工作流程分為以下幾個(gè)步驟：1.

SparkYarnClient向YARN中提交應(yīng)用程序，包括ApplicationMaster程序、啟動(dòng)ApplicationMaster的命令、需要在Executor中運(yùn)行的程序等；2.

ResourceManager收到請求后，在集群中選擇一個(gè)NodeManager，為該應(yīng)用程序分配第一個(gè)Container，要求它在這個(gè)Container中啟動(dòng)應(yīng)用程序的ApplicationMaster，其中ApplicationMaster進(jìn)行SparkContext等的初始化；3.

ApplicationMaster向ResourceManager注冊，這樣用戶可以直接通過ResourceManage查看應(yīng)用程序的運(yùn)行狀態(tài)，然后它將采用輪詢的方式通過RPC協(xié)議為各個(gè)任務(wù)申請資源，并監(jiān)控它們的運(yùn)行狀態(tài)直到運(yùn)行結(jié)束；Yarn-Cluster模式4.

一旦ApplicationMaster申請到資源（也就是Container）后，便與對應(yīng)的NodeManager通信，要求它在獲得的Container中啟動(dòng)啟動(dòng)CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend啟動(dòng)后會(huì)向ApplicationMaster中的SparkContext注冊并申請Task。這一點(diǎn)和Standalone模式一樣，只不過SparkContext在SparkApplication中初始化時(shí)，使用CoarseGrainedSchedulerBackend配合YarnClusterScheduler進(jìn)行任務(wù)的調(diào)度，其中YarnClusterScheduler只是對TaskSchedulerImpl的一個(gè)簡單包裝，增加了對Executor的等待邏輯等；Yarn-Cluster模式5.

ApplicationMaster中的SparkContext分配Task給CoarseGrainedExecutorBackend執(zhí)行，CoarseGrainedExecutorBackend運(yùn)行Task并向ApplicationMaster匯報(bào)運(yùn)行的狀態(tài)和進(jìn)度，以讓ApplicationMa