hadoop學(xué)習(xí)視頻教程08 - YARN資源管理系統(tǒng)(2)

1、Hadoop講師：迪倫（北風(fēng)網(wǎng)版權(quán)所有）YARN資源管理系統(tǒng)資源管理系統(tǒng)(2)q YARN基本設(shè)計(jì)思想q YARN基本架構(gòu)課程目標(biāo)課程目標(biāo)第一代第一代MapReduceMapReduce框架框架第二代第二代MapReduceMapReduce框架框架編程模型編程模型q 為保證編程模型的向下兼容性，MRv2重用了MRv1中的編程模型和數(shù)據(jù)處理引擎，但運(yùn)行環(huán)境被完全 重寫q 編程模型與數(shù)據(jù)處理引擎 MapReduce應(yīng)用程序編程接口有兩套：新API（mapred）和舊API（mapreduce） 采用MRv1舊API編寫的程序可直接運(yùn)行在MRv2上 采用MRv1新API編寫的程序需要使用MRv2編

2、程庫(kù)重新編譯并修改不兼容的參數(shù)和返回值q 運(yùn)行時(shí)環(huán)境 MRv1：JobTracker和TaskTracker MRv2：YARN和ApplicationMaster編程模型編程模型YARNYARN基本組成結(jié)構(gòu)基本組成結(jié)構(gòu)q YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等幾個(gè)組件構(gòu)成ResourceManager(RM)ResourceManager(RM)q RM是全局資源管理器，負(fù)責(zé)整個(gè)系統(tǒng)的資源管理和分配q 主要由兩個(gè)組件構(gòu)成：調(diào)度器和應(yīng)用程序管理器(ASM)q 調(diào)度器 調(diào)度器根據(jù)容量、隊(duì)列等限制條件，將系統(tǒng)中

3、的資源分配給各個(gè)正在運(yùn)行的應(yīng)用程序 不負(fù)責(zé)具體應(yīng)用程序相關(guān)的工作，比如監(jiān)控或跟蹤狀態(tài) 不負(fù)責(zé)重新啟動(dòng)失敗任務(wù) 資源分配單位用“資源容器”（Resource Container）表示 Container是一個(gè)動(dòng)態(tài)資源分配單位，它將內(nèi)存、CPU、磁盤、網(wǎng)絡(luò)等資源封裝在一起，從而限定每個(gè)任務(wù)的資源量 調(diào)度器是一個(gè)可拔插的組件，用戶可以自行設(shè)計(jì) YARN提供了多種直接可用的調(diào)度器，比如Fair Scheduler和Capacity Scheduler等q 應(yīng)用程序管理器 負(fù)責(zé)管理整個(gè)系統(tǒng)中所有應(yīng)用程序ApplicationMaster(AM)ApplicationMaster(AM)q 用戶提交的每個(gè)

4、應(yīng)用程序均包含一個(gè)AMq AM主要功能 與RM調(diào)度器協(xié)商以獲取資源（用Container 表示） 將得到的任務(wù)進(jìn)一步分配給內(nèi)部的任務(wù) 與NM通信以啟動(dòng)/停止任務(wù) 監(jiān)控所有任務(wù)運(yùn)行狀態(tài)，并在任務(wù)運(yùn)行失敗時(shí)重新為任務(wù)申請(qǐng)資源以重啟任務(wù)q 當(dāng)前YARN自帶了兩個(gè)AM實(shí)現(xiàn) 一個(gè)用于演示AM編寫方法的示例程序distributedshell 一個(gè)運(yùn)行MapReduce程序MRAppMasterq 其他的計(jì)算框架對(duì)應(yīng)的AM正在開發(fā)中，比如Open MPI、Spark等NodeManager(NM)NodeManager(NM)和和ContainerContainerq NM是每個(gè)節(jié)點(diǎn)上的資源和任務(wù)管理器 定時(shí)向RM匯報(bào)本節(jié)點(diǎn)上的資源使用情況和各個(gè)Container的運(yùn)行狀態(tài) 接收并處理來(lái)自AM的Container啟動(dòng)/停止等各種請(qǐng)求q Container是YARN中的資源抽象，它封裝了某個(gè)節(jié)點(diǎn)上的多維度資源q YARN會(huì)為每個(gè)任務(wù)分配一個(gè)Container，且該任務(wù)只能使用該Container