2023學(xué)年完整公開(kāi)課版Application生命周期

Application生命周期2學(xué)習(xí)任務(wù)Yarn的執(zhí)行流程YarnApplication3知識(shí)目標(biāo)了解Yarn的執(zhí)行流程。了解YarnApplication的用途。01能力目標(biāo)學(xué)會(huì)YarnApplication命令的用法。學(xué)會(huì)編寫Yarn上運(yùn)行的程序。02學(xué)習(xí)目標(biāo)4目錄01Yarn的執(zhí)行流程02YarnApplication的命令03編寫Yarn上運(yùn)行的程序Yarn的執(zhí)行流程5YarnApplication命令6-list：列出所有Application信息。

示例：yarn

application–list-appStates<States>：跟-list一起使用，用來(lái)篩選不同狀態(tài)的application，多個(gè)用“,”分隔；

所有狀態(tài)：ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED

示例：yarn

application-list-appStates

RUNNING-appTypes<Types>：跟-list一起使用，用來(lái)篩選不同類型的application，多個(gè)用“,”分隔；

如MAPREDUCE

示例：yarn

application-list-appTypes

MAPREDUCEYarnApplication命令7-kill<ApplicationID>：殺死一個(gè)application，需要指定一個(gè)

ApplicationID

。

示例：yarn

application-killapplication_1526100291229_206393-status<ApplicationID>：列出某個(gè)application的狀態(tài)

示例：yarn

application-status

application_1526100291229_206393-movetoqueue<ApplicationID>

：移動(dòng)application到其他的queue，不能單獨(dú)使用。-queue<QueueName>：與movetoqueue命令一起使用，指定移動(dòng)到哪個(gè)queue。

示例：yarn

application-movetoqueueapplication_1526100291229_206393-queueother編寫Yarn上運(yùn)行的程序-client設(shè)計(jì)8客戶端通過(guò)RPC與ResourceManager通信獲取appId和可分配的資源等信息?？蛻舳送ㄟ^(guò)RPC將ApplicationMaster提交到ResourceManager?？蛻舳藢?dòng)ApplicationMaster所需要的信息打包到ApplicationSubmisionContext中。主要包括application_id、name、priority、queue、user、unmanagered_am等。也需要提供ApplicationClient接口實(shí)現(xiàn)，以供返回信息，包括集群信息、節(jié)點(diǎn)信息、kill信息、運(yùn)行狀態(tài)。當(dāng)然這些程序可以使用Java的RPC進(jìn)行編程，Yarn提供了YarnClient類的封裝編程庫(kù)，使用maven載入。編寫Yarn上運(yùn)行的程序-ApplicationMaster設(shè)計(jì)9ApplicationMaster通過(guò)RPC向ResourceManager注冊(cè)注冊(cè)成功后收到一個(gè)RegisterApplicationMasterResponse返回值，主要信息有maximumCapability最大可用資源、client_to_am_token_master_key等信息。ApplicationMaster通過(guò)RPC向ResourceManager申請(qǐng)資源。ApplicationMaster調(diào)用后會(huì)收到AllocationResponse類型返回信息。主要包括reponse_id、allocated_containers、limit、狀態(tài)等信息。Applicati