2023學(xué)年完整公開課版Yarn模式

Yarn模式Y(jié)arn模式概述Yarn集群模式Y(jié)arn客戶端模式Y(jié)arn模式概述/01

spark的Yarn運(yùn)行模式根據(jù)Driver在集群中的位置分成兩種：1）yarn-client客戶端模式2）yarn-cluster集群模式y(tǒng)arn模式和standalone模式不同，standalone模式需要啟動(dòng)spark獨(dú)立集群，這樣SparkContext才能與Master進(jìn)行交互通信。而yarn模式的資源管理全部托管給的ResourceManager了，所以它不需要啟動(dòng)spark獨(dú)立集群，那么也就意味著無法訪問http://master:8080這個(gè)頁面。Yarn模式概述Yarn集群模式/02spark的yarn集群模式，Driver運(yùn)行在ApplicationMaster上，ApplicationMaster進(jìn)程同時(shí)負(fù)責(zé)驅(qū)動(dòng)代碼程序和從ResourceManager申請(qǐng)資源。由于它直接運(yùn)行在yarn的Container當(dāng)中，所以并不需要客戶端，客戶端可以在提交完畢之后就關(guān)閉，如圖：Yarn集群模式1）客戶端將生成作業(yè)信息并提交給ResourceManager。2）ResourceManager會(huì)選擇一個(gè)NodeManager去啟動(dòng)container，并且把ApplicationMaster分配給它去運(yùn)行。3）NodeManager接收到以后就會(huì)啟動(dòng)ApplicationMaster并初始化dag作業(yè)，此時(shí)NodeManager就成為Driver。Yarn集群模式4）ApplicationMaster向ResourceManager申請(qǐng)資源。5）ResourceManager分配資源的同時(shí)通知其它NodeManager啟動(dòng)相應(yīng)的executor去執(zhí)行task，并反饋執(zhí)行情況。6）執(zhí)行完畢，釋放資源。Yarn集群模式Y(jié)arn客戶端模式/03yarn客戶端模式和yarn集群模式的區(qū)別很明顯，就是在于ApplicationMaster僅僅負(fù)責(zé)從ResourceManager申請(qǐng)資源，而驅(qū)動(dòng)代碼程序的任務(wù)還是由Client客戶端負(fù)責(zé)，所以Client客戶端在整個(gè)過程中保持運(yùn)行不會(huì)像集群模式一樣提交完就關(guān)閉，如圖：Yarn客戶端模式1）客戶端生成作業(yè)信息并提交給ResourceManager。2）ResourceManager在本地NodeManager啟動(dòng)container并分配運(yùn)行ApplicationMaster。3）Client節(jié)點(diǎn)會(huì)初始化dag作業(yè)，通過ApplicationMaster去向ResourceManager申請(qǐng)資源。4）Client節(jié)點(diǎn)將任務(wù)分發(fā)給executor去執(zhí)行，executor反饋執(zhí)行情況。5）任務(wù)執(zhí)行完畢，