2023學(xué)年完整公開課版Yarn

主講：邵思思Yarn-簡介ApacheHadoopYARN（YetAnotherResourceNegotiator，另一種資源協(xié)調(diào)者）是hadoop2.0提供的新功能，它是一個集群資源調(diào)度管理的軟件，其產(chǎn)生是為了更好的管理集群資源，突破hadoop1.0集群管理方式的缺陷。它是一個通用資源管理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處。YARN的基本思想是將JobTracker的兩個主要功能（資源管理和作業(yè)調(diào)度/監(jiān)控）分離，主要方法是創(chuàng)建一個全局的ResourceManager（RM）和若干個針對應(yīng)用程序的ApplicationMaster（AM）。這里的應(yīng)用程序是指傳統(tǒng)的MapReduce作業(yè)或作業(yè)的DAG（有向無環(huán)圖）。YARN分層結(jié)構(gòu)的本質(zhì)是ResourceManager。這個實體控制整個集群并管理應(yīng)用程序向基礎(chǔ)計算資源的分配。ResourceManager將各個資源部分（計算、內(nèi)存、帶寬等）精心安排給基礎(chǔ)NodeManager（YARN的每節(jié)點代理）。ResourceManager還與ApplicationMaster一起分配資源，與NodeManager一起啟動和監(jiān)視它們的基礎(chǔ)應(yīng)用程序。在此上下文中，ApplicationMaster承擔(dān)了以前的TaskTracker的一些角色，ResourceManager承擔(dān)了JobTracker的角色。Yarn-優(yōu)點大大減小了JobTracker（也就是現(xiàn)在的ResourceManager）的資源消耗，并且讓監(jiān)測每一個Job子任務(wù)(tasks)狀態(tài)的程序分布式化了，更安全、更優(yōu)美。在新的Yarn中，ApplicationMaster是一個可變更的部分，用戶可以對不同的編程模型寫自己的AppMst，讓更多類型的編程模型能夠跑在Hadoop集群中，可以參考hadoopYarn官方配置模板中的mapred-site.xml配置。對于資源的表示以內(nèi)存為單位(在目前版本的Yarn中，沒有考慮cpu的占用)，比之前以剩余slot數(shù)目更合理。老的框架中，JobTracker一個很大的負(fù)擔(dān)就是監(jiān)控job下的tasks的運行狀況，現(xiàn)在，這個部分就扔給ApplicationMaster做了，而ResourceManager中有一個模塊叫做ApplicationsMasters(注意不是ApplicationMaster)，它是監(jiān)測ApplicationMaster的運行狀況，如果出問題，會將其在其他機器上重啟。Container是Yarn為了將來作資源隔離而提出的一個框架。這一點應(yīng)該借鑒了Mesos的工作，目前是一個框架，僅僅提供java虛擬機內(nèi)存的隔離,hadoop團(tuán)隊的設(shè)計思路應(yīng)該后續(xù)能支持更多的資源調(diào)度和控制,既然資源表示成內(nèi)存量，那就沒有了之前的mapslot/reduceslot分開造成集群資源閑置的尷尬情況。Yarn-架構(gòu)組成YARN主要由ResourceManager、NodeM