2023學(xué)年完整公開課版Yarn基礎(chǔ)（微課）

Yarn基礎(chǔ)

2Yarn基本原理Yarn功能組件Yarn配置實(shí)現(xiàn)學(xué)習(xí)任務(wù)3YARN基本原理YARN（YetAnotherResourceNegotiator）YARN的基本思想：將JobTracker兩個(gè)主要的功能分離成單獨(dú)的組件，一個(gè)全局的ResourceManager和每個(gè)應(yīng)用對(duì)應(yīng)的ApplicationMaster4YARN基本原理5YARN功能組件ResourceManagerApplicationMaster資源模型ResourceRequest和Container6YARN功能組件—ResourceManager調(diào)度器根據(jù)應(yīng)用程序的資源請(qǐng)求嚴(yán)格限制系統(tǒng)的可用資源在保證容量、公平性及服務(wù)等級(jí)的情況下，優(yōu)化集群資源利用率有可插拔的調(diào)度器來應(yīng)用不同的調(diào)度算法7YARN功能組件—ApplicationMaster負(fù)責(zé)協(xié)商資源，并和NodeManager協(xié)同工作有責(zé)任與ResourceManager協(xié)商并獲取合適的資源在真實(shí)環(huán)境中，每一個(gè)應(yīng)用都有自己的ApplicationMaster實(shí)例8YARN功能組件—資源模型YARN提供了通用的應(yīng)用資源模型一個(gè)應(yīng)用可以通過ApplicationMaster請(qǐng)求非常具體的資源9YARN功能組件—ResourceRequest、Container

一個(gè)應(yīng)用程序通過ApplicationMaster請(qǐng)求特定的ResourceRequest來滿足資源需求Container是一種資源分配形式，為應(yīng)用程序授予在特定主機(jī)上使用資源（如內(nèi)存、CPU）的權(quán)利10YARN配置實(shí)現(xiàn)-修改mapred.xml文件修改hadoop配置目錄中的mapred-site.xml文件—配置MapReduce應(yīng)用使用Yarn框架<configuration><property><name></name><value>yarn</value></property></configuration>11YARN配置實(shí)現(xiàn)-修改yarn-site.xml文件修改hadoop配置目錄中的yarn-site.xml文件—yarn.nodemanager.aux-services：為NodeManager配置MapReduce應(yīng)用的Shuffle服務(wù)<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>12YARN配置實(shí)現(xiàn)啟動(dòng)資源管理器(ResourceManager)和節(jié)點(diǎn)管理器(NodeManager)守護(hù)進(jìn)程—執(zhí)行start-yarn.sh訪問資源管理器