試驗(yàn)YARN試驗(yàn)：部署YARN集群

1、實(shí)驗(yàn)四 YARN實(shí)驗(yàn)：部署YARN集群實(shí)驗(yàn)?zāi)康牧私馐裁词?YARN框架，如何搭建 YARN分布式集群，并能夠使用 YARN集群提交 一些簡單的任務(wù)，理解 YARN作為Hadoop生態(tài)中的資源管理器的意義。實(shí)驗(yàn)要求搭建YARN集群，并使用 YARN集群提交簡單的任務(wù)。觀察任務(wù)提交的之后的YARN的執(zhí)行過程。實(shí)驗(yàn)原理YARN 概述YARN是一個(gè)資源管理、任務(wù)調(diào)度的框架，采用 master/slave架構(gòu)，主要包含三大模 塊：ResourceManager (RM)、NodeManager ( NM )、ApplicationMaster (AM )。其中， ResourceManager負(fù)責(zé)所有資

2、源的監(jiān)控、分配和管理，運(yùn)行在主節(jié)點(diǎn)；NodeManager負(fù)責(zé)每一個(gè)節(jié)點(diǎn)的維護(hù)，運(yùn)行在從節(jié)點(diǎn)；ApplicationMaster負(fù)責(zé)每一個(gè)具體應(yīng)用程序的調(diào)度和協(xié)調(diào)，只有在有任務(wù)正在執(zhí)行時(shí)存在。對(duì)于所有的 applications , RM擁有絕對(duì)的控制權(quán)和 對(duì)資源的分配權(quán)。而每個(gè)AM則會(huì)和RM協(xié)商資源，同時(shí)和 NodeManager通信來執(zhí)行和監(jiān)控task。幾個(gè)模塊之間的關(guān)系如圖4-1所示：實(shí)驗(yàn)手冊(cè)圖4-1模塊間的關(guān)系YARN運(yùn)行流程YARN運(yùn)行流程如圖4-2所示:圖4-2 YARN運(yùn)行流程如圖client向RM提交應(yīng)用程序，其中包括啟動(dòng)該應(yīng)用的ApplicationMaster的必須信息，例

3、如ApplicationMaster程序、啟動(dòng) ApplicationMaster的命令、用戶程序等。ResourceManager 啟動(dòng)一個(gè) container 用于運(yùn)行 ApplicationMaster 。啟動(dòng)中的 ApplicationMaster向ResourceManager注冊(cè)自己，啟動(dòng)成功后與RM保持心跳。ApplicationMaster 向 ResourceManager發(fā)送請(qǐng)求，申請(qǐng)相應(yīng)數(shù)目的containeroResourceManager 返回 ApplicationMaster 的申請(qǐng)的 containers 信息。申請(qǐng)成功的 container,由 Applica

4、tionMaster進(jìn)行初始化。container的啟動(dòng)信息初始化后，AM 與對(duì)應(yīng)33實(shí)驗(yàn)手冊(cè)的NodeManager通信，要求 NM 啟動(dòng)container。AM 與NM 保持心跳，從而對(duì) NM 上運(yùn) 行的任務(wù)進(jìn)行監(jiān)控和管理。container 運(yùn)行期間，ApplicationMaster 對(duì) container 進(jìn)行監(jiān)控。container 通過 RPC 協(xié) 議向?qū)?yīng)的AM匯報(bào)自己的進(jìn)度和狀態(tài)等信息。應(yīng)用運(yùn)行期間，client直接與AM通信獲取應(yīng)用的狀態(tài)、進(jìn)度更新等信息。應(yīng)用運(yùn)行結(jié)束后，ApplicationMaster向ResourceManager注銷自己，并允許屬于它的contain

5、er 被收回。實(shí)驗(yàn)步驟該實(shí)驗(yàn)主要分為配置YARN的配置文件，啟動(dòng) YARN集群，向YARN幾個(gè)簡單的任務(wù)從而了解YARN工作的流程。在master機(jī)上配置 YARN操作之前請(qǐng)確認(rèn)HDFS已經(jīng)啟動(dòng)，具體操作參考之前的實(shí)驗(yàn)內(nèi)容。指定 YARN 主節(jié)點(diǎn)，編輯文件“/usr/cstor/hadoop/etc/hadoop/yarn-site.xml ”,將如下內(nèi) 容嵌入此文件里 configuration標(biāo)簽間：yarn.resourcemanager.hostnamemasteryarn.nodemanager.aux-servicesmapreduce_shuffle yarn-site.xml是

6、 YARN 守護(hù)進(jìn)程的配置文件。第一句配置了ResourceManager的主機(jī)名，第二句配置了節(jié)點(diǎn)管理器運(yùn)行的附加服務(wù)為mapreduce_shuffle ,只有這樣才可以運(yùn)行MapReduce 程序。在master機(jī)上操作：將配置好的YARN配置文件拷貝至 slaveX、client。rootmaster # cat /data/4/machinesslave1salve2slave3 clientallencmaster # for x in cat /data/4/machines ; do echo $x ; scp /usr/cstor/hadoop/etc/hadoop/yarn

7、-site.xml $x:/usr/cstor/hadoop/etc/hadoop/ ; done;統(tǒng)一啟動(dòng) YARN確認(rèn)已配置slaves文件，在 master機(jī)器上查看：rootmaster # cat /usr/cstor/hadoop/etc/hadoop/slavesslavelslave2slave3rootmaster #YARN配置無誤，統(tǒng)一啟動(dòng) YARN :rootmaster # /usr/cstor/hadoop/sbin/start-yarn.sh34實(shí)驗(yàn)手冊(cè)驗(yàn)證YARN啟動(dòng)成功讀者可分別在四臺(tái)機(jī)器上執(zhí)行如下命令，查看 YARN服務(wù)是否已啟動(dòng)。rootmaster #

8、jps#jps 查看 java 進(jìn)程你會(huì)在master上看到類似的如下信息： 2347 ResourceManager 這表明在master節(jié)點(diǎn)成功啟動(dòng) ResourceManager,它負(fù)責(zé)整個(gè)集群的資源管理分配， 是一個(gè)全局的資源管理系統(tǒng)。而在slavel、slave2、slave3上看到類似的如下信息：4021 NodeManagerNodeManager是每個(gè)節(jié)點(diǎn)上的資源和任務(wù)管理器，它是管理這臺(tái)機(jī)器的代理，負(fù)責(zé)該 節(jié)點(diǎn)程序的運(yùn)行，以及該節(jié)點(diǎn)資源的管理和監(jiān)控。YARN集群每個(gè)節(jié)點(diǎn)都運(yùn)行一個(gè)NodeManager o 查看Web界面 在當(dāng)前的 Windows機(jī)器上打開瀏覽器，地址欄輸入m

9、aster的IP和端口號(hào)8088 (例：:8088),即可在 Web界面看到 YARN相關(guān)信息。4.4.4 在 client 機(jī)上提交 DistributedShell 任務(wù)distributedshell ,他可以看做 YARN編程中的helloworld :它的主要功能是并行執(zhí)行 用戶提供的 shell命令或者 shell腳本。-jar指定了包含 ApplicationMaster的jar文件，- shell_command 指定了需要被 ApplicationMaster 執(zhí)行的 Shell 命令。在xshell上再打開一個(gè) client的連接，執(zhí)行：rootclient

10、 # /usr/cstor/hadoop/bin/yarnorg.apache.hadoop.yarn.applications.distributedshell.Client -jar/usr/cstor/hadoop/share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.7.1.jar -shell_command uptime4.4.5 在client機(jī)上提交 MapReduce型任務(wù)(1)指定在 YARN上運(yùn)行 MapReduce任務(wù)首先， 在 master 機(jī)上，斗各文件 “/usr/cstor/hadoop/et

11、c/hadoop/mapred-site.xml. template重命名為/usr/cstor/hadoop/etc/hadoop/mapred-site.xml ”。接著，編輯此文件并將如下內(nèi)容嵌入此文件的configuration標(biāo)簽間：yarn 最后， 將 master 機(jī) 的 “/usr/local/hadoop/etc/hadoop/mapred-site.xml ” 文件 拷貝至U slaveX與client,重新啟動(dòng)集群。(2)在 client 端提交 PI Estimator 任務(wù)首先進(jìn)入 Hadoop安裝目錄：/usr/cst

12、or/hadoop/,然后提交 PI Estimator任務(wù)。命令最后兩個(gè)兩個(gè)參數(shù)的含義：第一個(gè)參數(shù)是指要運(yùn)行map的次數(shù)，這里是 2次；第二個(gè)參數(shù)是指每個(gè)map任務(wù)，取樣的個(gè)數(shù)；而兩數(shù)相乘即為總的取樣數(shù)。Pi Estimator使用Monte Carlo方法計(jì)算 Pi值的，Monte Carlo方法自行百度。35實(shí)驗(yàn)手冊(cè)rootclient hadoop# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar pi 2104.5實(shí)驗(yàn)結(jié)果(1) yarn啟動(dòng)之后在 master上的web界面上能看到的

13、界面。如圖 4-3所示:All AppllC!aitldni&圖4-3(2)提交DistributedShell任務(wù)之后web界面看到的界面應(yīng)該是。如圖 4-4所示:All AppllC!aitldni&圖4-4(3)提交PI任務(wù)之后web界面上看到的。如圖 4-5所示:在終端能觀察到白界面。如圖 4-6所示:36實(shí)驗(yàn)手冊(cè) 1 master2 client 3 clientFILE： Numb tCFS: NumbbDFS:H5FS:HOFS: tCFS:Job CountersNumberNumberNumberNumberof of of of of ofwrite operatiori5

14、0 bytes read-322bytes writte-2IS read operatio-ns=ll large read op&rati&ns=0 write operatior)s=3Launched maptasks=2Launched reduce task&=l Data-local map tasks=2Total Total Total Total Total Total Total Totaltime time time timespent by spent by spent by spirit byvcore-seconds ve&resecondsnaps in occ

15、upied slots ms )=5739 reduces in occupied 810t5(m&)=3i77 nrap tasks (ms)-5730 reduce 9工號(hào)(m5)-3177taken by all map tasks5730tak&n by all rdiic t自建號(hào)3I77me 明 byte 耳前 tin ds taken by all m 即 tasks=586752o megabyte-setonds taken by all reduce ta5ks-32S3248Map-Reduce FrameworkMap input record5=2Nap output

16、 records=4Nap output bytes=36幅p output materialized tytes=56Input split bytes=2&Combine input record5=0Combine output rec&rds=Reduce Reduce Reduce Reduceinput grQjp&=2 shuffle byies-56 input rgcords-4. output recprd5*0Spilled Records-EShuffled Maps -2 Failed shuffles-o Merged Map outputs GC time elapsed (ms)=99 CPU time spent (ms)=2640 Physical memory (bytes anap&hot=704651264 Virtual memory (bytes) sr)apshot=24653S6496 Total conunitted heap us己g白(tyte&)=603979776 Shuffle ErrorsFileFileJo