《hadoop基礎(chǔ)》課件-第八章 YARN Web UI服務(wù)

第八章YARN

WebUI服務(wù)1YARNWebUI服務(wù)YARN提供了一個WebUIV1服務(wù)，該服務(wù)屬于內(nèi)置服務(wù)，隨著RM啟動而啟動。V1表示這是第一代版本的WebUI服務(wù)。用戶可以通過瀏覽器登錄界面，來監(jiān)視群集、隊列、應(yīng)用程序、服務(wù)、節(jié)點信息。還可以查看集群詳細(xì)配置的信息，檢查各種應(yīng)用程序和服務(wù)的日志。YARNWebUIV1服務(wù)介紹瀏覽器輸入訪問YARNWebUI服務(wù)。頁面打開后，以列表形式展示處于各種狀態(tài)（接收、執(zhí)行、完成、殺死、失敗）的各種應(yīng)用程序，如MapReduce應(yīng)用、Spark應(yīng)用、Flink應(yīng)用等，與點擊頁面左側(cè)Application欄目紅線框Applications鏈接顯示的內(nèi)容一致。YARNWebUIV1服務(wù)首頁YARNWebUIV1服務(wù)首頁功能詳解當(dāng)點擊任意一個應(yīng)用程序時，會打開一個新頁面，并展示這個應(yīng)用程序的運行信息。以MR應(yīng)用為例，如果應(yīng)用程序正在運行，打開的頁面如下圖所示。YARNWebUIV1服務(wù)應(yīng)用程序分析當(dāng)點擊任意一個應(yīng)用程序時，會打開一個新頁面，并展示這個應(yīng)用程序的運行信息。如果應(yīng)用程序已經(jīng)運行完成，打開的頁面如下圖所示。YARNWebUIV1服務(wù)應(yīng)用程序分析默認(rèn)情況下，YARNRM重啟之后，已經(jīng)完成的作業(yè)和正在執(zhí)行的作業(yè)信息都會丟失。針對正在執(zhí)行的作業(yè)恢復(fù)，可以設(shè)置RM重啟機(jī)制恢復(fù)（yarn.resourcemanager.recovery.enabled）。JobHistoryServer（JHS）屬于YARN的一項系統(tǒng)服務(wù)，僅存儲已經(jīng)運行完成的MapReduce應(yīng)用程序的作業(yè)歷史信息，并不會存儲其他類型（如Spark、Flink等）應(yīng)用程序的作業(yè)歷史信息。當(dāng)啟用JHS服務(wù)時，建議開啟日志聚合功能，利于統(tǒng)一管理和分析日志。否則每個Container的運行日志是存儲在NodeManager節(jié)點本地，查看日志時需要訪問各個NodeManager節(jié)點。JobHistoryServer服務(wù)概述Step1：mapred-site.xml添加JHS配置JobHistoryServer服務(wù)配置<!--jobhistory服務(wù)配置注意19888是webui訪問端口-->

<property>

<name>mapreduce.jobhistory.address</name>

<value>node1:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>node1:19888</value>

</property>Step2：yarn-site.xml添加日志聚合配置JobHistoryServer服務(wù)配置<!--開啟yarn日志聚合功能，收集每個容器的日志集中存儲在一個地方-->

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<!--日志保留時間設(shè)置為一天-->

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>86400</value>

</property>

<property>

<name>yarn.log.server.url</name>

<value>http://node1:19888/jobhistory/logs</value>

</property>Step3：集群同步配置文件JobHistoryServer服務(wù)配置[root@node1~]#cd/export/server/hadoop-2.7.6/etc/hadoop/

[root@node1~]#scpmapred-site.xmlyarn-site.xmlnode2:$PWD

[root@node1~]#scpmapred-site.xmlyarn-site.xmlnode3:$PWDStep4：重啟Hadoop集群、手動啟動JHS服務(wù)JobHistoryServer服務(wù)配置#node1上執(zhí)行

start-all.sh

mapred--daemonstarthistoryserver瀏覽器登錄JHSJobHistoryServer服務(wù)WebUI查看JobHistoryServer服務(wù)WebUI功能JobHistoryServer服務(wù)WebUI功能在JHS主頁面上，會列舉中所有在YARN上已經(jīng)執(zhí)行完的MR作業(yè)信息。通過點擊JobID可以進(jìn)入查看詳細(xì)信息。JobHistoryServer服務(wù)查看已完成MR作業(yè)歷史信息查看MR作業(yè)中各個Task的詳細(xì)信息JobHistoryServer服務(wù)查看已完成MR作業(yè)歷史信息MR作業(yè)歷史信息保存位置由參數(shù)mapreduce.jobhistory.done-dir指定。（mapred-default.xml）JobHistoryServer服務(wù)JHS數(shù)據(jù)存儲位置MR作業(yè)歷史信息保存位置由參數(shù)mapreduce.jobhistory.done-dir指定。（mapred-default.xml）JobHistoryServer服務(wù)JHS數(shù)據(jù)存儲位置由于JobHistoryServer僅對MapReduce應(yīng)用程序提供歷史信息支持，其他應(yīng)用程序的歷史信息需要分別提供單獨的HistoryServer才能查詢和檢索。例如Spark的Application需要通過Spark自己提供的org.apache.spark.deploy.history.HistoryServer來解決應(yīng)用歷史信息。為了解決這個問題，YARN新增了TimelineServer組件，以通用的方式存儲和檢索應(yīng)用程序當(dāng)前和歷史信息。中文語境下，將TimelineServer稱之為時間軸服務(wù)。TimelineServer服務(wù)概述存儲應(yīng)用程序的特定信息收集和檢索指定應(yīng)用程序或者框架的某些信息。例如，Hadoop的MR框架會產(chǎn)生像是Maptask數(shù)量、Reducetask數(shù)量、Counter等信息，應(yīng)用開發(fā)人員可以通過TimelineClient，在ApplicationMaster或者Container中將特定的信息發(fā)送到Timeline服務(wù)器。同時Timeline提供了RESTAPI，用于查詢Timeline中存儲的信息，并可以通過應(yīng)用程序或者框架的特定UI進(jìn)行展示。保存已完成應(yīng)用程序的常規(guī)信息在之前此功能只能通過JobHistoryServer實現(xiàn)，并且只支持MRJob。隨著Timeline服務(wù)的出現(xiàn)，JobHistoryServer的功能可以看做是Timeline的一部分。TimelineServer服務(wù)職責(zé)到目前，TimelineServer有V1、V1.5和V2共三個版本。V1僅限于寫入器/讀取器和存儲的單個實例，無法很好地擴(kuò)展到小型群集之外,伸縮性不足；V2還處于alpha狀態(tài)，實現(xiàn)了讀寫分離，后端依賴HBase；本課程以V1.5進(jìn)行講解。TimelineServer服務(wù)版本介紹Step1：yarn-site.xml中添加下面配置TimelineServer服務(wù)配置<!--設(shè)置是否開啟/使用YarnTimeline服務(wù)-->

<property>

<name>yarn.timeline-service.enabled</name>

<value>true</value>

</property>

<!--設(shè)置RM是否發(fā)布信息到Timeline服務(wù)器-->

<property>

<name>yarn.resourcemanager.system-metrics-publisher.enabled</name>

<value>true</value>

</property>

<!--設(shè)置是否從Timelinehistory-service中獲取常規(guī)信息,如果為否,則是通過RM獲取-->

<property>

<name>yarn.timeline-service.generic-application-history.enabled</name>

<value>true</value>

</property>

<!--設(shè)置TimelineServiceWebApp的主機(jī)名-->

<property>

<name>yarn.timeline-service.hostname</name>

<value>node1</value>

</property>

<!--設(shè)置http是否允許CORS(跨域資源共享,Cross-OriginResourceSharing)-->

<property>

<name>yarn.timeline-service.http-cross-origin.enabled</name>

<value>true</value>

</property>Step2：集群同步配置文件TimelineServer服務(wù)配置[root@node1~]#cd/export/server/hadoop-2.7.6/etc/hadoop/

[root@node1~]#scpmapred-site.xmlyarn-site.xmlnode2