單元3 任務(wù)3.2 監(jiān)控Hadoop集群

《大數(shù)據(jù)平臺部署與運維》單元3Hadoop集群搭建任務(wù)3.2監(jiān)控Hadoop集群01Hadoop集群監(jiān)控學(xué)習(xí)目標(biāo)任務(wù)3.2Hadoop集群監(jiān)控【任務(wù)場景】經(jīng)理：小張，我們Hadoop集群搭建起來了，很多同事需要了解集群的基本信息，如存儲空間，另外我們的運維人員需要實時了解集群運行狀況。小張：我們可以通過Hadoop的WebUI看到集群的基本信息，HDFS的故障信息和MapReduce執(zhí)行的情況。我整理一下相應(yīng)的資料，盡快給大家講解一下。任務(wù)3.2Hadoop集群監(jiān)控【任務(wù)布置】通過WebUI查看Hadoop集群的基本信息。查看HDFS存儲使用情況MapReduce任務(wù)的運行情況。任務(wù)3.2Hadoop集群監(jiān)控當(dāng)啟動Hadoop集群時，可以通過WebUI來查看HDFS以及Yarn的狀態(tài),用來方便的查看集群運行的狀態(tài)。一些常見的默認(rèn)端口端口如下：應(yīng)用Hadoop2.X端口Hadoop3.X端口NameNodeHttpWebUI500709870DataNodeHttpWebUI500759864ResourceManagerHttpWebUI80808080NodeManagerHttpWebUI80428042注意：本書搭建的環(huán)境使用的版本是Hadoop3.X。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控當(dāng)啟動Hadoop集群時，可以通過WebUI來查看HDFS以及Yarn的狀態(tài),用來方便的查看集群運行的狀態(tài)。一些常見的默認(rèn)端口端口如下：應(yīng)用Hadoop2.X端口Hadoop3.X端口NameNodeHttpWebUI500709870DataNodeHttpWebUI500759864ResourceManagerHttpWebUI80808080NodeManagerHttpWebUI80428042注意：本書搭建的環(huán)境使用的版本是Hadoop3.X。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控

1.NameNodeWebUIMaster01節(jié)點部署了NameNode，我們可以通過http://master01:9870來查看hdfs的運行狀態(tài)。NameNodeWebUI中包含“Overview”、“Datanodes”、“DataNodeVolumeFailures”、“Snapshot”、“StartupProgress”和“Utilities”選項卡，接下來我們將介紹幾個常用選項卡。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控

1.NameNodeWebUIOverview選項卡中，我們可以看到集群啟動時間，集群軟件的版本號，集群軟件的編譯信息，集群的ID和塊池的ID任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控

1.NameNodeWebUIOverview選項卡中，“Summary”中我們可以查看集群配置的容量，HDFS相關(guān)容量信息，DataNode的使用情況，以及副本數(shù)據(jù)塊的相關(guān)信息任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控

1.NameNodeWebUIOverview選項卡中，“NameNodeStorage”顯示元數(shù)據(jù)存儲的狀態(tài)，“DFSStorageTypes”顯示數(shù)據(jù)存儲的信息。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控

1.NameNodeWebUI

在“DataNode”選項卡顯示DataNode節(jié)點的信息，包括正在運行的節(jié)點，進入維護狀態(tài)的節(jié)點等，并可查看每個DataNode的基本信息。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控

1.NameNodeWebUIOverview選項卡中，我們可以看到集群啟動時間，集群軟件的版本號，集群軟件的編譯信息，集群的ID和塊池的ID任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控

1.NameNodeWebUI

在“DatanodeVolumeFailures”選項卡中，當(dāng)數(shù)據(jù)卷出現(xiàn)故障，此選項卡可清楚顯示故障信息，幫助我們排查問題，其顯示的故障信息包括節(jié)點名，故障時間，故障卷數(shù)量，估計丟失的容量和故障卷位置。在無數(shù)據(jù)卷故障時，此選項卡不輸出任何內(nèi)容。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控

1.NameNodeWebUI

在“StartupProgress”選項卡中，記錄NameNode啟動的過程，以及是否啟動成功，啟動花費的時間等?！拘√崾尽吭贖DFS啟動失敗時，此信息能夠協(xié)助我們快速定位在HDFS啟動過程中，哪個環(huán)節(jié)出現(xiàn)問題。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控

1.NameNodeWebUI

在“utilities”中的“Browsethefilesystem”選項卡中，我們可以使用瀏覽器來查看hdfs文件系統(tǒng)的文件，并可上傳下載文件。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控

2.DataNodeWebUI

在DataNode選項中，我們可以查看訪問的每一個DataNode的塊信息和數(shù)據(jù)卷信息。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控

3.ResourceManagerWebUI在ResourceManager選項卡中，我們可以看到任務(wù)執(zhí)行情況以及yarn的狀態(tài)信息。并可以查看每個任務(wù)的詳細(xì)執(zhí)行信息。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控

4.NodeManagerWebUI

在NodeManagerWebUI中，我們可以看到NoteManager的基本信息和正在運行的任務(wù)情況。任務(wù)3.2Hadoop集群監(jiān)控【工作流程】1.查看HDFS文件系統(tǒng)的容量大小和使用率2.通過NameNodeWebUI上傳文件3.啟動一個wordcount的任務(wù)4.在ResourceManager的WebUI中查看WordCount任務(wù)執(zhí)行的狀態(tài)。任務(wù)3.2Hadoop集群監(jiān)控【操作步驟】1.查看HDFS文件系統(tǒng)的容量和使用率：

訪問“http://master01:9870”可直接查看文件系統(tǒng)的容量和使用率。在“Overview”選項卡中，“ConfiguredCapacity”顯示的是HDFS的配置容量，“DFSUsed”中顯示已用空間和使用率。任務(wù)3.2Hadoop集群監(jiān)控【操作步驟】2.通過NameNodeWebUI上傳文件：在hdfs中創(chuàng)建/upload文件夾，通過Web界面上傳文件到此文件夾。如下命令行創(chuàng)建/upload文件夾并修改權(quán)限。[root@master01hadoop]#hdfsdfs-mkdir/upload[root@master01hadoop]#hdfsdfs-chmod777/upload[root@master01hadoop]#hdfsdfs-ls/Found4items-rw-r--r--2rootsupergroup252021-11-1110:32/test.txtdrwx-------rootsupergroup02021-11-1110:34/tmpdrwxrwxrwx-rootsupergroup02021-11-1117:51/uploaddrwxr-xr-x-rootsupergroup02021-11-1111:01/wc_out任務(wù)3.2Hadoop集群監(jiān)控【操作步驟】2.在hdfs中創(chuàng)建/upload文件夾，通過Web界面上傳文件到此文件夾：在Web瀏覽器中，進入“Utilities”-->“Browsethefilesystem”選項卡，選擇upload目錄。點擊上傳按鈕，上傳Hadoop安裝文件到upload目錄。注意，在若使用非集群內(nèi)的設(shè)備進行上傳操作，需配置hosts文件，添加所有master和worker節(jié)點信息，否則上傳失敗。任務(wù)3.2Hadoop集群監(jiān)控【操作步驟】3.啟動一個wordcount的任務(wù)：啟動一個wordcount任務(wù)，在下一步中，通過ResourceManager的WebUI查看任務(wù)執(zhí)行情況。[root@master01~]#hadoopjar/opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jarwordcount/test.txt/wc_out1任務(wù)3.2Hadoop集群監(jiān)控【操作步驟】4.在ResourceManager的WebUI中查看WordCount任務(wù)執(zhí)行的狀態(tài)：打開YARNResourceManager的WebUI找到執(zhí)行的任務(wù)任務(wù)3.2Hadoop集群監(jiān)控【操作步驟】4.在Resourc