版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
《大數(shù)據(jù)平臺部署與運(yùn)維》單元3Hadoop集群搭建任務(wù)3.2監(jiān)控Hadoop集群01Hadoop集群監(jiān)控學(xué)習(xí)目標(biāo)任務(wù)3.2Hadoop集群監(jiān)控【任務(wù)場景】經(jīng)理:小張,我們Hadoop集群搭建起來了,很多同事需要了解集群的基本信息,如存儲空間,另外我們的運(yùn)維人員需要實時了解集群運(yùn)行狀況。小張:我們可以通過Hadoop的WebUI看到集群的基本信息,HDFS的故障信息和MapReduce執(zhí)行的情況。我整理一下相應(yīng)的資料,盡快給大家講解一下。任務(wù)3.2Hadoop集群監(jiān)控【任務(wù)布置】通過WebUI查看Hadoop集群的基本信息。查看HDFS存儲使用情況MapReduce任務(wù)的運(yùn)行情況。任務(wù)3.2Hadoop集群監(jiān)控當(dāng)啟動Hadoop集群時,可以通過WebUI來查看HDFS以及Yarn的狀態(tài),用來方便的查看集群運(yùn)行的狀態(tài)。一些常見的默認(rèn)端口端口如下:應(yīng)用Hadoop2.X端口Hadoop3.X端口NameNodeHttpWebUI500709870DataNodeHttpWebUI500759864ResourceManagerHttpWebUI80808080NodeManagerHttpWebUI80428042注意:本書搭建的環(huán)境使用的版本是Hadoop3.X。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控當(dāng)啟動Hadoop集群時,可以通過WebUI來查看HDFS以及Yarn的狀態(tài),用來方便的查看集群運(yùn)行的狀態(tài)。一些常見的默認(rèn)端口端口如下:應(yīng)用Hadoop2.X端口Hadoop3.X端口NameNodeHttpWebUI500709870DataNodeHttpWebUI500759864ResourceManagerHttpWebUI80808080NodeManagerHttpWebUI80428042注意:本書搭建的環(huán)境使用的版本是Hadoop3.X。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控
1.NameNodeWebUIMaster01節(jié)點(diǎn)部署了NameNode,我們可以通過http://master01:9870來查看hdfs的運(yùn)行狀態(tài)。NameNodeWebUI中包含“Overview”、“Datanodes”、“DataNodeVolumeFailures”、“Snapshot”、“StartupProgress”和“Utilities”選項卡,接下來我們將介紹幾個常用選項卡。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控
1.NameNodeWebUIOverview選項卡中,我們可以看到集群啟動時間,集群軟件的版本號,集群軟件的編譯信息,集群的ID和塊池的ID任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控
1.NameNodeWebUIOverview選項卡中,“Summary”中我們可以查看集群配置的容量,HDFS相關(guān)容量信息,DataNode的使用情況,以及副本數(shù)據(jù)塊的相關(guān)信息任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控
1.NameNodeWebUIOverview選項卡中,“NameNodeStorage”顯示元數(shù)據(jù)存儲的狀態(tài),“DFSStorageTypes”顯示數(shù)據(jù)存儲的信息。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控
1.NameNodeWebUI
在“DataNode”選項卡顯示DataNode節(jié)點(diǎn)的信息,包括正在運(yùn)行的節(jié)點(diǎn),進(jìn)入維護(hù)狀態(tài)的節(jié)點(diǎn)等,并可查看每個DataNode的基本信息。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控
1.NameNodeWebUIOverview選項卡中,我們可以看到集群啟動時間,集群軟件的版本號,集群軟件的編譯信息,集群的ID和塊池的ID任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控
1.NameNodeWebUI
在“DatanodeVolumeFailures”選項卡中,當(dāng)數(shù)據(jù)卷出現(xiàn)故障,此選項卡可清楚顯示故障信息,幫助我們排查問題,其顯示的故障信息包括節(jié)點(diǎn)名,故障時間,故障卷數(shù)量,估計丟失的容量和故障卷位置。在無數(shù)據(jù)卷故障時,此選項卡不輸出任何內(nèi)容。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控
1.NameNodeWebUI
在“StartupProgress”選項卡中,記錄NameNode啟動的過程,以及是否啟動成功,啟動花費(fèi)的時間等?!拘√崾尽吭贖DFS啟動失敗時,此信息能夠協(xié)助我們快速定位在HDFS啟動過程中,哪個環(huán)節(jié)出現(xiàn)問題。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控
1.NameNodeWebUI
在“utilities”中的“Browsethefilesystem”選項卡中,我們可以使用瀏覽器來查看hdfs文件系統(tǒng)的文件,并可上傳下載文件。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控
2.DataNodeWebUI
在DataNode選項中,我們可以查看訪問的每一個DataNode的塊信息和數(shù)據(jù)卷信息。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控
3.ResourceManagerWebUI在ResourceManager選項卡中,我們可以看到任務(wù)執(zhí)行情況以及yarn的狀態(tài)信息。并可以查看每個任務(wù)的詳細(xì)執(zhí)行信息。任務(wù)3.2Hadoop集群監(jiān)控3.2.Hadoop集群監(jiān)控
4.NodeManagerWebUI
在NodeManagerWebUI中,我們可以看到NoteManager的基本信息和正在運(yùn)行的任務(wù)情況。任務(wù)3.2Hadoop集群監(jiān)控【工作流程】1.查看HDFS文件系統(tǒng)的容量大小和使用率2.通過NameNodeWebUI上傳文件3.啟動一個wordcount的任務(wù)4.在ResourceManager的WebUI中查看WordCount任務(wù)執(zhí)行的狀態(tài)。任務(wù)3.2Hadoop集群監(jiān)控【操作步驟】1.查看HDFS文件系統(tǒng)的容量和使用率:
訪問“http://master01:9870”可直接查看文件系統(tǒng)的容量和使用率。在“Overview”選項卡中,“ConfiguredCapacity”顯示的是HDFS的配置容量,“DFSUsed”中顯示已用空間和使用率。任務(wù)3.2Hadoop集群監(jiān)控【操作步驟】2.通過NameNodeWebUI上傳文件:在hdfs中創(chuàng)建/upload文件夾,通過Web界面上傳文件到此文件夾。如下命令行創(chuàng)建/upload文件夾并修改權(quán)限。[root@master01hadoop]#hdfsdfs-mkdir/upload[root@master01hadoop]#hdfsdfs-chmod777/upload[root@master01hadoop]#hdfsdfs-ls/Found4items-rw-r--r--2rootsupergroup252021-11-1110:32/test.txtdrwx-------rootsupergroup02021-11-1110:34/tmpdrwxrwxrwx-rootsupergroup02021-11-1117:51/uploaddrwxr-xr-x-rootsupergroup02021-11-1111:01/wc_out任務(wù)3.2Hadoop集群監(jiān)控【操作步驟】2.在hdfs中創(chuàng)建/upload文件夾,通過Web界面上傳文件到此文件夾:在Web瀏覽器中,進(jìn)入“Utilities”-->“Browsethefilesystem”選項卡,選擇upload目錄。點(diǎn)擊上傳按鈕,上傳Hadoop安裝文件到upload目錄。注意,在若使用非集群內(nèi)的設(shè)備進(jìn)行上傳操作,需配置hosts文件,添加所有master和worker節(jié)點(diǎn)信息,否則上傳失敗。任務(wù)3.2Hadoop集群監(jiān)控【操作步驟】3.啟動一個wordcount的任務(wù):啟動一個wordcount任務(wù),在下一步中,通過ResourceManager的WebUI查看任務(wù)執(zhí)行情況。[root@master01~]#hadoopjar/opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jarwordcount/test.txt/wc_out1任務(wù)3.2Hadoop集群監(jiān)控【操作步驟】4.在ResourceManager的WebUI中查看WordCount任務(wù)執(zhí)行的狀態(tài):打開YARNResourceManager的WebUI找到執(zhí)行的任務(wù)任務(wù)3.2Hadoop集群監(jiān)控【操作步驟】4.在Resourc
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 《Proteus仿真平臺單片機(jī)項目式教程》課件 項目5 定時器-2.“9分59秒”定時器
- 2024年業(yè)主委托民宿運(yùn)營協(xié)議書范文
- 4兄弟分割宅基地協(xié)議書范文
- 0首付買房子欠款協(xié)議書范文
- 職業(yè)技術(shù)學(xué)院木業(yè)產(chǎn)品設(shè)計與制造專業(yè)人才培養(yǎng)方案(三年制)
- 城市軌道交通列車自動控制系統(tǒng)維護(hù) 課件 項目三 車站列車自動控制系統(tǒng)維護(hù)與檢修
- 音樂創(chuàng)作的基本原理
- 分絲寬幅整經(jīng)機(jī)編制說明
- 公司項目部負(fù)責(zé)人安全培訓(xùn)試題帶答案(考試直接用)
- 新進(jìn)廠職工安全培訓(xùn)試題附完整答案【歷年真題】
- 2024年秋季新北師大版7年級上冊生物課件 第2單元 生物體的結(jié)構(gòu) 第3章 生物體的結(jié)構(gòu)層次 第1節(jié) 細(xì)胞通過分裂而增殖
- 2024-2030年濕紙巾市場發(fā)展現(xiàn)狀分析及行業(yè)投資戰(zhàn)略研究報告
- 2024-2030年打樁機(jī)行業(yè)市場發(fā)展分析及發(fā)展趨勢前景預(yù)測報告
- 12《總也倒不了的老屋》教學(xué)設(shè)計-2024-2025學(xué)年統(tǒng)編版語文三年級上冊
- 數(shù)據(jù)治理平臺建設(shè)方案
- 外研版初中英語單詞一覽表(音標(biāo)版)
- 2.7 百家爭鳴 課件 2024-2025學(xué)年統(tǒng)編版七年級歷史上冊
- 幼兒園 中班數(shù)學(xué)《會變的圖形》
- 招商銀行筆試真題2023
- (正式版)SHT 3533-2024 石油化工給水排水管道工程施工及驗收規(guī)范
- 2024年孝感安陸市浩源自來水公司招聘筆試參考題庫附帶答案詳解
評論
0/150
提交評論