單元2 任務(wù)2-2 啟動與訪問Hadoo

《大數(shù)據(jù)平臺部署與運維》單元2Hadoop偽分布式安裝部署2-2啟動與訪問Hadoop01Hadoop啟動關(guān)閉等操作命令02基于WebUI監(jiān)控Hadoop平臺學(xué)習(xí)目標(biāo)啟動與訪問Hadoop【任務(wù)場景】經(jīng)理：小張，Hadoop平臺搭建的怎么了？在搭建過程中有沒有遇到問題？小張：經(jīng)理，Hadoop平臺搭建好了，這次搭建的是偽分布式模式的，部署在了單節(jié)點。經(jīng)理：好，那你啟動訪問一下，向我們大家展示一下Hadoop的相關(guān)使用，并介紹下HadoopWebUI監(jiān)控頁面。小張：好的，經(jīng)理。啟動與訪問Hadoop【任務(wù)布置】在上一個任務(wù)中，我們已經(jīng)在單節(jié)點上部署了Hadoop的偽分布式模式，但是并沒有進行啟動測試。本次任務(wù)要格式化NameNode并啟動Hadoop。掌握Hadoop相關(guān)啟動命令，知道Hadoop常見問題處理方法，了解HadoopUI監(jiān)控相關(guān)功能，為后續(xù)生產(chǎn)環(huán)境下部署Hadoop分布式集群打下基礎(chǔ)。Hadoop啟動關(guān)閉等操作命令Hadoop啟動關(guān)閉等操作命令命令功能sbin/start-all.sh啟動所有的Hadoop守護進程。包括NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManagersbin/stop-all.sh停止所有的Hadoop守護進程。包括NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManagersbin/start-dfs.sh啟動HadoopHDFS守護進程NameNode、SecondaryNameNode、DataNodesbin/stop-dfs.sh停止HadoopHDFS守護進程NameNode、SecondaryNameNode和DataNodesbin/hadoop-daemons.shstartnamenode單獨啟動NameNode守護進程sbin/hadoop-daemons.shstopnamenode單獨停止NameNode守護進程sbin/hadoop-daemons.shstartdatanode單獨啟動DataNode守護進程sbin/hadoop-daemons.shstopdatanode單獨停止DataNode守護進程sbin/hadoop-daemons.shstartsecondarynamenode單獨啟動SecondaryNameNode守護進程sbin/hadoop-daemons.shstopsecondarynamenode單獨停止SecondaryNameNode守護進程sbin/start-yarn.sh啟動ResourceManager、NodeManagersbin/stop-yarn.sh停止ResourceManager、NodeManagersbin/yarn-daemon.shstartresourcemanager單獨啟動ResourceManagersbin/yarn-daemons.shstartnodemanager單獨啟動NodeManagersbin/yarn-daemon.shstopresourcemanager單獨停止ResourceManagersbin/yarn-daemons.shstopnodemanager單獨停止NodeManager基于WebUI監(jiān)控Hadoop平臺基于WebUI監(jiān)控Hadoop平臺1.HDFSUI監(jiān)控在任務(wù)2.1中，我們在hdfs-site.xml中配置HDFS的監(jiān)控頁面的地址為：localhost:50070，可以通過50070端口訪問到HDFS的監(jiān)控頁面。基于WebUI監(jiān)控Hadoop平臺（1）標(biāo)題欄：名稱含義Overview集群概述Datanode數(shù)據(jù)節(jié)點datanode-volume-failures數(shù)據(jù)節(jié)點卷故障snapshot快照startup-progress啟動進度（2）概述：名稱含義Started啟動時間Version版本號Compiled編譯信息ClusterID群集IDBlockPoolID塊池ID基于WebUI監(jiān)控Hadoop平臺（3）總結(jié)：名稱含義Safemodeisoff安全模式已關(guān)閉Securityisoff安全關(guān)閉ConfiguredCapacity集群配置的總的容量configuredRemoteCapacity配置遠程容量DFSUsed已使用的DFS集群總量NonDFSUsed已使用的非DFS的量DFSRemainingDFS未使用（剩余）的容量BlockPoolUsed數(shù)據(jù)塊使用的量DataNodesusages%(Min/Median/Max/stdDev)數(shù)據(jù)節(jié)點使用率（最小值/中間值/最大值/標(biāo)準(zhǔn)偏差）LiveNodes存活的節(jié)點（活動節(jié)點）DeadNodes宕機的節(jié)點（死節(jié)點）DecommissioningNodes已停用節(jié)點EnteringMaintenanceNodes進入維護節(jié)點TotalDatanodeVolumeFailures數(shù)據(jù)節(jié)點卷失敗的總數(shù)NumberofUnder-ReplicatedBlocks復(fù)制不足的塊數(shù)NumberofBlocksPendingDeletion掛起刪除的塊數(shù)BlockDeletionStartTime塊刪除的開始時間LastCheckpointTime上次檢查點時間基于WebUI監(jiān)控Hadoop平臺（4）JournalNode：名稱含義JournalManagerJournalNode存儲EditLog數(shù)據(jù)的路徑StateJournalNode存儲EditLog數(shù)據(jù)的文件名（5）NameNode存儲：名稱含義StorageDirectoryNameNode存儲的路徑Type類型State狀態(tài)（6）DFS存儲類型：名稱含義StorageType集群存儲類型ConfiguredCapacity配置容量CapacityUsed使用的容量CapacityRemaining剩余容量BlockPoolUsed使用的塊池NodesInService服務(wù)中的節(jié)點基于WebUI監(jiān)控Hadoop平臺（7）DataNode信息：名稱含義Datanodeusagehistogram數(shù)據(jù)節(jié)點使用率柱狀圖DiskusageofeachDataNode(%)每個數(shù)據(jù)節(jié)點磁盤使用率（%）Inoperation運行中的節(jié)點（8）進入維護的節(jié)點列表（9）退役的節(jié)點列表基于WebUI監(jiān)控Hadoop平臺（10）快照名稱含義SnapshotSummary快照摘要Snapshottabledirectories快照目錄列表Snapshotteddirectories已創(chuàng)建的快照目錄（11）HDFS存儲系統(tǒng)的可視化瀏覽基于WebUI監(jiān)控Hadoop平臺（12）組件日志Utilities->Logs基于WebUI監(jiān)控Hadoop平臺2.MapReduceUI監(jiān)控對于開發(fā)、測試集群運行程序的開發(fā)人員來說，剛剛接觸MapReduce的初學(xué)者往往是在命令行前等著程序執(zhí)行完成，遇到運行緩慢、出現(xiàn)報錯很難做出有效的響應(yīng)。本文希望通過對Yarn原生UI等監(jiān)控手段的介紹，能使讀者對MapReduce進行有效監(jiān)控。MapReduceUI監(jiān)控頁面默認(rèn)端口為8088，我們可以通過localhost:8088來訪問?；赪ebUI監(jiān)控Hadoop平臺（1）左側(cè)菜單欄-Cluster——About：RM狀態(tài)版本等信息——Nodes：NM列表及狀態(tài)和屬性——Applications：任務(wù)列表及狀態(tài)和屬性（常用?。狽EW、NEW_SAVING……：篩選不同狀態(tài)任務(wù)——Scheduler：資源隊列列表和狀態(tài)-Tools——Configuration：yarn配置——Locallogs：本地日志——Serverstacks：堆?！猄ervermetrics：指標(biāo)ClusterMetrics（集群指標(biāo)）名稱解釋AppsSubmitted應(yīng)用程序提交Appspending應(yīng)用程序掛起AppsRunning應(yīng)用程序運行AppsCompleted應(yīng)用程序完成ContainersRunning容器運行MemoryUsed內(nèi)存使用Memorytotal總內(nèi)存MemoryReserved保留內(nèi)存VCoresUsed已使用核心數(shù)VCorestotal全部核心數(shù)VCoresReserved保留核心數(shù)ActiveNodes活躍的節(jié)點DecommissionedNodes退役的節(jié)點LostNodes剔除的節(jié)點UnhealthyNodes不健康的節(jié)點RebootedNodes重啟節(jié)點基于WebUI監(jiān)控Hadoop平臺SchedulerMetrics（調(diào)度器指標(biāo)）名稱解釋SchedulerType調(diào)度程序類型SchedulingResourceType調(diào)度資源類型MininumAllocation最低限度的分配MaximumAllocation最高限度的分配任務(wù)列表名稱解釋ID序號User用戶Name任務(wù)名稱ApplicationType應(yīng)用程序類型Queue隊列StartTime開始時間FinishTime完成時間State狀態(tài)FinalStatus最終狀態(tài)Progress進度TrackingUI進一步監(jiān)控的入口BlacklistedNodes黑名單啟動與訪問Hadoop【工作流程】啟動與訪問Hadoop基本工作流程包括：1. 格式化HDFS2. 啟動偽分布Hadoop通過WebUI監(jiān)控Hadoop平臺搭建Hadoop偽分布式【操作步驟】格式化HDFS

[root@localhost/]#hdfsnamenode-format2021-11-1821:25:09,514INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=node1.host/73STARTUP_MSG:args=[-format]STARTUP_MSG:version=3.1.1STARTUP_MSG:classpath=.............../************************************************************SHUTDOWN_MSG:ShuttingdownNameNodeathostname.host/73************************************************************/當(dāng)輸出內(nèi)容中無報錯信息并且最后輸出如下信息時，表示格式化成功搭建Hadoop偽分布式驗證是否啟動成功[root@localhost/]#start-all.shStartingnamenodeson[localhost]Lastlogin:二11月1611:21:36CST2021onpts/0StartingdatanodesLastlogin:二11月1611:33:29CST2021onpts/0Startingsecondarynamenodes[node1.host]Lastlogin:二11月1611:33:33CST2021onpts/0node1.host:Warning:PermanentlyaddedtheECDSAhostkeyforIPaddress'73'tothelistofknownhosts.2021-11-1611:33:41,968WARNutil.NativeCodeLoader:Unable