2023學(xué)年完整公開課版Hadoop集群

孟繁興Hadoop集群目錄0102Hadoop架構(gòu)概覽Hadoop集群Hadoop架構(gòu)概覽1Hadoop架構(gòu)概覽為了更好地對(duì)Hadoop進(jìn)行管理，理解Hadoop的兩個(gè)關(guān)鍵組件HDFS(存儲(chǔ)組件)和YARN(處理組件)是非常重要的。網(wǎng)頁排名和社交搜索與社交網(wǎng)站是處理常規(guī)數(shù)據(jù)流的兩個(gè)比較典型的例子。使用并行技術(shù)，可以使對(duì)這些數(shù)據(jù)的挖掘變得容易。為了有效地處理此種類型的海量數(shù)據(jù)集，使用一種不同的軟件棧勢(shì)在必行。傳統(tǒng)的數(shù)據(jù)處理更多地關(guān)注更強(qiáng)的計(jì)算機(jī)，因此導(dǎo)致了超級(jí)計(jì)算機(jī)的出現(xiàn)，而新的方法則使用由便宜的計(jì)算機(jī)連接起來的集群。Hadoop架構(gòu)概覽以Hadoop為代表的新軟件棧，以分布式文件系統(tǒng)為基礎(chǔ)。與傳統(tǒng)數(shù)據(jù)庫不同，此類文件系統(tǒng)通常使用非常大的數(shù)據(jù)塊，以便快速處理大量數(shù)據(jù)。其另一個(gè)關(guān)鍵特性是內(nèi)置的數(shù)據(jù)冗余特性，因?yàn)槲募到y(tǒng)使用廉價(jià)的計(jì)算節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)都可能隨時(shí)失敗。我們通過在多臺(tái)服務(wù)器上建立數(shù)據(jù)備份來提供冗余性，典型的是三備份機(jī)制。Hadoop架構(gòu)概覽下面討論組成Hadoop的兩個(gè)主要模塊：數(shù)據(jù)存儲(chǔ)(HDFS)和操作系統(tǒng)(YARN)。HDFS為所有Hadoop操作提供底層存儲(chǔ)。Hadoop系統(tǒng)中的數(shù)據(jù)就是存儲(chǔ)在HDFS中，其恰好位于底層的Linux(或Windows)文件系統(tǒng)之上。YARN不僅可以執(zhí)行MapReduce框架，而且還支持如Tez和Spark等其他框架。在深入討論Hadoop之前，最好弄清楚Hadoop集群是什么，集群中不同類型的節(jié)點(diǎn)以及集群中運(yùn)行的服務(wù)類型。Hadoop集群2Hadoop集群解釋了Hadoop集群是什么。總而言之，Hadoop集群是一個(gè)使用以分布式文件系統(tǒng)(HDFS)和集群資源管理器(YARN)為基礎(chǔ)的Hadoop軟件的計(jì)算機(jī)集合。任何超過一臺(tái)機(jī)器的組合都可以構(gòu)成一個(gè)集群?？梢赃\(yùn)行一個(gè)只有幾個(gè)節(jié)點(diǎn)的小型集群，同時(shí)也可以構(gòu)建諸如Yahoo等組織維護(hù)的非常大的集群，其最大的Hadoop集群超過了10000個(gè)節(jié)點(diǎn)。無論規(guī)模大小，在Hadoop集群中的所有部件都同等運(yùn)行。Hadoop集群在實(shí)際中，Hadoop通過在后臺(tái)運(yùn)行的一組守護(hù)進(jìn)程來實(shí)現(xiàn)存儲(chǔ)和處理。用戶不必關(guān)心這些進(jìn)程，因?yàn)樗鼈冊(cè)诰W(wǎng)絡(luò)間執(zhí)行輸入/輸出，無須用戶干預(yù)