2023學年完整公開課版HDFS技術架構

鄭美容01目錄HDFS體系結構02名稱節(jié)點的數據結構HDFS技術架構1HDFS體系結構

HDFS采用了主從（Master/Slave）結構模型，一個HDFS集群包括一個名稱節(jié)點（NameNode）和若干個數據節(jié)點（DataNode）（如圖所示）。名稱節(jié)點作為中心服務器，負責管理文件系統(tǒng)的命名空間及客戶端對文件的訪問。集群中的數據節(jié)點一般是一個節(jié)點運行一個數據節(jié)點進程，負責處理文件系統(tǒng)客戶端的讀/寫請求，在名稱節(jié)點的統(tǒng)一調度下進行數據塊的創(chuàng)建、刪除和復制等操作。每個數據節(jié)點的數據實際上是保存在本地Linux文件系統(tǒng)中的。名稱節(jié)點的數據結構1.在HDFS中，名稱節(jié)點（NameNode）負責管理分布式文件系統(tǒng)的命名空間（Namespace），保存了兩個核心的數據結構，即FsImage和EditLog。2.FsImage用于維護文件系統(tǒng)樹以及文件樹中所有的文件和文件夾的元數據。3.操作日志文件EditLog中記錄了所有針對文件的創(chuàng)建、刪除、重命名等操作。4.名稱節(jié)點記錄了每個文件中各個塊所在的數據節(jié)點的位置信息。元數據名稱節(jié)點運行期間EditLog不斷變大的問題在名稱節(jié)點運行期間，HDFS的所有更新操作都是直接寫到EditLog中，久而久之，EditLog文件將會變得很大。雖然這對名稱節(jié)點運行時候是沒有什么明顯影響的，但是，當名稱節(jié)點重啟的時候，名稱節(jié)點需要先將FsImage里面的所有內容映像到內存中，然后再一條一條地執(zhí)行EditLog中的記錄，當EditLog文件非常大的時候，會導致名稱節(jié)點啟動操作非常慢，而在這段時間內HDFS系統(tǒng)處于安全模式，一直無法對外提供寫操作，影響了用戶的使用。如何解決？答案是：SecondaryNameNode第二名稱節(jié)點第二名稱節(jié)點是HDFS架構中的一個組成部分，它是用來保存名稱節(jié)點中對HDFS元數據信息的備份，并減少名稱節(jié)點重啟的時間。SecondaryNameNode一般是單獨運行在一臺機器上SecondaryNameNode的工作情況：SecondaryNameNode會定期和NameNode通信，請求其停止使用EditLog文件，暫時將新的寫操作寫到一個新的文件edit.new上來，這個操作是瞬間完成，上層寫日志的函數完全感覺不到差別；SecondaryNameNode通過HTTPGET方式從NameNode上獲取到FsImage和EditLog文件，并下載到本地的相應目錄下；SecondaryNameNode將下載下來的FsImage載入到內存，然后一條一條地執(zhí)行EditLog文件中的各項更新操作，使得內存中的FsImage保持最新；這個過程就是EditLog和FsImage文件合并；SecondaryNameNode執(zhí)行完（3）操作之后，會通過post方式將新的FsImage文件發(fā)送到NameNode節(jié)點上；NameNode將從SecondaryNameNode接收到的新的FsImage替換舊的FsImage文件，同時將edit.new替換EditLog文件，通過這個過程EditLog就變小了。數據節(jié)點數據節(jié)點是分布式文件系統(tǒng)HDFS的工作節(jié)點，負責數據的存儲和讀取，會根據客戶端或者是名