2023學年完整公開課版教學HDFS特點

主講：侯磊目錄010203HDFS簡介HDFS架構HDFS特點HDFS簡介1HDFS簡介Hadoop分布式文件系統(tǒng)(HDFS)被設計成適合運行在通用硬件上的分布式文件系統(tǒng)。它是一個高度容錯性的系統(tǒng)，適合部署在廉價的機器上，能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應用，HDFS放寬了一部分POSIX約束，來實現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。HDFS支持大規(guī)模的數(shù)據(jù)集存儲，具有“一次寫入多次讀取”的文件訪問模型，簡化了數(shù)據(jù)一致性問題，并且使高吞吐量的數(shù)據(jù)訪問成為可能。HDFS為應用提供了將它們自己移動到數(shù)據(jù)附近的接口，提高了計算效率。HDFS具有異構軟硬件平臺間的可移植性，這種特性方便了HDFS作為大規(guī)模數(shù)據(jù)應用平臺的推廣。HDFS架構2HDFS架構HDFS架構HDFS采用Java語言開發(fā)，因此任何支持Java的機器都可以部署Namenode或Datanode。由于采用了可移植性極強的Java語言，使得HDFS可以部署到多種類型的機器上。一個典型的部署場景是一臺機器上只運行一個Namenode實例，而集群中的其它機器分別運行一個Datanode實例。集群中單一Namenode的結構大大簡化了系統(tǒng)的架構。Namenode是所有HDFS元數(shù)據(jù)的仲裁者和管理者，這樣，用戶數(shù)據(jù)永遠不會流過Namenode。HDFS架構NameNode和DataNode 在HDFS體系結構中有兩類節(jié)點，一類是NameNode，它是唯一的，運行于master主機中；另一類是DataNode，運行于任意主機中。NameNode在整個文件系統(tǒng)中充當管理者，管理文件系統(tǒng)的命名空間（Namespace），維護整個文件系統(tǒng)的文件目錄樹及這些文件的索引目錄。這些信息以兩種形式存儲在本地文件系統(tǒng)中，一種是命名空間鏡像（Namespaceimage）；一種是編輯日志（Editlog）。Datanode是文件系統(tǒng)的工作節(jié)點，用來執(zhí)行具體的任務，他們根據(jù)根據(jù)客戶端或者是namenode的調度存儲和檢索數(shù)據(jù)，并且定期向namenode發(fā)送他們所存儲的塊(block)的列表HDFS特點3HDFS特點HDFS是Hadoop的子項目，用Java實現(xiàn)，為Hadoop上層應用提供高吞吐量的可擴展的大文件存儲服務。HDFS與現(xiàn)有的分布式文件系統(tǒng)有以下優(yōu)缺點序號HDFS的優(yōu)點HDFS的缺點1處理超大文件不適合低延遲