分布式文件系統(tǒng)HDFS簡(jiǎn)介

分布式文件系統(tǒng)HDFS簡(jiǎn)介2學(xué)習(xí)任務(wù)了解HDFS的概述了解HDFS的特性了解NameNode的啟動(dòng)流程了解兩個(gè)節(jié)點(diǎn)的相關(guān)配置3知識(shí)目標(biāo)能夠了解HDFS的概念能夠了解NameNode的啟動(dòng)流程能夠了解HDFS各組件的參數(shù)配置01能力目標(biāo)能夠簡(jiǎn)單敘述HDFS的架構(gòu)及特性能夠簡(jiǎn)單敘述HDFS各組件的參數(shù)配置02學(xué)習(xí)目標(biāo)4目錄01HDFS的概述02HDFS的NameNode的啟動(dòng)流程03HDFS的存儲(chǔ)機(jī)制和數(shù)據(jù)安全04HDFS各組件的參數(shù)配置5HDFS的概述在HDFS集群中，主要分為兩種節(jié)點(diǎn)，分別為Namenode和Datanode。Namenode為集群老大，掌管文件系統(tǒng)目錄樹(shù)，處理客戶端讀且請(qǐng)求；DataNode存儲(chǔ)整個(gè)集群所有數(shù)據(jù)塊，處理真正數(shù)據(jù)讀寫(xiě)；SecondaryNamenode持久化元數(shù)據(jù)，主要給namenode分擔(dān)壓力之用。HDFS的架構(gòu)分析6HDFS的概述HDFS中的文件在物理上是分塊存儲(chǔ)（block），塊的大小可以通過(guò)配置參數(shù)(dfs.blocksize)來(lái)規(guī)定，默認(rèn)大小在hadoop2.x版本中是128M，老版本中是64M。HDFS文件系統(tǒng)會(huì)給客戶端提供一個(gè)統(tǒng)一的抽象目錄樹(shù)，客戶端通過(guò)路徑來(lái)訪問(wèn)文件Namenode是HDFS集群主節(jié)點(diǎn)，負(fù)責(zé)維護(hù)整個(gè)hdfs文件系統(tǒng)的目錄樹(shù)，以及每一個(gè)路徑（文件）所對(duì)應(yīng)的block塊信息（block的id，及所在的datanode服務(wù)器）。HDFS的特性7HDFS的概述Datanode是HDFS集群從節(jié)點(diǎn)，每一個(gè)block都可以在多個(gè)datanode上存儲(chǔ)多個(gè)副本（副本數(shù)量也可以通過(guò)參數(shù)設(shè)置dfs.replication，默認(rèn)是3）。HDFS是設(shè)計(jì)成適應(yīng)一次寫(xiě)入，多次讀出的場(chǎng)景，且不支持文件的修改。HDFS的特性8HDFS的NameNode

的啟動(dòng)流程ecourndarynamenode會(huì)通過(guò)httpget去下載namenode節(jié)點(diǎn)的鏡像fsimage與edits_log將fsimage加載內(nèi)存當(dāng)中,當(dāng)用數(shù)據(jù)寫(xiě)入HDFS時(shí)記錄到edits_log并生成新edits_logs同時(shí)合并fsimage,生成新的fsimage.ckpt鏡像文件，然后將fsimge.ckpt通過(guò)httpput上傳到,namenode節(jié)點(diǎn).namenode節(jié)點(diǎn)最后更名成為新的fsimage。9HDFS的NameNode

的啟動(dòng)流程Hadoop在格式化文件系統(tǒng)HDFS時(shí)候會(huì)默認(rèn)生成一個(gè)fsimage文件，啟動(dòng)時(shí)會(huì)將fsimage鏡像加載到內(nèi)存，然后replay去編輯edit_log默認(rèn)edit_log為空的,。當(dāng)客戶端節(jié)點(diǎn)去整個(gè)HDFS的數(shù)據(jù)節(jié)點(diǎn)datenode傳送數(shù)據(jù)文件時(shí)，默認(rèn)在安全模式下數(shù)據(jù)節(jié)點(diǎn)datenode會(huì)每隔一斷時(shí)間發(fā)送一些存儲(chǔ)信息給namenode處理,edit_log就會(huì)經(jīng)行記錄,然后進(jìn)行合并鏡像fsimage使當(dāng)前整個(gè)鏡像保持在最新?tīng)顟B(tài)。10HDFS的存儲(chǔ)機(jī)制和數(shù)據(jù)安全HDFS在客戶端上傳文件到整個(gè)hdfs時(shí)，會(huì)在這個(gè)block節(jié)點(diǎn)快的形式存儲(chǔ)，切分成塊每個(gè)block節(jié)點(diǎn)塊128M。數(shù)據(jù)在存儲(chǔ)在hdfs上的時(shí)候包括了兩個(gè)文件，一個(gè)是上傳文件的本身，一個(gè)是元數(shù)據(jù)，包括數(shù)據(jù)塊的長(zhǎng)度，塊之間的校驗(yàn)和，以及存儲(chǔ)的時(shí)間等。存儲(chǔ)在HDFS上的文件，存儲(chǔ)機(jī)制及數(shù)據(jù)安全性如何保證，主要由以下幾點(diǎn)決定：11HDFS的存儲(chǔ)機(jī)制和數(shù)據(jù)安全數(shù)據(jù)在存儲(chǔ)本身，其每塊副本存儲(chǔ)在不同的datanode節(jié)點(diǎn)之上，默認(rèn)副本數(shù)為3在datanode節(jié)點(diǎn)上默認(rèn)用按就近原則復(fù)制。現(xiàn)實(shí)環(huán)境當(dāng)datanode節(jié)點(diǎn)出現(xiàn)問(wèn)題時(shí)，根據(jù)datanode可以橫向擴(kuò)展新加上的datanode就可以從臨近節(jié)點(diǎn)的副本數(shù)，進(jìn)行數(shù)據(jù)恢復(fù)。存儲(chǔ)在HDFS上的文件，存儲(chǔ)機(jī)制及數(shù)據(jù)安全性如何保證，主要由以下幾點(diǎn)決定：12HDFS各組件的參數(shù)配置NameNode配置參數(shù)為，.dir可以單獨(dú)定制定制，參數(shù)為namenode在core-site.xml的配置文件中配置，具體目錄可以自己定制，一般在生產(chǎn)環(huán)境中可以存儲(chǔ)在一塊空的比較大的磁盤(pán)上。在hdfs格式化的時(shí)候會(huì)生成一個(gè)dfs/name/current目錄里面存放著edits與fsimage文件。NameNode元數(shù)據(jù)本地磁盤(pán)存儲(chǔ)目錄配置13HDFS各組件的參數(shù)配置Datanode配置參數(shù)為,dfs,data.dir這個(gè)參數(shù)可以配置datanode節(jié)點(diǎn)可以配置到單獨(dú)的目錄在core-site.xml現(xiàn)實(shí)環(huán)境一臺(tái)服務(wù)器做datanode節(jié)點(diǎn)，在dfs/data/current/會(huì)生成一個(gè)以本機(jī)名字生成的一個(gè)BP文件下面有一個(gè)current/finalized錄，里面很多在向hdfs上傳文件時(shí)生成的block文件。偽分布時(shí)采用