2023學(xué)年完整公開課版HDFS高可靠性

HDFS高可靠性目錄Colocation同分布Colocation同分布效果圖2Hdfs支持接口Hdfs設(shè)計(jì)要點(diǎn)Colocation同分布同分布(Colocation)的定義：將存在關(guān)聯(lián)關(guān)系的數(shù)據(jù)或可能要進(jìn)行關(guān)聯(lián)操作的數(shù)據(jù)存儲在相同的存儲節(jié)點(diǎn)上。NameNode元數(shù)據(jù)DataNode數(shù)據(jù)文件被切分成大小相同的塊，并存儲在不同的數(shù)據(jù)節(jié)點(diǎn)上。為確保文件塊的容錯(cuò)性，同時(shí)提供更快的數(shù)據(jù)讀取，默認(rèn)每個(gè)數(shù)據(jù)塊有3個(gè)副本，且分布在不同的存儲節(jié)點(diǎn)DN上。本圖中，有6個(gè)數(shù)據(jù)節(jié)點(diǎn)，由這6個(gè)數(shù)據(jù)節(jié)點(diǎn)組成的分布式文件系統(tǒng)中，存儲了4個(gè)文件，每個(gè)文件有3個(gè)副本。按照上圖存放，假設(shè)要將文件A和文件D進(jìn)行關(guān)聯(lián)操作，此時(shí)不可避免地要進(jìn)行大量的數(shù)據(jù)搬遷，整個(gè)集群將由于數(shù)據(jù)傳輸占據(jù)大量網(wǎng)絡(luò)帶寬，嚴(yán)重影響大數(shù)據(jù)的處理速度與系統(tǒng)性能。Colocation同分布效果圖打個(gè)比方：如果人們居住的地方和上班的地方都在同一個(gè)地方，那么城市的交通就不會像今天這么擁堵了。HDFS文件同分布的特性，將那些需進(jìn)行關(guān)聯(lián)操作的文件存放在相同數(shù)據(jù)節(jié)點(diǎn)上，在進(jìn)行關(guān)聯(lián)操作計(jì)算時(shí)避免了到其他的數(shù)據(jù)節(jié)點(diǎn)上獲取數(shù)據(jù)，大大降低網(wǎng)絡(luò)帶寬的占用。假設(shè)文件A和文件D相關(guān)聯(lián)，則將它們的數(shù)據(jù)塊存儲在相同的數(shù)據(jù)節(jié)點(diǎn)1、2、6上。Hadoop實(shí)現(xiàn)文件級同分布，即存在相關(guān)聯(lián)的多個(gè)文件的所有塊都分布在同一存儲節(jié)點(diǎn)上。文件級同分布實(shí)現(xiàn)文件的快速訪問，避免了因數(shù)據(jù)搬遷帶來的大量網(wǎng)絡(luò)開銷。HDFS架構(gòu)其他關(guān)鍵設(shè)計(jì)要點(diǎn)說明統(tǒng)一的文件系統(tǒng)：HDFS對外僅呈現(xiàn)一個(gè)統(tǒng)一的文件系統(tǒng)。統(tǒng)一的通訊協(xié)議：統(tǒng)一采用RPC方式通信。NameNode被動(dòng)的接收Client,DataNode的RPC請求。空間回收機(jī)制：支持回收站機(jī)制，以及副本數(shù)的動(dòng)態(tài)設(shè)置機(jī)制。數(shù)據(jù)組織：數(shù)據(jù)存儲以數(shù)據(jù)塊為單位，存儲在操作系統(tǒng)的HDFS文件系統(tǒng)上。訪問方式：提供JAVAAPI，HTTP方式，SHELL方式訪問HDFS數(shù)據(jù)。HDFS支持接口接口類別接口舉例接口說明JAVAmkdirs(Pathf)通過該接口可在HDFS上創(chuàng)建文件夾，其中f為文件夾的完整路徑。create(Pathf)通過該接口可在HDFS上創(chuàng)建文件，其中f為文件的完整路徑。HTTPcurl-L--negotiate-u:"http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN"打開并讀取HDFS文件內(nèi)容。curl-i-XDELETE--negotiate-u:"http://<host>:<port>/webhdfs/v1/<path>?op=DELETE"刪除指定的文件。SHELLhdfsdfs[COMMAND[COMMAND_OPTIONS]]在HDFS文件系統(tǒng)上運(yùn)行filesys