Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)與案例實(shí)戰(zhàn)（微課版）課件 4.2HDFS相關(guān)概念

Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——HDFS體系結(jié)構(gòu)目錄content02數(shù)據(jù)節(jié)點(diǎn)塊0405第二名稱節(jié)點(diǎn)01HDFS體系結(jié)構(gòu)03名稱節(jié)點(diǎn)HDFS體系結(jié)構(gòu)HDFS的核心組件是名稱節(jié)點(diǎn)（NameNode）和數(shù)據(jù)節(jié)點(diǎn)（DataNode）。它是一個(gè)主/從（master/slave）架構(gòu)的系統(tǒng)，即一個(gè)HDFS集群由一個(gè)NameNode和若干DataNode組成。其中，名稱節(jié)點(diǎn)為主節(jié)點(diǎn)，數(shù)據(jù)節(jié)點(diǎn)為從節(jié)點(diǎn)。HDFS的體系結(jié)構(gòu)塊的概述Hadoop2.X版本默認(rèn)的塊大小為128M。塊是HDFS中的最小存儲(chǔ)單位，并且可以自定義大小。塊按實(shí)際大小存儲(chǔ)。拆分出來的塊會(huì)有它相應(yīng)的副本。塊的優(yōu)勢(shì)可以存儲(chǔ)任意大小的數(shù)據(jù)文件，不用再受單個(gè)節(jié)點(diǎn)磁盤容量大小的限制。簡化了文件存儲(chǔ)子系統(tǒng)的設(shè)計(jì)，將元數(shù)據(jù)信息和文件數(shù)據(jù)信息分開存儲(chǔ)。有利于實(shí)現(xiàn)負(fù)載均衡并提高集群可靠性。有利于實(shí)現(xiàn)分布式文件系統(tǒng)的容錯(cuò)性。名稱節(jié)點(diǎn)概述名稱節(jié)點(diǎn)是整個(gè)HDFS集群的管家，名稱節(jié)點(diǎn)上存儲(chǔ)的元數(shù)據(jù)信息包括：數(shù)據(jù)塊到數(shù)據(jù)節(jié)點(diǎn)的映射信息。每個(gè)文件由哪些數(shù)據(jù)塊組成。文件目錄的所有者及其權(quán)限。文件名、目錄名及其層級(jí)關(guān)系。名稱節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)元數(shù)據(jù)信息可被持久化到本地磁盤的兩個(gè)文件中，分別是元數(shù)據(jù)鏡像文件（fsimage）和事務(wù)日志文件(edits）。fsimage存儲(chǔ)著文件系統(tǒng)的所有命名空間信息。edits存儲(chǔ)著HDFS數(shù)據(jù)的事務(wù)操作日志。名稱節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)所謂的持久化，就是指把數(shù)據(jù)保存到可永久保存存儲(chǔ)設(shè)備（如磁盤）中。數(shù)據(jù)節(jié)點(diǎn)概述每個(gè)數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)會(huì)被保存在各自節(jié)點(diǎn)的本地Linux文件系統(tǒng)中。負(fù)責(zé)為客戶端或名稱節(jié)點(diǎn)提供數(shù)據(jù)的檢索和讀寫服務(wù)，并通過“心跳”定期向名稱節(jié)點(diǎn)發(fā)送自己的塊列表信息。存儲(chǔ)著HDFS文件的真實(shí)數(shù)據(jù)，負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)和讀取第二名稱節(jié)點(diǎn)因?yàn)槭聞?wù)日志文件（edits）開始比較小，但隨著對(duì)數(shù)據(jù)的不斷修改，事務(wù)日志文件（edits）會(huì)不斷增大，大到一定程度的時(shí)候，又會(huì)影響整個(gè)系統(tǒng)的功能，由此引入第二名稱節(jié)點(diǎn)。1.對(duì)元數(shù)據(jù)鏡像文件（fsimage）和事務(wù)日志文件（edits）定期合并，縮短名稱節(jié)點(diǎn)（NameNode）的重啟時(shí)間，提高系統(tǒng)性能。2.是名稱節(jié)點(diǎn)的冷備份，因?yàn)槊Q節(jié)點(diǎn)有可能發(fā)生故障。為什么又引入第二名稱節(jié)點(diǎn)？第二名稱節(jié)點(diǎn)的功能：本節(jié)小結(jié)負(fù)責(zé)管理整個(gè)文件