分布式文件系統(tǒng)HDFS架構(gòu)

分布式文件系統(tǒng)HDFS架構(gòu)目錄Hdfs定義系統(tǒng)設(shè)計目標(biāo)2基本系統(tǒng)架構(gòu)

分布式文件系統(tǒng)HDFS定義Hadoop是一個基于JAVA的支持?jǐn)?shù)據(jù)密集型分布式應(yīng)用的分布式文件系統(tǒng)。不僅僅是一個用于存儲的分布式文件系統(tǒng)，而是設(shè)計用來在由通用計算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架。它能夠保證應(yīng)用可以在上千個低成本商用硬件存儲結(jié)點(diǎn)上處理PB級的數(shù)據(jù)。Hadoop是Apache開源項(xiàng)目，Yahoo支持這個項(xiàng)目并在自己的web搜索和商業(yè)廣告業(yè)務(wù)上使用它。Hadoop開發(fā)類似于Google的MapReduce和Google文件系統(tǒng)的技術(shù)。系統(tǒng)設(shè)計目標(biāo)1硬件失效硬件的異常比軟件的異常更加常見。對于有上百臺服務(wù)器的數(shù)據(jù)中心來說，認(rèn)為總有服務(wù)器異常，硬件異常是常態(tài)。HDFS需要監(jiān)測這些異常，并自動恢復(fù)數(shù)據(jù)。流式數(shù)據(jù)訪問基于HDFS的應(yīng)用僅采用流式方式讀數(shù)據(jù)。運(yùn)行在HDFS上的應(yīng)用并非以通用業(yè)務(wù)為目的的應(yīng)用程序。應(yīng)用程序關(guān)注的是吞吐量，而非響應(yīng)時間。非POSIX標(biāo)準(zhǔn)接口的數(shù)據(jù)訪問。存儲數(shù)據(jù)大運(yùn)行在HDFS的應(yīng)用程序有較大的數(shù)據(jù)需要處理。典型的文件大小為GB到TB級別。系統(tǒng)設(shè)計目標(biāo)2數(shù)據(jù)一致性應(yīng)用程序采用WORM（WriteOnceReadMany）的數(shù)據(jù)讀寫模型。文件僅支持追加，而不允許修改。多硬件平臺HDFS可運(yùn)行在不同的硬件平臺上。移動計算能力計算和存儲采用就近原則，計算離數(shù)據(jù)最近。就近原則將有效減少網(wǎng)絡(luò)的負(fù)載，降低網(wǎng)絡(luò)擁塞?；鞠到y(tǒng)架構(gòu)HDFS架構(gòu)包含三個部分：NameNode，DataNode，ClientNameNode：NameNode用于存儲、生成文件系統(tǒng)的元數(shù)據(jù)。運(yùn)行一個實(shí)例。DataNode：DataNode用于存儲實(shí)際的數(shù)據(jù)，將自己管理的數(shù)據(jù)塊上報給NameNode

，運(yùn)行多個實(shí)例。Client：支持業(yè)務(wù)訪問HDFS，從Name