大數(shù)據(jù)基礎(chǔ) 課件3-2 HDFS工作原理

浙江經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院儲(chǔ)與計(jì)算大數(shù)據(jù)存大數(shù)據(jù)基礎(chǔ)Unit3《大數(shù)據(jù)基礎(chǔ)》.移動(dòng)商務(wù)營(yíng)銷課程群3.1.1分布式存儲(chǔ)概述3.1.2HDFS工作原理3.1.3HDFS基礎(chǔ)命令3.1分布式存儲(chǔ)3.1.2HDFS工作原理2003年至2006年，Google發(fā)布了著名的三大論文，分別是：2003年發(fā)布的分布式文件系統(tǒng)GoogleFileSystem，2004年發(fā)布的分布式并行計(jì)算框架MapReduce，2006年發(fā)布的大型的分布式數(shù)據(jù)庫Bigtable。

以三大論文為基礎(chǔ)，演化出了開源項(xiàng)目Hadoop，Hadoop的核心是分布式文件存儲(chǔ)系統(tǒng)HDFS和分布式并行計(jì)算框架MapReduce。3.1.2HDFS工作原理1HDFS概述

HDFS（HadoopDistributedFileSystem）HDFS全稱Hadoop分布式文件系統(tǒng)，是由Google在2003年發(fā)布的分布式文件系統(tǒng)GoogleFileSystem論文基礎(chǔ)上演化而來的開源版本。HDFS是Hadoop生態(tài)系統(tǒng)中非常重要的一環(huán)，它為管理大數(shù)據(jù)資源池和支撐相關(guān)大數(shù)據(jù)分析應(yīng)用提供了一個(gè)具有高可靠性的工具。

3.1.2HDFS工作原理1HDFS概述

HDFS的優(yōu)缺點(diǎn)

HDFS的優(yōu)點(diǎn)：高容錯(cuò)性，數(shù)據(jù)自動(dòng)保存多份；被設(shè)計(jì)為能夠部署在低廉的硬件上；提供高吞吐量來訪問應(yīng)用程序的數(shù)據(jù)，適合處理大數(shù)據(jù)；流式文件訪問，允許一次寫入，多次讀取；適合進(jìn)行批處理。HDFS的缺點(diǎn)：不善于處理低延遲數(shù)據(jù)訪問；不善于處理小文件存??；不支持并發(fā)寫入，一個(gè)文件同時(shí)只能被一個(gè)寫入者修改。3.1.2HDFS工作原理2HDFS中的基礎(chǔ)概念HDFS中的存儲(chǔ)單元是數(shù)據(jù)塊，它的默認(rèn)大小是64M，也就是HDFS中的文件是被分成一塊塊的64M的數(shù)據(jù)塊存儲(chǔ)的。數(shù)據(jù)塊（Block）維護(hù)著文件系統(tǒng)樹及整棵樹內(nèi)所有的文件和目錄，并以兩個(gè)文件形式永久保存在本地磁盤上：命名空間鏡像和編輯日志。該節(jié)點(diǎn)也記錄著每個(gè)文件中各個(gè)數(shù)據(jù)塊所在的數(shù)據(jù)節(jié)點(diǎn)信息。元數(shù)據(jù)節(jié)點(diǎn)（NameNode）是真正存儲(chǔ)數(shù)據(jù)的地方?？蛻舳耍╟lient）和元數(shù)據(jù)節(jié)點(diǎn)可以向數(shù)據(jù)節(jié)點(diǎn)請(qǐng)求寫入或者讀出數(shù)據(jù)塊。該節(jié)點(diǎn)也需要周期性的向元數(shù)據(jù)節(jié)點(diǎn)匯報(bào)其存儲(chǔ)的數(shù)據(jù)塊信息。數(shù)據(jù)節(jié)點(diǎn)（DataNode）主要功能是周期性的將元數(shù)據(jù)節(jié)點(diǎn)的命名空間鏡像和編輯日志合并，以防日志文件過大；合并后的命名空間鏡像也會(huì)在該節(jié)點(diǎn)保存一份。從元數(shù)據(jù)節(jié)點(diǎn)（SecondaryNameNode）3.1.2HDFS工作原理3HDFS中文件寫入操作流程客戶端（HDFSClient）元數(shù)據(jù)節(jié)點(diǎn)（NameNode）數(shù)據(jù)節(jié)點(diǎn)（DataNode）3.1.2HDFS工作原理4HDFS中文件讀取操作流程客戶端（HDFSClient）元數(shù)據(jù)節(jié)