2023學(xué)年完整公開課版HDFS基礎(chǔ)（微課）_第1頁(yè)
2023學(xué)年完整公開課版HDFS基礎(chǔ)（微課）_第2頁(yè)
2023學(xué)年完整公開課版HDFS基礎(chǔ)（微課）_第3頁(yè)
2023學(xué)年完整公開課版HDFS基礎(chǔ)（微課）_第4頁(yè)
2023學(xué)年完整公開課版HDFS基礎(chǔ)（微課）_第5頁(yè)
已閱讀5頁(yè)，還剩5頁(yè)未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

HDFS基礎(chǔ)

2Hadoop簡(jiǎn)介Hadoop架構(gòu)3學(xué)習(xí)任務(wù)1.HDFS簡(jiǎn)介2.HDFS工作原理4HDFS簡(jiǎn)介HDFS是一個(gè)文件系統(tǒng)，用于存儲(chǔ)和管理文件，是分布式的。HDFS中的文件在物理上是分塊存儲(chǔ)（block），塊的大小可以通過(guò)配置參數(shù)(dfs.blocksize)來(lái)規(guī)定。HDFS文件系統(tǒng)會(huì)給客戶端提供一個(gè)統(tǒng)一的抽象目錄樹，客戶端通過(guò)路徑來(lái)訪問(wèn)文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。5HDFS工作原理Namenode是HDFS集群主節(jié)點(diǎn)。Datanode是HDFS集群從節(jié)點(diǎn)。Datanode會(huì)定期向Namenode匯報(bào)自身所保存的文件block信息，而Namenode則會(huì)負(fù)責(zé)保持文件的副本數(shù)量。6HDFS工作原理——寫數(shù)據(jù)分析客戶端要向HDFS寫數(shù)據(jù)，首先要跟Namenode通信以確認(rèn)可以寫文件并獲得接收文件block的Datanode，然后客戶端按順序?qū)⑽募饌€(gè)block傳遞給相應(yīng)Datanode，并由接收到block的Datanode負(fù)責(zé)向其他Datanode復(fù)制block的副本。7HDFS工作原理——寫數(shù)據(jù)分析HDFSClientNameNode請(qǐng)求上傳文件可以上傳上傳block1Datanode1SocketstreamDatanode2Datanode3Socketstream8HDFS工作原理——讀數(shù)據(jù)分析客戶端將要讀取的文件路徑發(fā)送給Namenode，Namenode獲取文件的元信息（主要是block的存放位置信息）返回給客戶端，客戶端根據(jù)返回的信息找到相應(yīng)Datanode，逐個(gè)獲取文件的block并在客戶端本地進(jìn)行數(shù)據(jù)追加合并從而獲得整個(gè)文件。9HDFS工作原理——讀數(shù)據(jù)分析HDFSClientNameNode請(qǐng)求讀取文件文件元信息Dat

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽，若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間，僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請(qǐng)與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論