推薦案例第三天1.2分布式存儲(chǔ)系統(tǒng)_第1頁(yè)
推薦案例第三天1.2分布式存儲(chǔ)系統(tǒng)_第2頁(yè)
推薦案例第三天1.2分布式存儲(chǔ)系統(tǒng)_第3頁(yè)
推薦案例第三天1.2分布式存儲(chǔ)系統(tǒng)_第4頁(yè)
推薦案例第三天1.2分布式存儲(chǔ)系統(tǒng)_第5頁(yè)
已閱讀5頁(yè)，還剩36頁(yè)未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

分布 系主要內(nèi)用戶行為系 架主要內(nèi)用戶行為系 架概用戶行為數(shù) 基本要可擴(kuò)展容錯(cuò)HadoopDistributedFile離線數(shù) 系統(tǒng)，支持PB級(jí)數(shù)實(shí)時(shí)結(jié)構(gòu)化數(shù) ，支持PB級(jí)數(shù)據(jù)規(guī)構(gòu)建在HDFS之上，將文 在HDFS主要內(nèi)用戶行為系 架HDFS是什么源自 的于2003年10HDFS是GFS克隆HadoopDistributedFile運(yùn)行在大量普通廉價(jià)機(jī)器上，提供容錯(cuò)HDFS優(yōu)高容副本丟失后，自動(dòng)恢?jǐn)?shù)據(jù)位 給計(jì)算框GB、TB、甚至PB級(jí)數(shù)10K+節(jié)點(diǎn)規(guī)HDFS優(yōu)寫(xiě)入，多HDFS缺比如毫占用NameNode大量?jī)?nèi)尋道時(shí)間超 時(shí)僅支持50

HDFSHDFS

HDFSHDFSActive

Standby當(dāng)ActiveHDFS架

文件切Fsimage與NameNode兩個(gè)重要fsimage：元數(shù)據(jù)鏡像文件（保存文件系統(tǒng) 樹(shù) 系統(tǒng)中，比如NFS、JournalNode元數(shù)據(jù)鏡內(nèi)存中保存一 內(nèi)存中的鏡像合并fsimage與Edits文件過(guò)大將導(dǎo)致NameNode重啟速度StandbyNamenodeHDFS數(shù)據(jù)塊默認(rèn)數(shù)據(jù)塊大小為64MB，可配若文件大小不到64MB，則單獨(dú)存成一個(gè)數(shù)據(jù)傳輸時(shí)間超過(guò)尋道時(shí)間（高吞吐率一個(gè)文 方 默認(rèn)情況下每個(gè)block有三個(gè)副HDFS內(nèi)部機(jī)制HDFS內(nèi)部機(jī)制—HDFS內(nèi)部機(jī)制HDFS內(nèi)部機(jī)制—讀HDFS內(nèi)部機(jī)制—物理拓

每個(gè)機(jī)架通常有16-64HDFS內(nèi)部機(jī)制—副本放置策問(wèn)題擇節(jié)點(diǎn)這幾份數(shù)據(jù)？Block副本1: 的節(jié)點(diǎn)副本2:其他副本:隨機(jī)挑

HDFS內(nèi)部機(jī)制—可靠性策 ?文件完整的 –CRC32校的 –Datanode定期向 NameNode掛況 ?元數(shù)據(jù)NameNode掛況NameNodeFSImage（文件系統(tǒng)鏡像）NameNodeEditlog（操作日志多主備NameNode實(shí)時(shí)切主要內(nèi)用戶行為系 架HBase是什么HBase是ApacheHadoop生態(tài)系統(tǒng)中的重要 Hbase地 HBase與HBase與HDFSHBase表的特大：一個(gè)表可以有數(shù)十億行，上百萬(wàn)列面向列：面向列（族）的和權(quán)限控制，列（族）獨(dú)立 數(shù)據(jù)類型單一：Hbase中的數(shù)據(jù)都是字符串，沒(méi)有類型HBase數(shù)據(jù)模 ColumnRow HBaseHBase每一行與每個(gè)columnfamily由一個(gè)或者ColumnHBase基本名稱為“Contents”的column 名稱為“anchor”的columnRowRow"contents:Column"anchor:"com.apacw""<html>…"<html>…名稱為"anchor:"APACHE n.www m"CNNca"CNN.com"<html>…"<html>…"<html>…ByteColumn擁有一個(gè)名稱每一行有一個(gè)版RowRow"contents:Column"anchor:"com.apacw""<html>…"<html>…"anchor:"APACHE n.www "CNN"anchor:my.look.ca"CNN.com"<html>…"<html>…"<html>…每個(gè)rowkey默認(rèn)值?系統(tǒng)時(shí)間類型為ValueByteHBaseschema可以有多個(gè)每個(gè)表可由多個(gè)ColumnFamilyHBaseDynamicColumn（不屬于schema的RowKey是主HBaseHBaseHBaseHBaseHBase基本?包 HBase的接口， cache來(lái)加快對(duì)HBase保證任何時(shí)候，集群中只有一個(gè)存貯所有Region的尋實(shí) Regionserver的上線和下線信息。并實(shí)時(shí)通知給HBase的schema和table元數(shù)為Regionserver分配負(fù)責(zé)Regionserver的負(fù)載均發(fā)現(xiàn)失效的Regionserver并重新分配其上的管理用戶對(duì)table的增刪改查操RegionRegion region，處理對(duì)這些region的IO請(qǐng)Regionserver負(fù)責(zé)切分在運(yùn)行過(guò)程中變得過(guò)大的HDFS與HDFS與HBase主要內(nèi)用戶行為系 架用戶行為系 架

用戶行 系數(shù)

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽，若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間，僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請(qǐng)與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論