下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、非結(jié)構(gòu)化數(shù)據(jù)存儲方案一、存儲類型體系:存儲類型體系結(jié)構(gòu)圖直接附加存儲直接附加存儲DAS塊存儲IP SAN存儲區(qū)域網(wǎng)絡(luò)SANFC SAN存儲類型網(wǎng)絡(luò)附加存儲NAS分布式文件存儲HDFS(hadoop分布式文件系統(tǒng))OpenStackSwift對象存儲ceph存儲類型體系描述SCSI/SAS FC SAN SCSI/SAS FC 協(xié)議控制和DAS SAN 兩種存儲方式。對比如下圖:應(yīng)用服務(wù)器文件系統(tǒng)JBOD應(yīng)用服務(wù)器文件系統(tǒng)JBOD應(yīng)用服務(wù)器文件系統(tǒng)光纖交換機RAIDRAID直接附加存儲 DAS直接附加存儲 DAS以主機為中心,將外部的數(shù)據(jù)存儲設(shè)備通過SISC/IDE/ATA 等I/O總線直接連接
2、到服務(wù)器上,使數(shù)據(jù)存儲設(shè)備是服務(wù)器結(jié)構(gòu)一部分。SAN采用塊數(shù)據(jù)組織,通過可不同類型的存儲設(shè)備和服務(wù) 可選擇的數(shù)據(jù)交換。NAS HDFS 兩種存儲方式。應(yīng)用服務(wù)器以太網(wǎng)交換機文件系統(tǒng)RAIDRAID應(yīng)用服務(wù)器以太網(wǎng)交換機文件系統(tǒng)RAIDRAID網(wǎng)絡(luò)附加存儲 NAS 是一種文件網(wǎng)絡(luò)存儲結(jié)構(gòu),通過以太網(wǎng)及其他標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓撲結(jié)構(gòu)將存儲設(shè)備連接到許多計算機上,建立專用于數(shù)據(jù)存儲的存儲內(nèi)部網(wǎng)絡(luò)HDFSeHDFSe r務(wù)器)e 服務(wù)器)e 服務(wù)器)e能處理來自客戶端的文件訪問射e 能管理掛載在節(jié)點上的存儲設(shè)備e 刪除和復(fù)制數(shù)據(jù)塊Key-Value這種通過鍵- NAS SAN NAS 的跨e 能管理掛載在節(jié)點
3、上的存儲設(shè)備e 刪除和復(fù)制數(shù)據(jù)塊Swift,OpenStackObjectOpenStack項目的子項目之一,被稱為對象存儲。它構(gòu)建在比較便宜的標(biāo)準(zhǔn)硬件存儲基礎(chǔ)設(shè)磁盤冗余陣列ceph,Linux PB PB 容量,提供了對多種工作負載的高性能和高可靠性。它大致分為四部分:客戶端(數(shù)據(jù)用戶,元數(shù)據(jù)服務(wù)器(緩存和同步分布式元數(shù)據(jù),一個對象存儲集群(包括數(shù)據(jù)和元數(shù)據(jù),以及最后的集群監(jiān)視器(視功能。二、非結(jié)構(gòu)化大數(shù)據(jù)分布式存儲架構(gòu)PB 場景,結(jié)合國產(chǎn)化大數(shù)據(jù)平臺特性,現(xiàn)給出兩種解決方案。第一種是 基于OpenStack swift ceph 的分布式大數(shù)據(jù)存儲方案2.1.1 openStack swi
4、ft 的大數(shù)據(jù)分布式存儲Swift 集群部署架構(gòu)圖:客client戶端PUTDATAGETDATA用戶dr 負載均衡管理器)節(jié)點1節(jié)點1Proxy Server節(jié)點2Proxy Server節(jié)點3Proxy Server節(jié)點4Proxy Server節(jié)點5Proxy ServerObjectObjectObjectObjectObjectServerServerServerServerServerContainerContainerContainerContainerContainerServerServerServerServerServerAccountAccountAccountAccountAccountServerServerServerServerServerPUTDATAGETT y,Ring 3 個不同節(jié)點中的后端來存儲文件,然后同時將該文件向這三個存儲節(jié)點發(fā)送文件。這個過程需NWR 策略,然后給用戶返回寫成功的信息。下載文件時,GET 請求ProxyRing 文件查詢到這個文件的存儲節(jié)點位置并同時向后端查詢,至少兩個節(jié)點“表示”可以ProxyServer 從中選擇一個節(jié)點下載文件。架構(gòu)關(guān)鍵技術(shù)說明:ProxyServerSwiftAPI Sw
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 產(chǎn)業(yè)園咨詢服務(wù)協(xié)議書范本
- 財務(wù)工作計劃書
- 2024年《公安基礎(chǔ)知識》標(biāo)準(zhǔn)化模擬試題庫及答案(共四套)
- 浣溪沙課件教學(xué)課件
- 小學(xué)足球課知識課件
- 日本電影史概述課件
- 西藏那曲地區(qū)(2024年-2025年小學(xué)四年級語文)統(tǒng)編版小升初真題(下學(xué)期)試卷及答案
- 1921課件教學(xué)課件
- 2024年原油降凝降粘劑項目合作計劃書
- 2024年血液灌流器項目建議書
- 中小微企業(yè)FTTR-B全光組網(wǎng)解決方案
- 牛津自然拼讀課件Phonics worldGHI
- JJG 845-2009 原棉水分測定儀
- 適用于新高考新教材備戰(zhàn)2025屆高考語文一輪總復(fù)習(xí)復(fù)習(xí)任務(wù)群2小說閱讀練案25熱點題材小說閱讀
- 高中生物說題比賽課件(2022遼寧卷第23題)
- 2 金木水火土(說課)部編版語文一年級上冊
- 沈從文名著導(dǎo)讀《月下小景》
- 腫瘤防治科普知識宣傳活動方案
- 用戶體驗行業(yè)分析
- 北師大版數(shù)學(xué)八年級上冊綜合與實踐《哪一款手機資費套餐更合適》課件
- 2022 年初中生物課程標(biāo)準(zhǔn) word 版
評論
0/150
提交評論