(完整版)非結(jié)構(gòu)化存儲方案

1、非結(jié)構(gòu)化數(shù)據(jù)存儲方案一、存儲類型體系：存儲類型體系結(jié)構(gòu)圖直接附加存儲直接附加存儲DAS塊存儲IP SAN存儲區(qū)域網(wǎng)絡(luò)SANFC SAN存儲類型網(wǎng)絡(luò)附加存儲NAS分布式文件存儲HDFS（hadoop分布式文件系統(tǒng)）OpenStackSwift對象存儲ceph存儲類型體系描述SCSI/SAS FC SAN SCSI/SAS FC 協(xié)議控制和DAS SAN 兩種存儲方式。對比如下圖：應(yīng)用服務(wù)器文件系統(tǒng)JBOD應(yīng)用服務(wù)器文件系統(tǒng)JBOD應(yīng)用服務(wù)器文件系統(tǒng)光纖交換機RAIDRAID直接附加存儲 DAS直接附加存儲 DAS以主機為中心，將外部的數(shù)據(jù)存儲設(shè)備通過SISC/IDE/ATA 等I/O總線直接連接

2、到服務(wù)器上，使數(shù)據(jù)存儲設(shè)備是服務(wù)器結(jié)構(gòu)一部分。SAN采用塊數(shù)據(jù)組織，通過可不同類型的存儲設(shè)備和服務(wù) 可選擇的數(shù)據(jù)交換。NAS HDFS 兩種存儲方式。應(yīng)用服務(wù)器以太網(wǎng)交換機文件系統(tǒng)RAIDRAID應(yīng)用服務(wù)器以太網(wǎng)交換機文件系統(tǒng)RAIDRAID網(wǎng)絡(luò)附加存儲 NAS 是一種文件網(wǎng)絡(luò)存儲結(jié)構(gòu)，通過以太網(wǎng)及其他標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓撲結(jié)構(gòu)將存儲設(shè)備連接到許多計算機上，建立專用于數(shù)據(jù)存儲的存儲內(nèi)部網(wǎng)絡(luò)HDFSeHDFSe r務(wù)器）e 服務(wù)器）e 服務(wù)器）e能處理來自客戶端的文件訪問射e 能管理掛載在節(jié)點上的存儲設(shè)備e 刪除和復(fù)制數(shù)據(jù)塊Key-Value這種通過鍵- NAS SAN NAS 的跨e 能管理掛載在節(jié)點

3、上的存儲設(shè)備e 刪除和復(fù)制數(shù)據(jù)塊Swift，OpenStackObjectOpenStack項目的子項目之一，被稱為對象存儲。它構(gòu)建在比較便宜的標(biāo)準(zhǔn)硬件存儲基礎(chǔ)設(shè)磁盤冗余陣列ceph，Linux PB PB 容量，提供了對多種工作負載的高性能和高可靠性。它大致分為四部分：客戶端（數(shù)據(jù)用戶，元數(shù)據(jù)服務(wù)器（緩存和同步分布式元數(shù)據(jù)，一個對象存儲集群（包括數(shù)據(jù)和元數(shù)據(jù)，以及最后的集群監(jiān)視器（視功能。二、非結(jié)構(gòu)化大數(shù)據(jù)分布式存儲架構(gòu)PB 場景，結(jié)合國產(chǎn)化大數(shù)據(jù)平臺特性，現(xiàn)給出兩種解決方案。第一種是 基于OpenStack swift ceph 的分布式大數(shù)據(jù)存儲方案2.1.1 openStack swi

4、ft 的大數(shù)據(jù)分布式存儲Swift 集群部署架構(gòu)圖：客client戶端PUTDATAGETDATA用戶dr 負載均衡管理器）節(jié)點1節(jié)點1Proxy Server節(jié)點2Proxy Server節(jié)點3Proxy Server節(jié)點4Proxy Server節(jié)點5Proxy ServerObjectObjectObjectObjectObjectServerServerServerServerServerContainerContainerContainerContainerContainerServerServerServerServerServerAccountAccountAccountAccountAccountServerServerServerServerServerPUTDATAGETT y，Ring 3 個不同節(jié)點中的后端來存儲文件，然后同時將該文件向這三個存儲節(jié)點發(fā)送文件。這個過程需NWR 策略，然后給用戶返回寫成功的信息。下載文件時，GET 請求ProxyRing 文件查詢到這個文件的存儲節(jié)點位置并同時向后端查詢，至少兩個節(jié)點“表示”可以ProxyServer 從中選擇一個節(jié)點下載文件。架構(gòu)關(guān)鍵技術(shù)說明：ProxyServerSwiftAPI Sw