非結(jié)構(gòu)化存儲(chǔ)方案

1、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方案一、存儲(chǔ)類型體系：1.1 存儲(chǔ)類型體系結(jié)構(gòu)圖1.2 存儲(chǔ)類型體系描述（1） 塊存儲(chǔ)：將存儲(chǔ)區(qū)域劃分為固定大小的小塊，是傳統(tǒng)裸存設(shè)備的存儲(chǔ)空間對(duì)外暴露方式。塊存儲(chǔ)系統(tǒng)將大量磁盤設(shè)備通過(guò)SCSI/SAS或FC SAN與存儲(chǔ)服務(wù)器連接，服務(wù)器直接通過(guò)SCSI/SAS或FC協(xié)議控制和訪問(wèn)數(shù)據(jù)。主要包括DAS和SAN兩種存儲(chǔ)方式。對(duì)比如下圖：（2） 分布式文件存儲(chǔ)：文件存儲(chǔ)以標(biāo)準(zhǔn)文件系統(tǒng)接口形式向應(yīng)用系統(tǒng)提供海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)空間。分布式文件系統(tǒng)把分布在局域網(wǎng)內(nèi)各個(gè)計(jì)算機(jī)上的共享文件夾集合成一個(gè)虛擬共享文件夾，將整個(gè)分布式文件資源以統(tǒng)一的視圖呈現(xiàn)給用戶。它對(duì)用戶和應(yīng)用程序屏蔽各個(gè)節(jié)

2、點(diǎn)計(jì)算機(jī)底層文件系統(tǒng)的差異，提供用戶方便的管理資源的手段和統(tǒng)一的訪問(wèn)接口。主要包括NAS和HDFS兩種存儲(chǔ)方式。a) 網(wǎng)絡(luò)附加存儲(chǔ)NAS結(jié)構(gòu)如圖：b) HDFS分布式文件系統(tǒng)存儲(chǔ)結(jié)構(gòu)如圖：（3） 對(duì)象存儲(chǔ)：對(duì)象存儲(chǔ)為海量非結(jié)構(gòu)化數(shù)據(jù)提供Key-Value這種通過(guò)鍵-值查找數(shù)據(jù)文件的存儲(chǔ)模式，提供了基于對(duì)象的訪問(wèn)接口，有效地合并了NAS和SAN的存儲(chǔ)結(jié)構(gòu)優(yōu)勢(shì)，通過(guò)高層次的抽象具有NAS的跨平臺(tái)共享數(shù)據(jù)優(yōu)點(diǎn)，支持直接訪問(wèn)具有SAN的高性能和交換網(wǎng)絡(luò)結(jié)構(gòu)的可伸縮性。主要包括swift和ceph兩種實(shí)現(xiàn)形式。a) Swift，OpenStack Object Storage（Swift）是OpenSt

3、ack項(xiàng)目的子項(xiàng)目之一，被稱為對(duì)象存儲(chǔ)。它構(gòu)建在比較便宜的標(biāo)準(zhǔn)硬件存儲(chǔ)基礎(chǔ)設(shè)施之上，無(wú)需采用RAID（磁盤冗余陣列），通過(guò)在軟件層面引入一致性散列技術(shù)和數(shù)據(jù)冗余性，犧牲一定程度的數(shù)據(jù)一致性來(lái)達(dá)到高可用性和可伸縮性，支持多租戶模式、容器和對(duì)象讀寫(xiě)操作，適合解決非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)問(wèn)題。b) ceph，Linux下PB級(jí)分布式文件系統(tǒng)，可輕松擴(kuò)展PB容量，提供了對(duì)多種工作負(fù)載的高性能和高可靠性。它大致分為四部分：客戶端（數(shù)據(jù)用戶），元數(shù)據(jù)服務(wù)器（緩存和同步分布式元數(shù)據(jù)），一個(gè)對(duì)象存儲(chǔ)集群（包括數(shù)據(jù)和元數(shù)據(jù)），以及最后的集群監(jiān)視器（執(zhí)行監(jiān)視功能）。二、非結(jié)構(gòu)化大數(shù)據(jù)分布式存儲(chǔ)架構(gòu)非結(jié)構(gòu)化PB級(jí)大數(shù)據(jù)分布

4、式存儲(chǔ)架構(gòu)，相對(duì)于其各自存儲(chǔ)結(jié)構(gòu)及不同應(yīng)用場(chǎng)景，結(jié)合國(guó)產(chǎn)化大數(shù)據(jù)平臺(tái)特性，現(xiàn)給出兩種解決方案。第一種是基于OpenStack子項(xiàng)目swift的分布式大數(shù)據(jù)存儲(chǔ)方案，另一種是基于ceph的分布式大數(shù)據(jù)存儲(chǔ)方案基于openStack子項(xiàng)目swift的大數(shù)據(jù)分布式存儲(chǔ)a) Swift集群部署架構(gòu)圖：b) 實(shí)現(xiàn)原理：用戶上傳文件PUT DATA和下載文件GET DATA，分別請(qǐng)求同一個(gè)對(duì)象。上傳文件時(shí)，PUT請(qǐng)求通過(guò)負(fù)載均衡管理器隨即挑選一臺(tái)Proxy Server，將請(qǐng)求轉(zhuǎn)發(fā)給后者，后者通過(guò)查詢本地Ring文件，選擇3個(gè)不同節(jié)點(diǎn)中的后端來(lái)存儲(chǔ)文件，然后同時(shí)將該文件向這三個(gè)存儲(chǔ)節(jié)點(diǎn)發(fā)送文件。這個(gè)過(guò)程需要滿足NWR策略，然后給用戶返回寫(xiě)成功的信息。下載文件時(shí)，GET請(qǐng)求也通過(guò)負(fù)載均衡管理器隨機(jī)挑選一臺(tái)Proxy Server，后者上的Ring文件查詢到這個(gè)文件的存儲(chǔ)節(jié)點(diǎn)位置并同時(shí)向后端查詢，至少兩個(gè)節(jié)點(diǎn)“表示”可以提供該文件，然后Proxy Server從中選擇一個(gè)節(jié)點(diǎn)下載文件。c) 架構(gòu)關(guān)鍵技術(shù)說(shuō)明：Ø Proxy Server：是提供Swift API的服務(wù)器進(jìn)程，負(fù)責(zé)Swift其余組件間的相互通信。Ø Storage Server：提供了磁