Gluster FS分布式文件系統(tǒng)

1、 Gluster FS分布式文件系統(tǒng) 在大數(shù)據(jù)、互聯(lián)網(wǎng)和云計(jì)算時(shí)代，分布式文件系統(tǒng)得到迅速發(fā)展，在每個(gè)行業(yè)都有至少一款被青睞文件系統(tǒng)，如HPC中的GPFS、Lustre，媒資行業(yè)的StroNext，大數(shù)據(jù)中的HDFS、Google FS，商用SDS的后起之秀Ceph FS等等，它們都繼承了SDS的傳統(tǒng)，采用商用X86硬件部署，支持Scale Out擴(kuò)展，提供豐富服務(wù)接口滿足不同場(chǎng)景的應(yīng)用需求。 今天我們討論下來(lái)自遵循GNU開源文件系統(tǒng)GlusterFS，它具備是Scale-Out能力， 通過(guò)擴(kuò)展能夠支持?jǐn)?shù)PB存儲(chǔ)容量和處理數(shù)千客戶端。 支持X86部署，支持文件和Block服務(wù)?；趶椥訦ash

2、算法管理數(shù)據(jù)， GlusterFS和Ceph一樣被RadHat所收購(gòu)。GlusterFS支持IP或InfiniBand RDMA網(wǎng)絡(luò)將物理分布的存儲(chǔ)資源聚集在一起，使用單一全局命名空間來(lái)管理數(shù)據(jù)。 GlusterFS架構(gòu)簡(jiǎn)介 Gluster FS由Brick Server、Client和NAS網(wǎng)關(guān)組成(用來(lái)訪問(wèn)存儲(chǔ)服務(wù)，但是Client只支持Linux，其他系統(tǒng)需要NAS網(wǎng)關(guān)提供存儲(chǔ)服務(wù))，三者可以部署到同一個(gè)物理服務(wù)器上。NAS網(wǎng)關(guān)通過(guò)啟動(dòng)GLFS Client提供存儲(chǔ)服務(wù)。每個(gè)文件通過(guò)一定策略分不到不同的Brick Server上，每個(gè)Brick Server通過(guò)運(yùn)行不同進(jìn)程處理數(shù)據(jù)請(qǐng)求，

3、文件以原始格式以EXT、XFS和ZFS文件系統(tǒng)的保存在本地。 卷(Block)通過(guò)位于Client或NAS網(wǎng)關(guān)上的卷管理器來(lái)提供服務(wù)，由卷管理器管理集群中的多個(gè)Brick Server。存儲(chǔ)節(jié)點(diǎn)(Brick Server)對(duì)外提供的服務(wù)目錄稱作Brick，一個(gè)Brick對(duì)應(yīng)一個(gè)本地文件系統(tǒng)，Gluster FS以Brick為單位管理存儲(chǔ)。 GlusterFS采用模塊化、堆棧式的架構(gòu)，可通過(guò)靈活的配置支持高度定制化的應(yīng)用環(huán)境，比如大文件存儲(chǔ)、海量小文件存儲(chǔ)、云存儲(chǔ)、多傳輸協(xié)議應(yīng)用等。每個(gè)功能以模塊形式實(shí)現(xiàn)，然后以積木方式進(jìn)行簡(jiǎn)單的組合，即可實(shí)現(xiàn)復(fù)雜的功能。比如，Replicate模塊可實(shí)現(xiàn)RAI

4、D1，Stripe模塊可實(shí)現(xiàn)RAID0，通過(guò)兩者的組合可實(shí)現(xiàn)RAID10和RAID01，同時(shí)獲得高性能和高可靠性。 各個(gè)功能模塊就是一個(gè)Xlator(translator)，不同的xlator在初始化后形成樹，每個(gè)xlator為這棵樹中的節(jié)點(diǎn)動(dòng)態(tài)加載，同一個(gè)xlaror可以同時(shí)在Client/Brick Server上加載。 GlusterFS擴(kuò)展性和高性能 GlusterFS利用雙重特性來(lái)提供幾TB至數(shù)PB的高擴(kuò)展存儲(chǔ)解決方案。Scale-Out架構(gòu)允許通過(guò)簡(jiǎn)單地增加資源來(lái)提高存儲(chǔ)容量和性能，磁盤、計(jì)算和I/O資源都可以獨(dú)立增加，支持10GbE和InfiniBand等高速網(wǎng)絡(luò)互聯(lián)。Glust

5、er彈性哈希解除了GlusterFS對(duì)元數(shù)據(jù)服務(wù)器的需求，消除了單點(diǎn)故障和性能瓶頸，真正實(shí)現(xiàn)了并行化數(shù)據(jù)訪問(wèn)。 GlusterFS高可用性 GlusterFS可以對(duì)文件進(jìn)行自動(dòng)復(fù)制，如鏡像或多次復(fù)制，從而確保數(shù)據(jù)總是可以訪問(wèn)，甚至是在硬件故障的情況下也能正常訪問(wèn)。自我修復(fù)功能能夠把數(shù)據(jù)恢復(fù)到正確的狀態(tài)，而且修復(fù)是以增量的方式在后臺(tái)執(zhí)行，幾乎不會(huì)產(chǎn)生性能負(fù)載。GlusterFS沒(méi)有設(shè)計(jì)自己的私有數(shù)據(jù)文件格式，而是采用操作系統(tǒng)中主流標(biāo)準(zhǔn)的磁盤文件系統(tǒng)(如EXT、XFS和ZFS)來(lái)存儲(chǔ)文件，因此數(shù)據(jù)可以使用各種標(biāo)準(zhǔn)工具進(jìn)行復(fù)制和訪問(wèn)。 GlusterFS全局統(tǒng)一命名空間 全局統(tǒng)一命名空間將磁盤和內(nèi)存

6、資源聚集成一個(gè)單一的虛擬存儲(chǔ)池，對(duì)上層用戶和應(yīng)用屏蔽了底層的物理硬件。存儲(chǔ)資源可以根據(jù)需要在虛擬存儲(chǔ)池中進(jìn)行彈性擴(kuò)展，比如擴(kuò)容或收縮。當(dāng)存儲(chǔ)虛擬機(jī)映像時(shí)，存儲(chǔ)的虛擬映像文件沒(méi)有數(shù)量限制，成千虛擬機(jī)均通過(guò)單一掛載點(diǎn)進(jìn)行數(shù)據(jù)共享。虛擬機(jī)I/O可在命名空間內(nèi)的所有服務(wù)器上自動(dòng)進(jìn)行負(fù)載均衡，消除了SAN環(huán)境中經(jīng)常發(fā)生的訪問(wèn)熱點(diǎn)和性能瓶頸問(wèn)題。GlusterFS數(shù)據(jù)卷管理 邏輯卷可以從虛擬化的物理存儲(chǔ)池進(jìn)行獨(dú)立邏輯劃分而得到。存儲(chǔ)服務(wù)器可以在線進(jìn)行卷的增加和移除，不會(huì)導(dǎo)致應(yīng)用中斷。這些操作都可在線進(jìn)行。文件系統(tǒng)配置更改也可以實(shí)時(shí)在線進(jìn)行并應(yīng)用，從而可以適應(yīng)工作負(fù)載條件變化或在線性能調(diào)優(yōu)。支持對(duì)卷進(jìn)行快照

7、操作，快照位于卷的根目錄Snap/目錄下面，用戶可以直接訪問(wèn)。 GlusterFS豐富的服務(wù)協(xié)議 Gluster存儲(chǔ)服務(wù)支持NFS, CIFS, HTTP, FTP以及Gluster原生協(xié)議(私有協(xié)議)，完全與POSIX標(biāo)準(zhǔn)兼容。 這在公有云環(huán)境中部署Gluster時(shí)非常有用，Gluster對(duì)云服務(wù)提供商專用API進(jìn)行抽象，然后提供標(biāo)準(zhǔn)POSIX接口。 Gluster FS讀寫IO流 在客戶端應(yīng)用程序側(cè)，用戶通過(guò)GlusterFs的mount point 來(lái)讀寫數(shù)據(jù)，用戶的這個(gè)操作被轉(zhuǎn)化成系統(tǒng)調(diào)用遞交給本地linux系統(tǒng)的VFS來(lái)處理。VFS 將數(shù)據(jù)遞交給FUSE內(nèi)核處理（在啟動(dòng) Gluste

8、rFs 客戶端以前，需要注冊(cè)一個(gè)實(shí)際的文件系統(tǒng)FUSE，該文件系統(tǒng)與ext3在同一個(gè)層次）, 而FUSE文件系統(tǒng)則是將數(shù)據(jù)通過(guò)/dev/fuse 這個(gè)設(shè)備文件遞交給了GlusterFs client端。實(shí)際上 FUSE文件系統(tǒng)理解為一個(gè)代理。 數(shù)據(jù)被FUSE遞交給GlusterFs client 后，GlusterFs client 對(duì)數(shù)據(jù)進(jìn)行一些指定的處理（按照client 配置文件據(jù)來(lái)進(jìn)行的一系列處理），通過(guò)GlusterFs client的處理之后，通過(guò)網(wǎng)絡(luò)將數(shù)據(jù)遞交給 Glusterfs Server，并且將數(shù)據(jù)寫入到服務(wù)器所控制的存儲(chǔ)設(shè)備上，完成整個(gè)數(shù)據(jù)流的處理。 GlusterFS彈性哈希算法 GlusterFS采用彈性哈希算法(文件采用EC跨節(jié)點(diǎn)切片)在存儲(chǔ)池中定位數(shù)據(jù)，而不是采用集中式