國內(nèi)存儲中科藍鯨bwfs技術(shù)白皮書

結(jié)構(gòu)，然后設(shè)定一定的權(quán)限，之后在 在一個或多個磁盤上，這些磁盤可能是服務(wù)器內(nèi)部的物理磁盤，也可能是來自FCSAN或IPSAN的LUN。接。2、導致一些應用無法有效運行：因為許多應用需要多臺甚至是大量服務(wù)器并行或協(xié)作處理，如果這種情況下，傳統(tǒng)的做法是讓環(huán)境中的一臺服務(wù)器使用網(wǎng)絡(luò)文件系統(tǒng)協(xié)議，如NFS(Linux/UNIX)或器中使用的文件共享協(xié)議，NFS和CIFS的特點是實現(xiàn)和部署成本較低（已經(jīng)出現(xiàn)了幾十年，有成開源代碼實現(xiàn)，基于IP網(wǎng)絡(luò)部署），性能不高（在千兆以太網(wǎng)鏈，NFS通常在70MB/s，CIFS在40MB/s左右），可以滿足普通辦公環(huán)境文檔共享的需求。但對于容量巨大，需要低延時，高IO吞吐量的應用共享文件系統(tǒng)要充分利用主機端的程序，使之能夠盡量快速地直接地后端的磁盤陣列。這就需要共享文件系統(tǒng)具有創(chuàng)新的體系結(jié)構(gòu)，因為傳統(tǒng)的共享文件系統(tǒng)，如：NFSCIFS都是所有的客戶端集中的NFS/CIFSServer（NAS設(shè)備/文件服務(wù)器），然后由該文件服務(wù)器將IO請求轉(zhuǎn)發(fā)給磁盤陣的對外帶寬和IO能力也難以和后端的磁盤陣列匹配（典型的例子：1Gx2vs.4Gx4），導致文件服務(wù)需要共享文件系統(tǒng)具有創(chuàng)新的體系結(jié)構(gòu)，因為傳統(tǒng)的共享文件系統(tǒng)，如：NFS和CIFS都是串行量和IO性能逐年增長已經(jīng)成為必然需求。64位文件系統(tǒng)EXFS模塊：如上圖所示MDC上的基礎(chǔ)模塊為EXFS文件系統(tǒng)，EXFS是一獨立卷管理模塊的文件系統(tǒng)，支持管理底層最多4096個Lun，而且支持擴容，可以向?qū)奈募到y(tǒng)BWFSLayoutDaemon模塊：圍繞EXFS這個模塊，還要有一個負責將文件系統(tǒng)元數(shù)據(jù)信息傳遞給客RPCCall來向服務(wù)端查詢文件的各種屬性，BWFS并沒有沿WRITE（）等）MDC來處理，MDC而只負責應答文件的其他屬性信息。帶外模式是客戶端自模塊用于專門傳達這種文件-塊映射信息，BWFSLayoutDaemon是MDC上負責與端通信的使者例如：客戶端將某個BWFS文件系統(tǒng)掛載到了/mnt下，當客戶端某應用程序發(fā)起“/mnt/a.txt的從eNFS模塊：eNFS的全稱是Enhanced/ExtendedNFS，計算所團隊在本世紀初開發(fā)BWFS的pNFS還沒有誕生，eNFS的架構(gòu)是非常有前瞻性的設(shè)計，eNFS模塊相當于客戶端上的NFS，但是它比普通NFS多出一部分功能，也就是它在獲取到實際地址信息之后，eNFS便將這些信息傳遞給另外一個下層模塊——VDMAP。eNFSIO信息進行執(zhí)行的模塊。這個模IO請求，由前者代為執(zhí)行對相應卷的IO。BWFSBWFS是一種支持異構(gòu)多操作系統(tǒng)平臺的共享文件系統(tǒng)，它允許多臺服務(wù)器并發(fā)同一組磁盤和文件而不針對不同的操作系統(tǒng)有不同的客戶端程序，這些客戶端程序能夠識別并提供對BWFS共享文件系統(tǒng)的，并且確保文件系統(tǒng)在不同的操作系統(tǒng)平臺上表現(xiàn)一致，IO請求能夠得到正確的處理。當多臺服務(wù)器并發(fā)同一個文件系統(tǒng)時，需要有某種機制防止兩臺服務(wù)器同時寫到同一個磁盤位置，并且種機制和功能是由元數(shù)據(jù)控制器MDC（MetaDataController）提供的。請求給MDC。量連接在FCSAN或IPSAN（iSCSI）上的服務(wù)器或工作站直接相同的文件系統(tǒng)。從原理上講，這是目前技術(shù)上能夠?qū)崿F(xiàn)的最高數(shù)據(jù)吞吐量和最低數(shù)據(jù)延遲的方法。BWFS可以利用一條或多條FC鏈路磁盤FCHBAIO100MB/sGB/s。寫分開，互不影響，盡可能提供更高的IO帶寬。BWFS集群文件系統(tǒng)及其管理軟件，客戶端軟件包括BWFS文件系統(tǒng)驅(qū)動程序和軟件。MDCMDC現(xiàn)場 ，在Windows環(huán)境中表現(xiàn)為邏輯驅(qū)動器并發(fā)時系統(tǒng)的I/O帶寬瓶頸問題。同時，由于采用數(shù)據(jù)直接，極大地提高了系統(tǒng)Windows平臺提供原生BWFS驅(qū)動支持，與通過第網(wǎng)絡(luò)共享協(xié)議轉(zhuǎn)接提供Windows平臺共享系統(tǒng)的IO可以確保BWFS所管理的數(shù)據(jù)萬無一失；現(xiàn)整個系統(tǒng)的全冗余能力，整個系統(tǒng)中沒有任何單點故障，任何部件都可以熱更換，確保系統(tǒng)整體7x24連續(xù)運行。BWFS的控制界面采用了友好的全中文WEB顯示方式；管理員不需要長期專業(yè)培訓，只要幾個小時就可以熟練掌握BWFS的操作流程；客戶端分組管理便于大規(guī)模系統(tǒng)管理；管理、配置文件管理、系統(tǒng)故障等；配，構(gòu)成不同的應用方式，以滿足不用應用的需求。目前BWFS主要有以下四種應用方式：IO的性能進行共享文件系統(tǒng)的讀寫，提供所有方式中最高的IO性能和數(shù)據(jù)可靠性。適用于IO性能、數(shù)據(jù)可靠性和業(yè)務(wù)連續(xù)性都具有很高要求的環(huán)境。所以在IO性能上比方案1要差一些，適用于性能和可靠性比方案1要求低的環(huán)境。FCSANIOFCSANIP網(wǎng)絡(luò)，可以有效降低成本。這種應用方式對于具有大規(guī)模應用FCSANNAS方式混合（數(shù)據(jù)共享NAS協(xié)議，NAS頭直連光纖盤陣；所有服務(wù)器共享同樣的文件數(shù)據(jù)，所有的空間仍由BWFS換機、雙FCHBA卡、多路徑軟件、SANFSMDCHA，可以實現(xiàn)文件系統(tǒng)沒有單點故障。但在該方案BWFSBWmirror技術(shù)提供了提供了盤陣冗余功能可選項，可以滿足零數(shù)據(jù)丟失，零恢復時間的應用需求。典型配置如下圖，系統(tǒng)由多臺盤陣組成，并由BWFS統(tǒng)一管理。用戶可以設(shè)定其中一部分盤BWFS的盤陣冗余功能后，所有客戶機寫入系統(tǒng)的數(shù)據(jù)都會被實時鏡像寫入到主、從盤陣上，所以當任意一個盤陣出現(xiàn)故障時，應用程序可以立即通過另外一臺盤陣數(shù)據(jù)。盤陣冗余功能完全由目前應對盤陣整體故障的問題，主要采用的方案是主備系統(tǒng)進行文件，即采用備用的光纖盤陣搭建一套備份文件系統(tǒng)，通過備份服務(wù)器將文件定期從主文件系統(tǒng)到備份文件系統(tǒng)中。當主盤陣出現(xiàn)故障主文件系統(tǒng)不能時，客戶端mount起備份文件系統(tǒng)，應用程序切換到備份文件系統(tǒng)繼續(xù)工作。這種基于文件復制的方案，解決了盤陣整體故障后數(shù)據(jù)徹底丟失不能的問題，但從應用容災的角度看主要存在以下幾方業(yè)務(wù)中斷：文件方案中，盤陣故障導致的讀寫出錯，以及后續(xù)的文件系統(tǒng)切換工作對應用不透回IOError，從而導致這些程序報錯退出，視音頻和相關(guān)業(yè)務(wù)必然中斷，造成整體事故。數(shù)據(jù)丟失：文件方案，因為有周期的存在，所以出現(xiàn)主盤陣故障后，從上次完后新采集、上傳、編輯、修改的文件都未被到備份盤陣中，導致切換到備份盤陣后數(shù)據(jù)丟失。由于丟文件方案不能嚴格保證主備系統(tǒng)的數(shù)據(jù)一致性，所以可能會出現(xiàn)一些文件徹底損壞這種更嚴重的狀況。通常，對于一個大型視音頻系統(tǒng)，文件方案在盤陣故障發(fā)生后，最好的情況也需要數(shù) 的降低。設(shè)備支持MAID技術(shù)標準，可根據(jù)負載情況智能停轉(zhuǎn)空閑的硬盤。根據(jù)這一特性，在多臺的集群中，通過集群文件系統(tǒng)，可以發(fā)揮MAID的最大價值，MAID工作過程如下：一時刻的所有IO都集中使用同一數(shù)據(jù)卷（RAID），其它數(shù)據(jù)卷（RAID）磁盤處于非活動狀態(tài)，可以停在當前活躍的數(shù)據(jù)卷（RAID）寫滿以后，所有IO將切換到下一個數(shù)據(jù)卷（RAID），輪為不活躍狀態(tài)的數(shù)據(jù)卷（