Flash存儲(chǔ)技術(shù)在當(dāng)前企業(yè)環(huán)境中的運(yùn)用

1、Flash存儲(chǔ)技術(shù)在當(dāng)前企業(yè)環(huán)境中的運(yùn)用盡管目前在企業(yè)IT系統(tǒng)以及企業(yè)的數(shù)據(jù)中心里，基于HDD的磁盤(pán)存儲(chǔ)還占據(jù)著絕對(duì)的容量份額，但大部分客戶都意識(shí)到Flash技術(shù)給企業(yè)應(yīng)用帶來(lái)的巨大潛力，而基于Flash的新型存儲(chǔ)架構(gòu)勢(shì)必給現(xiàn)有架構(gòu)帶來(lái)巨大的革命Flash閃存技術(shù)作為存儲(chǔ)介質(zhì)的革命性優(yōu)勢(shì)主要體現(xiàn)在兩個(gè)方面：1. 性能，相對(duì)于傳統(tǒng)磁盤(pán)每次只能進(jìn)行一次IO操作，F(xiàn)lash在理論上每個(gè)4KB sector都可以互不干擾地進(jìn)行讀寫(xiě)操作，從而具備巨大的并發(fā)IO處理能力，同時(shí)由于不受限任何機(jī)械設(shè)備的性能，F(xiàn)lash存儲(chǔ)在IO的時(shí)延上也具備巨大的優(yōu)勢(shì)2. 存儲(chǔ)密度，相對(duì)于傳統(tǒng)磁盤(pán)，構(gòu)成Flash容量的基礎(chǔ)是

2、NAND芯片，而芯片技術(shù)是遵循摩爾定律的，在過(guò)去5年，NAND單芯片的容量從32MB已經(jīng)增長(zhǎng)到3TB，而且技術(shù)上也遠(yuǎn)沒(méi)有到達(dá)極限，這意味著將來(lái)很容易出現(xiàn)幾十甚至上百TB的單盤(pán)或單卡容量結(jié)合Flash這兩方面的優(yōu)勢(shì)，以前傳統(tǒng)磁盤(pán)需要一個(gè)或幾個(gè)機(jī)架才能搭建的存儲(chǔ)系統(tǒng)，可以很輕松地用一個(gè)或幾個(gè)巴掌大的Flash設(shè)備完成但是，同樣使用NAND芯片，不同廠商的不同F(xiàn)lash存儲(chǔ)產(chǎn)品在接口形式、IO轉(zhuǎn)換方式、轉(zhuǎn)換技術(shù)和使用架構(gòu)上千差萬(wàn)別，導(dǎo)致最終的性能和可靠性也相差很大。在目前技術(shù)環(huán)境下，很難通過(guò)一些簡(jiǎn)單的判斷得出那種Flash存儲(chǔ)產(chǎn)品更好的結(jié)論，企業(yè)出于不同的使用目的，在運(yùn)用Flash存儲(chǔ)產(chǎn)品時(shí)，需要在

3、性能、功能、可靠性、擴(kuò)展性和成本之間做出平衡，從而設(shè)計(jì)出符合業(yè)務(wù)需要的解決方案。從Flash存儲(chǔ)設(shè)備訪問(wèn)方式看，站在Flash存儲(chǔ)的位置角度，可以分為兩種A. In Server，即Flash存儲(chǔ)設(shè)備以SSD盤(pán)或Flash卡的形式，通過(guò)主機(jī)PCI-e插槽或SASSATA接口直接連接主機(jī)系統(tǒng)，這種方式具備相對(duì)更高的性能，但是Flash存儲(chǔ)自身的實(shí)現(xiàn)功能較為簡(jiǎn)單，除了IO訪問(wèn)，幾乎沒(méi)有什么存儲(chǔ)管理功能，企業(yè)應(yīng)用如果采用這種方式，需要在OS層面部署針對(duì)Flash優(yōu)化的存儲(chǔ)管理軟件，在In Server模式下，站在IO訪問(wèn)路徑角度，又可以細(xì)分為兩種模式：1. Block Device/Logical

4、Device，在IO訪問(wèn)的技術(shù)特征上，F(xiàn)lash存儲(chǔ)更像內(nèi)存（平面尋址）而不像傳統(tǒng)磁盤(pán)設(shè)備（順序?qū)ぶ罚?，從而并不需要通過(guò)復(fù)雜的隊(duì)列和SCSI控制去訪問(wèn)，因此為了追求最大性能，很多設(shè)備廠商放棄對(duì)傳統(tǒng)磁盤(pán)接口的兼容，轉(zhuǎn)而通過(guò)PCIe這種高速總線去連接Flash存儲(chǔ)，這種訪問(wèn)方式映射到OS就是一個(gè)虛擬化的邏輯設(shè)備或塊設(shè)備(類似傳統(tǒng)的”卷”設(shè)備)；但這種方式由于直接和應(yīng)用對(duì)接，因此要么應(yīng)用層能完成對(duì)存儲(chǔ)的管理功能，要么設(shè)備驅(qū)動(dòng)自身就必須具備比較完善的存儲(chǔ)管理功能，所有的PCIe Flash卡的廠商幾乎都采用這種模式，由于這種模式的性能最好，價(jià)格相對(duì)也并不是最貴，因此首先被廣泛應(yīng)用在互聯(lián)網(wǎng)企業(yè)，但由于P

5、CIe Flash卡的廠商通常缺乏存儲(chǔ)背景，因此在存儲(chǔ)管理的功能上并沒(méi)有太多的解決方案，而是依賴應(yīng)用或OS層面實(shí)現(xiàn)存儲(chǔ)管理功能，除了一些新型分布式應(yīng)用(自身帶存儲(chǔ)管理功能或?qū)Υ鎯?chǔ)管理沒(méi)有什么要求)，該模式在傳統(tǒng)企業(yè)市場(chǎng)還并沒(méi)有得到大規(guī)模使用。2. Disk Device，鑒于企業(yè)現(xiàn)有架構(gòu)中，磁盤(pán)存儲(chǔ)還是占據(jù)統(tǒng)治性的地位，出于兼容性的考慮，有很多廠商在性能上進(jìn)行一些妥協(xié)，通過(guò)Flash控制芯片，模擬類似磁盤(pán)的接口特性，這樣在使用上就變得相對(duì)簡(jiǎn)單，不用對(duì)原有架構(gòu)做比較大的改動(dòng)變化。所有SSD盤(pán)的廠商幾乎都采用這種模式，其特點(diǎn)是產(chǎn)品價(jià)格在所有方案中是最便宜的，但是性能受到兩點(diǎn)限制：首先受限磁盤(pán)物理尺

6、寸，在內(nèi)部能鋪放的NAND和控制芯片數(shù)量有限，其次IO要經(jīng)過(guò)OS內(nèi)部比較冗長(zhǎng)復(fù)雜的標(biāo)準(zhǔn)磁盤(pán)接口，NAND性能無(wú)法得到充分利用，但是即使這樣，SSD性能依然能滿足大部分應(yīng)用需求，因此使用范圍最為廣泛，覆蓋了消費(fèi)市場(chǎng)、中小企業(yè)、大型企業(yè)、互聯(lián)網(wǎng)企業(yè)等各種環(huán)境無(wú)論采用什么方式，企業(yè)在運(yùn)用In Server模式共同的挑戰(zhàn)在于以下幾點(diǎn)：· 可靠性和可用性挑戰(zhàn)：即跨主機(jī)的數(shù)據(jù)可靠性和共享能力，因?yàn)橐坏┲鳈C(jī)宕機(jī)，要想數(shù)據(jù)能夠繼續(xù)訪問(wèn)，就必需要在主機(jī)之間實(shí)現(xiàn)跨節(jié)點(diǎn)的數(shù)據(jù)同步，目前Flash存儲(chǔ)設(shè)備廠商在這方面還沒(méi)有太好的技術(shù)手段。· 大規(guī)模部署的挑戰(zhàn)：即對(duì)海量分散在各個(gè)主機(jī)中的Flash存

7、儲(chǔ)設(shè)備的管理能力和存儲(chǔ)資源整合能力，和消費(fèi)市場(chǎng)不同，企業(yè)數(shù)據(jù)中心的服務(wù)器數(shù)量眾多，數(shù)據(jù)量巨大，涉及到的Flash存儲(chǔ)設(shè)備數(shù)以千計(jì)，如果無(wú)法進(jìn)行資源的統(tǒng)一管理和分配，企業(yè)是無(wú)法在數(shù)據(jù)中心進(jìn)行大規(guī)模部署的。· 業(yè)務(wù)連續(xù)性挑戰(zhàn)：即數(shù)據(jù)容災(zāi)保障能力，比如在線的數(shù)據(jù)復(fù)制，數(shù)據(jù)快照、數(shù)據(jù)遷移這些保障性功能，對(duì)于企業(yè)數(shù)據(jù)中心而言都是標(biāo)準(zhǔn)配置要求，而目前Flash存儲(chǔ)設(shè)備廠商還缺乏對(duì)應(yīng)的解決方案在沒(méi)有解決上述幾個(gè)關(guān)鍵技術(shù)挑戰(zhàn)前，企業(yè)只能將Flash技術(shù)作為一些特殊應(yīng)用場(chǎng)景下的點(diǎn)狀解決方案來(lái)使用，無(wú)法在整個(gè)數(shù)據(jù)中心全面部署，好在隨著軟件定義存儲(chǔ)(SDS)技術(shù)的興起和逐漸成熟，上述的技術(shù)挑戰(zhàn)都可以通過(guò)部

8、署在主機(jī)上的SDS存儲(chǔ)管理層來(lái)得到解決。B. Out of Server，即Flash存儲(chǔ)設(shè)備先通過(guò)自身的總線掛接SSD盤(pán)或Flash卡，然后通過(guò)控制器(Controller)上的FC、iSCSI或IB網(wǎng)絡(luò)接口，接入到主機(jī)系統(tǒng)上，由于網(wǎng)絡(luò)時(shí)延和網(wǎng)絡(luò)協(xié)議開(kāi)銷，加上控制器自身的存儲(chǔ)處理開(kāi)銷，這種方式在同等條件下，性能遠(yuǎn)不如In Server的方式，但由于廠商可以在控制器里實(shí)現(xiàn)比較多的存儲(chǔ)管理功能，因此對(duì)于企業(yè)而言，部署起來(lái)相對(duì)簡(jiǎn)單，這種模式根據(jù)技術(shù)實(shí)現(xiàn)細(xì)節(jié)，可以分為以下幾種類型1. 設(shè)備內(nèi)部使用SSD磁盤(pán)，與主機(jī)通過(guò)FC接口，以傳統(tǒng)陣列LUN的方式提供存儲(chǔ)資源，這種模式完全利用了陣列的現(xiàn)有架構(gòu)，實(shí)

9、現(xiàn)起來(lái)最簡(jiǎn)單，但是同等條件下，性能是各種實(shí)現(xiàn)方式中最差的(幾乎在各個(gè)環(huán)節(jié)都使用了性能最差的技術(shù)實(shí)現(xiàn)手段)，這種使用方式僅僅作為Flash剛出現(xiàn)時(shí)的一種過(guò)渡性技術(shù)實(shí)現(xiàn)方式，存在了幾年時(shí)間，未來(lái)應(yīng)該不會(huì)有太大的技術(shù)發(fā)展前景，但是，如果企業(yè)考慮利用現(xiàn)有陣列設(shè)備，通過(guò)替換HDD實(shí)現(xiàn)簡(jiǎn)單的性能升級(jí)，在成本合適的情況下，還是可以考慮，新系統(tǒng)采購(gòu)則不建議考慮這種部署形式2. 設(shè)備內(nèi)部通過(guò)總線直接插接使用Flash閃存芯片陣列，與主機(jī)通過(guò)FC或IB接口，以傳統(tǒng)陣列LUN的方式提供存儲(chǔ)資源，這種模式在陣列內(nèi)部進(jìn)行了重新設(shè)計(jì)，針對(duì)Flash進(jìn)行了性能優(yōu)化，目前市場(chǎng)上絕大多數(shù)的純閃存陣列都基本采用了這種模式，不同廠

10、商設(shè)備之間比拼的是控制器軟件的功能和性能優(yōu)化，還是存在一定的差異性，這種模式的性能一般都能達(dá)到一個(gè)不錯(cuò)的水平，而且具備比較好的通用性，但是成本幾乎是所有Flash部署形式里最高的，受限于成本因素，目前在企業(yè)里只能做一些有限的使用，難以大規(guī)模部署3. 設(shè)備內(nèi)部通過(guò)總線直接插接使用Flash閃存芯片陣列，與主機(jī)通過(guò)IB接口基于RDMA協(xié)議(如SRB協(xié)議、iDB協(xié)議)進(jìn)行存儲(chǔ)資源訪問(wèn)，目前市場(chǎng)上大部分一體機(jī)(典型的以O(shè)racle Exdata為代表)都是使用這種技術(shù)實(shí)現(xiàn)方式，這種模式的性能直追性能最好的PCIe直連模式，又能夠解決主機(jī)內(nèi)部插卡的技術(shù)不足，但成本同樣非常高，和純閃存陣列差不多，而且相對(duì)

11、純閃存陣列，由于只針對(duì)具體某應(yīng)用，其設(shè)備通用性比較差，而且存儲(chǔ)管理能力也比較欠缺，這也是其在企業(yè)中部署不多的原因綜合而言，Out of Server替企業(yè)用戶解決了In Server存儲(chǔ)管理性不足的麻煩，但企業(yè)需要為此付出更多的設(shè)備采購(gòu)成本，從成本看，其性價(jià)比值得客戶在某些特定系統(tǒng)上投資Flash存儲(chǔ)，但不值得用戶在數(shù)據(jù)中心大規(guī)模部署，從技術(shù)看，雖然Out of Server解決了客戶的部分存儲(chǔ)管理需求，但企業(yè)客戶為此需要付出架構(gòu)控制性的代價(jià)，即只能夠按照設(shè)備設(shè)計(jì)的方式和指標(biāo)來(lái)搭建其系統(tǒng)基礎(chǔ)架構(gòu)，而這種技術(shù)代價(jià)和目前數(shù)據(jù)中心軟件定義化的大趨勢(shì)和潮流是背道而馳的?？偨Y(jié)運(yùn)用Flash存儲(chǔ)的各種模式

12、，對(duì)于企業(yè)而言，其實(shí)無(wú)外乎三種選擇：1. SDS+In Server Flash模式，在這種模式下，企業(yè)比較容易獲得非常好的性能和較低的采購(gòu)成本，對(duì)架構(gòu)的控制力比較強(qiáng)，但需要進(jìn)行的技術(shù)工作也相對(duì)多一些。按目前Flash存儲(chǔ)市場(chǎng)的價(jià)格水平，這種模式是唯一適合企業(yè)大規(guī)模進(jìn)行通用性部署的方案2. 直接采購(gòu)Flash Array的Out of Server模式，在這種模式下，企業(yè)能夠以比較簡(jiǎn)單的方式獲得比較好的存儲(chǔ)性能，但架構(gòu)控制里比較弱，由于成本原因，只能針對(duì)某些特定系統(tǒng)進(jìn)行投資，按目前價(jià)格水平，如果大規(guī)模部署，談不上性價(jià)比3. 直接采購(gòu)使用Flash Appliance產(chǎn)品，在這種模式下，企業(yè)能夠

13、以比較簡(jiǎn)單的方式直接獲取比較高的業(yè)務(wù)應(yīng)用性能，但在架構(gòu)和成本上則完全失去控制力，因此同樣只是真的特定系統(tǒng)進(jìn)行投資，從技術(shù)和價(jià)格兩方面因素都還無(wú)法支持大規(guī)模部署從技術(shù)發(fā)展趨勢(shì)角度，SDSIn Server模式無(wú)疑是最具前景的Flash應(yīng)用模式，但SDS技術(shù)自身還在不斷發(fā)展中，并不是所有SDS解決方案都對(duì)Flash進(jìn)行優(yōu)化，由于Flash自身的技術(shù)特點(diǎn)，要獲得比較好的性能和可靠性，需要用戶在架構(gòu)和系統(tǒng)設(shè)計(jì)時(shí)，能夠?qū)lash的IO讀寫(xiě)過(guò)程有比較深入的了解。在后面的文章中，我們會(huì)詳細(xì)介紹為什么Flash存儲(chǔ)需要特別的優(yōu)化技術(shù)，以及如何在SDS方案中對(duì)Flash做針對(duì)性優(yōu)化目前能提供SDS功能，利用軟

14、件將主機(jī)內(nèi)置存儲(chǔ)整合成統(tǒng)一的對(duì)外服務(wù)資源的商用和開(kāi)源解決方案很多，從技術(shù)特點(diǎn)和實(shí)現(xiàn)機(jī)制的角度上，主要分為以下兩種：1. 基于分布式存儲(chǔ)技術(shù)，技術(shù)特點(diǎn)在于將存儲(chǔ)的控制面和數(shù)據(jù)面整合在一起，形成統(tǒng)一的訪問(wèn)路徑，其優(yōu)點(diǎn)是能夠比較容易地整合海量的分散主機(jī)，主要缺點(diǎn)是性能，特別是在IO訪問(wèn)時(shí)延上，還無(wú)法媲美傳統(tǒng)的磁盤(pán)陣列系統(tǒng)，因此難以發(fā)揮Flash的性能優(yōu)勢(shì)，目前基于分布式存儲(chǔ)技術(shù)的SDS解決方案主要還是應(yīng)用在一些對(duì)IO時(shí)延性能要求不高，對(duì)成本相對(duì)敏感的3級(jí)或4級(jí)系統(tǒng)上2. 基于傳統(tǒng)存儲(chǔ)虛擬化技術(shù)，技術(shù)特點(diǎn)在于將存儲(chǔ)的控制面和數(shù)據(jù)面分離，上層應(yīng)用可以直接對(duì)數(shù)據(jù)面進(jìn)行訪問(wèn)，控制面動(dòng)態(tài)地調(diào)整數(shù)據(jù)和設(shè)備之間的

15、映射，其優(yōu)點(diǎn)是具備了比較豐富的存儲(chǔ)管理功能，性能通常沒(méi)有明顯的瓶頸，主要缺點(diǎn)是橫向擴(kuò)展能力通常有一定限制（控制面需要實(shí)時(shí)控制，很難做到分布式異步處理），目前基于存儲(chǔ)虛擬化的SDS解決方案主要應(yīng)用在一些對(duì)性能和可靠性要求較高的1級(jí)或2級(jí)系統(tǒng)上對(duì)于Flash存儲(chǔ)而言，上述兩種流派都存在一定的可取之處，也都存在一定的技術(shù)缺陷，一方面Flash存儲(chǔ)介質(zhì)的最佳運(yùn)用方式應(yīng)該是基于主機(jī)內(nèi)部的In Server模式的整合，因此分布式存儲(chǔ)在整合分散主機(jī)方面具備很強(qiáng)的優(yōu)勢(shì)，另一方面，F(xiàn)lash存儲(chǔ)介質(zhì)需要SDS方案具備很高的性能和可靠性，因此基于傳統(tǒng)存儲(chǔ)虛擬化的技術(shù)在性能和服務(wù)可靠性上都具備很強(qiáng)的優(yōu)勢(shì)。由于Fla

16、sh技術(shù)尚未在企業(yè)應(yīng)用環(huán)境中大規(guī)模使用，目前業(yè)界還缺乏成型的專門針對(duì)Flash存儲(chǔ)形態(tài)的SDS解決方案。本專利針對(duì)Flash存儲(chǔ)的技術(shù)特點(diǎn)，提出一種全新的SDS架構(gòu)，并針對(duì)其中的若干關(guān)鍵性技術(shù)環(huán)節(jié)，進(jìn)行了創(chuàng)新性設(shè)計(jì)，本專利包括以下三個(gè)部分：1. 針對(duì)部署在服務(wù)器內(nèi)部的Flash存儲(chǔ)設(shè)備，提出一種新的SDS軟件設(shè)計(jì)架構(gòu)，能夠解決跨節(jié)點(diǎn)的存儲(chǔ)資源共享問(wèn)題，同時(shí)解決分布式存儲(chǔ)性能不足的問(wèn)題2. 上述SDS軟件設(shè)計(jì)架構(gòu)中的核心部件存儲(chǔ)訪問(wèn)層功能設(shè)計(jì)3. 上述SDS軟件設(shè)計(jì)架構(gòu)中的核心部件計(jì)算節(jié)點(diǎn)間通訊模塊功能設(shè)計(jì)SDS系統(tǒng)整體設(shè)計(jì)框架如下圖所示： 該架構(gòu)的創(chuàng)新之處在于引入了存儲(chǔ)訪問(wèn)層（Storage

17、Access Layer）的概念，這個(gè)概念在現(xiàn)有的各種SDS架構(gòu)中是缺乏定義的，存儲(chǔ)訪問(wèn)層的設(shè)計(jì)目的在于提供一個(gè)基于系統(tǒng)核心態(tài)的存儲(chǔ)抽象層次（目前大部分SDS提供的存儲(chǔ)訪問(wèn)層次都是基于用戶態(tài)的，這不光導(dǎo)致穩(wěn)定性問(wèn)題，同時(shí)也直接會(huì)極大地影響性能，而且難以與其他開(kāi)源模塊進(jìn)行整合）存儲(chǔ)訪問(wèn)層的主要技術(shù)特征包括：1. 上層內(nèi)核模塊對(duì)設(shè)備的數(shù)據(jù)訪問(wèn)不直接通過(guò)設(shè)備驅(qū)動(dòng)接口，而是被導(dǎo)向一個(gè)跨節(jié)點(diǎn)的全局接口（Global Interface），這種設(shè)計(jì)思路類似UNIX平臺(tái)下的VFS接口設(shè)計(jì)，在保證性能的同時(shí)，能夠比較方便地對(duì)分散節(jié)點(diǎn)進(jìn)行統(tǒng)一動(dòng)態(tài)整合管理，同時(shí)簡(jiǎn)化了底層的高可靠設(shè)計(jì)難度2. 存儲(chǔ)訪問(wèn)層位于主機(jī)內(nèi)

18、部?jī)?nèi)核層，這樣上層應(yīng)用和底層驅(qū)動(dòng)都只需要關(guān)注本機(jī)的接口狀態(tài)，而無(wú)需進(jìn)行跨節(jié)點(diǎn)的管理3. 存儲(chǔ)訪問(wèn)層提供的是一個(gè)基于虛擬設(shè)備的訪問(wèn)接口，能夠很方便地與其他高層次的成熟開(kāi)源解決方案（如Linux LVM，Linux GFS等）進(jìn)行整合和集成，借助其他模塊已有的功能，完成豐富的存儲(chǔ)管理功能（數(shù)據(jù)復(fù)制，快照，容災(zāi)等）存儲(chǔ)訪問(wèn)層的功能實(shí)現(xiàn)包括:1. 存儲(chǔ)訪問(wèn)層可以橫向擴(kuò)展至64128個(gè)服務(wù)器節(jié)點(diǎn)（scale out），形成一個(gè)可以完全實(shí)時(shí)共享Flash的存儲(chǔ)集群，多個(gè)存儲(chǔ)集群之間通過(guò)上層邏輯卷的數(shù)據(jù)復(fù)制功能，進(jìn)行跨集群的異步數(shù)據(jù)復(fù)制和遷移，從而能夠讓整個(gè)存儲(chǔ)訪問(wèn)層的資源管理跨越整個(gè)企業(yè)數(shù)據(jù)中心2. 存儲(chǔ)

19、訪問(wèn)層在設(shè)計(jì)上，支持服務(wù)器節(jié)點(diǎn)內(nèi)部存儲(chǔ)的即插即用，即可以通過(guò)增加主機(jī)Flash的方式，動(dòng)態(tài)在線擴(kuò)展存儲(chǔ)訪問(wèn)層的容量（scale up）3. 每個(gè)節(jié)點(diǎn)上均有服務(wù)和請(qǐng)求兩個(gè)模塊，當(dāng)任意節(jié)點(diǎn)需要存儲(chǔ)資源時(shí)，其他節(jié)點(diǎn)的服務(wù)模塊會(huì)動(dòng)態(tài)地通過(guò)即插即用的方式將其內(nèi)部的Flash存儲(chǔ)映射給請(qǐng)求節(jié)點(diǎn)，所有節(jié)點(diǎn)服務(wù)和請(qǐng)求關(guān)系均通過(guò)一個(gè)帶外的管理端進(jìn)行管理，節(jié)點(diǎn)之間通過(guò)自協(xié)商協(xié)議來(lái)確保映射關(guān)系的全局一致性4. 當(dāng)Flash存儲(chǔ)集群中發(fā)生節(jié)點(diǎn)增加或節(jié)點(diǎn)退出操作時(shí)，僅影響使用該節(jié)點(diǎn)存儲(chǔ)的虛擬設(shè)備，其動(dòng)態(tài)重配置過(guò)程也僅限于該虛擬設(shè)備，與節(jié)點(diǎn)無(wú)關(guān)的虛擬設(shè)備和其他節(jié)點(diǎn)不受任何影響（基于動(dòng)態(tài)即插即用的松耦合結(jié)構(gòu)）5. 存儲(chǔ)訪問(wèn)

20、層提供一些關(guān)鍵性的存儲(chǔ)服務(wù)，包括：在一個(gè)存儲(chǔ)集群中的多個(gè)節(jié)點(diǎn)之間同步保留多份數(shù)據(jù)拷貝，以提供抵御硬件故障的高可靠設(shè)計(jì)（關(guān)鍵點(diǎn)）；當(dāng)節(jié)點(diǎn)存儲(chǔ)訪問(wèn)狀態(tài)發(fā)生變化時(shí)（容量的變化，服務(wù)的可用性等）在整個(gè)集群中進(jìn)行元數(shù)據(jù)的廣播和交互，維護(hù)存儲(chǔ)集群的全局一致性存儲(chǔ)訪問(wèn)層的功能實(shí)現(xiàn)設(shè)計(jì)架構(gòu)如下圖所示： 在上述功能設(shè)計(jì)中，各模塊關(guān)鍵功能實(shí)現(xiàn)如下：1. 每個(gè)節(jié)點(diǎn)上都有一個(gè)配置守護(hù)進(jìn)程（config daemon），該進(jìn)程負(fù)責(zé)指揮虛擬IO驅(qū)動(dòng)模塊如何將不同節(jié)點(diǎn)間的設(shè)備，合成一個(gè)統(tǒng)一的虛擬設(shè)備給上層應(yīng)用使用（類似Linux LVM的功能），不同節(jié)點(diǎn)之間的配置守護(hù)進(jìn)程會(huì)進(jìn)行自協(xié)商，從而形成一個(gè)全局統(tǒng)一的元數(shù)據(jù)結(jié)構(gòu)。2.

21、 除了節(jié)點(diǎn)之間的自協(xié)商，用戶可以通過(guò)UI接口，經(jīng)過(guò)SDS管理接口（Mgmt.Provider）的轉(zhuǎn)換，形成一系列的帶外控制命令，來(lái)之間對(duì)配置守護(hù)進(jìn)程進(jìn)行指令操作（UtilsScripts），SDS管理接口（Mgmt.Provider）的作用在于分解UI發(fā)出的全局控制指令，識(shí)別哪些操作是需要本地完成的，哪些操作是需要其他節(jié)點(diǎn)完成的，對(duì)于其他節(jié)點(diǎn)的操作，觸發(fā)配置守護(hù)進(jìn)程的自協(xié)商流程，確保全局操作的一致性和唯一性3. 虛擬IO驅(qū)動(dòng)模塊的功能分為兩個(gè)層次，對(duì)上層表現(xiàn)為一個(gè)邏輯的虛擬塊設(shè)備（logical volume），對(duì)內(nèi)分為Volume Server和Volume Client兩個(gè)角色：Volum

22、e Server控制主機(jī)內(nèi)部的Flash存儲(chǔ)設(shè)備，并響應(yīng)其他節(jié)點(diǎn)對(duì)本主機(jī)內(nèi)部Flash存儲(chǔ)設(shè)備的訪問(wèn)請(qǐng)求；Volume Client負(fù)責(zé)訪問(wèn)非本主機(jī)的其他節(jié)點(diǎn)Flash設(shè)備，即發(fā)出對(duì)其他Volume Server的訪問(wèn)請(qǐng)求。上層應(yīng)用對(duì)存儲(chǔ)的訪問(wèn)，會(huì)通過(guò)虛擬IO驅(qū)動(dòng)模塊分解成對(duì)本主機(jī)內(nèi)部的訪問(wèn)請(qǐng)求和對(duì)其他主機(jī)的訪問(wèn)請(qǐng)求（具體做法是通過(guò)邏輯地址和物理地址的對(duì)應(yīng)表來(lái)完成）4. OS Flash Driver負(fù)責(zé)對(duì)Flash存儲(chǔ)設(shè)備的識(shí)別，為了解決Flash存儲(chǔ)設(shè)備熱插拔和在線替換的企業(yè)實(shí)際需求，在設(shè)計(jì)中，我們使用Flash設(shè)備序列號(hào)和其他特征值通過(guò)算法合成一個(gè)唯一標(biāo)識(shí)號(hào)(UUID)，并將這個(gè)標(biāo)識(shí)存放

23、在Flash設(shè)備的元數(shù)據(jù)分區(qū)，以保證設(shè)備在各節(jié)點(diǎn)之間的全局唯一上述設(shè)計(jì)的核心優(yōu)勢(shì)在于：在基礎(chǔ)架構(gòu)層面比較好地解決了跨節(jié)點(diǎn)訪問(wèn)的性能和兼容性問(wèn)題，由于每個(gè)節(jié)點(diǎn)的數(shù)據(jù)訪問(wèn)都是直接通過(guò)內(nèi)核訪問(wèn)本地的虛擬塊設(shè)備，因此理論上可以支持目前各種不同形態(tài)的應(yīng)用，對(duì)遠(yuǎn)程節(jié)點(diǎn)的融合是在虛擬IO驅(qū)動(dòng)層內(nèi)部實(shí)現(xiàn)，可以很方便地設(shè)計(jì)專有的高性能網(wǎng)絡(luò)通信模塊，這種設(shè)計(jì)方式目前看還是屬于首創(chuàng)在我們的SDS設(shè)計(jì)架構(gòu)中，節(jié)點(diǎn)之間的通信時(shí)延是影響整體性能的決定性因素，因此在本專利中，我們同時(shí)也設(shè)計(jì)了專有的通信協(xié)議模塊。對(duì)于主機(jī)之間的通信，從性能為第一要素考慮，目前最合適的模式就是采用基于RDMA模式(remote direct memory access)的通訊協(xié)議，目