基于網(wǎng)格的分布式存儲系統(tǒng)的研究與設(shè)計

1、基于網(wǎng)格的分布式存儲系統(tǒng)的研究與設(shè)計摘要：本文提出一種基于網(wǎng)格的校布式存儲系統(tǒng)，對該存儲系統(tǒng)實體，用戶讀寫讀寫過程，存儲資源調(diào)度和存儲資源定位進行了研究，最后通過對通過和FTP進行文件上傳和下載性能進行了測試，證明了本系統(tǒng)文件傳輸性能比FTP要高，并且文件越大，讀寫性能增幅越大。關(guān)鍵詞：網(wǎng)格技術(shù)；存儲系統(tǒng)；分布式；資源調(diào)度引言 分布式存儲技術(shù)的采取附網(wǎng)存儲（NAS）、存儲區(qū)域網(wǎng)（SAN）等存儲技術(shù)，它在一定程度上改善了用戶對存儲空間需求的緊張局面，但在具體實施的環(huán)節(jié)上確實還存在著不少問題【1】。如何利用分布于網(wǎng)絡(luò)中各個異構(gòu)主機節(jié)點之上的不可靠空閑存儲資源來構(gòu)建大規(guī)模、高效率、易擴展、高可靠的存

2、儲系統(tǒng)來滿足用戶對信息與數(shù)據(jù)需求的增長是存儲技術(shù)迫切需要解決的問題。基于網(wǎng)格的分布式存儲能很好的解決上述問題，本文把將網(wǎng)格存儲技術(shù)應(yīng)用到分布式存儲上，完成基于該技術(shù)的高效的資源節(jié)點查找，存儲資源調(diào)度和分配，實現(xiàn)網(wǎng)絡(luò)間的數(shù)據(jù)恢復(fù)、分配、回收，可以在不同種類的節(jié)點之間共享資源等優(yōu)點，可以為分布式數(shù)據(jù)應(yīng)用提供很好的技術(shù)基礎(chǔ)。 1. 網(wǎng)格分布式存儲系統(tǒng)設(shè)計思想 網(wǎng)格分布式存儲系統(tǒng)的基本思想是利用網(wǎng)格存儲技術(shù)，通過網(wǎng)絡(luò)將網(wǎng)內(nèi)零散的存儲設(shè)備連接起來，匯集這些設(shè)備上的空閑存儲空間，形成一個高可擴展、高可靠、高性能分布式存儲系統(tǒng)。 系統(tǒng)為了將各節(jié)點主機的存儲空間構(gòu)建成一個大從系統(tǒng)功能的角度可以將系統(tǒng)分為3層：

3、應(yīng)用層、服務(wù)層和資源層。圖1顯示了系統(tǒng)層次結(jié)構(gòu)。 圖1 網(wǎng)格分布式的系統(tǒng)層次結(jié)構(gòu) 應(yīng)用層：用戶通過用戶界面直接與應(yīng)用層交互。通過應(yīng)用層提供的資源服務(wù)接口，用戶看到的將是一個虛擬的海量存儲空間，用戶可以上傳、下載、共享自己的資源，也可以訪問由其他用戶共享出來的資源。應(yīng)用層主要包括用戶管理模塊和資源提交模塊。用戶管理模塊負責(zé)對系統(tǒng)中的用戶統(tǒng)一管理，用戶按角色分類，各個角色的用戶具有不同的操作權(quán)限，主要包括存儲用戶的中請注冊、增加、修改等功能。 服務(wù)層：服務(wù)層是用戶使用網(wǎng)資源的一個窗口，主要包括四個模塊。 （1）用戶讀寫模塊：用戶登錄到存儲系統(tǒng)后，將所在節(jié)點名、主機IP地址、需要上傳/下載的文件名稱

4、等基本信息報告給網(wǎng)格中心，并實現(xiàn)讀寫文件操作。 （2）資源調(diào)度和分配模塊：資源調(diào)度的目標(biāo)是當(dāng)用戶通過接口提出任務(wù)請求時，盡可能高效及時地在分布式存儲系統(tǒng)中找到合理的資源。 （3）資源定位模塊：主要功能是給定一個資源的描述，資源定位部件返回一個或者多個滿足該描述的資源的位置。 （4）資源更新模塊：當(dāng)用戶進行讀寫操作或當(dāng)存儲節(jié)點加入或離開時，需要對系統(tǒng)進行更新。文中具體表現(xiàn)在對全局目錄索引及活動節(jié)點列表更新機制的研究上。 資源層：由地理分布的具有存儲空間的主機即系統(tǒng)節(jié)點以及連接它們之間的底層網(wǎng)絡(luò)構(gòu)成。將社會中人們喜好的就近原則應(yīng)用到系統(tǒng)設(shè)計中，系統(tǒng)將存儲節(jié)點根據(jù)地理位置劃分為不同域。 自組織結(jié)構(gòu)采

5、用自組織和自管理形式，包括自我配置、自我優(yōu)化、自我防護、自我治愈等。本系統(tǒng)采取混合組織結(jié)構(gòu)【2】。節(jié)點組織結(jié)構(gòu)如圖2所示。 圖2網(wǎng)格服務(wù)環(huán)境下存儲節(jié)點組織結(jié)構(gòu) 由于網(wǎng)格服務(wù)環(huán)境本身就是一個集中控制的平臺，并不是像對等網(wǎng)絡(luò)那樣完全非集中控制。所以系統(tǒng)采用一種樹和網(wǎng)相結(jié)合的混合拓撲結(jié)構(gòu)。為了方便資源的創(chuàng)建與管理，系統(tǒng)中的各節(jié)點組成不同的域，中心節(jié)點和域內(nèi)節(jié)點形成樹狀的邏輯結(jié)構(gòu)，采用樹的結(jié)構(gòu)是模型中多域管理策略的前提；同時對于同一域內(nèi)的不同節(jié)點用網(wǎng)形結(jié)構(gòu)將它們相互連接起來，有利于同域節(jié)點之間相互查詢，提高了它們之間數(shù)據(jù)傳輸讀取的效率，減輕了中央節(jié)點的傳輸負擔(dān)和查詢負擔(dān)，有利于系統(tǒng)的穩(wěn)定性。 在系統(tǒng)中

6、選擇存儲能力較強并且穩(wěn)定性較高的小型機作為服務(wù)節(jié)點。服務(wù)節(jié)點的功能類似于集中目錄式網(wǎng)絡(luò)中的服務(wù)器，這些節(jié)點在系統(tǒng)中不會像普通節(jié)點一樣隨時可能退出系統(tǒng)。所有域內(nèi)服務(wù)節(jié)點建立域內(nèi)索引來管理本域內(nèi)普通節(jié)點。域內(nèi)所有控制權(quán)在域內(nèi)服務(wù)器節(jié)點上。而普通節(jié)點會加入邏輯位置接近的服務(wù)節(jié)點所在的域中。任何普通節(jié)點不僅可自由的加入或退出一個域，而且普通節(jié)點之間可以相互訪問。在網(wǎng)格中心建立全局索引，只管理所有服務(wù)器。這種組織機制具有如下一些優(yōu)點：當(dāng)節(jié)點加入或離開網(wǎng)絡(luò)時，只需域內(nèi)索引上加入或刪除。同一域內(nèi)的不同節(jié)點用網(wǎng)形結(jié)構(gòu)將它們相互連接起來，會有較高的運行效率，與集中目錄式模型中相比，單點失效帶來的沖擊也小了很多。

7、同時，由于服務(wù)節(jié)點的存在，增加了數(shù)據(jù)訪問的可靠性和效率。同時，由于中心節(jié)點的負載較輕，可以在一定程度上支持更多的資源信息查詢。在這種結(jié)構(gòu)下，單個域節(jié)點的失效并不影響其他節(jié)點的功能，具有較好的可靠性。 2.實現(xiàn)機制 2.1寫過程 用戶向系統(tǒng)寫文件是指用戶將本地磁盤中的文件上傳到網(wǎng)格分布式系統(tǒng)系統(tǒng)的操作。當(dāng)用戶向全局空間寫文件時，為了將文件分布式保存到網(wǎng)絡(luò)各節(jié)點的存儲設(shè)備上，需要利用副本進行存儲，其基本步驟是：C用戶選擇要向系統(tǒng)上傳的文件f，并使用SHA-1算法計算f的文件名；（2）查詢活動節(jié)點列表，獲得當(dāng)前活動節(jié)點總數(shù)M；（3）選擇一個或多個其他文件作為防作文件；（4）根據(jù)副本算法將原始文件復(fù)制

8、成Na個副本，并計算副本文件和防作文件之間的XOR校驗，得到Nm個校驗文件；（5）將Na個數(shù)據(jù)副本和Nm個校驗文件分別存儲到N（N=Na+Nm）個節(jié)點主機中；（6）更新全局目錄索引GDI。 當(dāng)保存數(shù)據(jù)的N個節(jié)點中部分節(jié)點不在線或崩潰時，為了保證數(shù)據(jù)文件的可用性，我們采用如下冗余校驗思想：在分布保存文件時，不僅保存文件副本，而且保存副本之間的校驗文件。這樣當(dāng)部分副本不可用時，可以通過校驗文件恢復(fù)數(shù)據(jù)。具體過程如圖3所示。 圖3寫過程 2.2讀取過程 用戶從系統(tǒng)讀取文件是指用戶將文件數(shù)據(jù)下載到本地的操作。用戶從全局空間讀文件時，需從網(wǎng)格中各節(jié)點讀出相應(yīng)的副本，然后通過副本定位到原始文件。其基本步驟

9、是：（1）通過文件名查詢?nèi)帜夸浰饕鼼DI，獲得該文件的文件副本和校驗文件的存儲信息，得到文件存儲節(jié)點表；（2）與活動節(jié)點列表進行比較，取交集得到可用的存儲節(jié)點表；（3）從各存儲節(jié)點讀文件副本或校驗文件；（4）通過數(shù)據(jù)副本定位到原始文件。讀取文件時，為了減少校驗計算量，提高文件讀的速度，采用盡量先讀原始數(shù)據(jù)副本的策略，在原始數(shù)據(jù)副本無法找到的情況下，再讀校驗文件數(shù)據(jù)，利用XOR的逆運算是XOR的特性，通過XOR計算，得到完整的數(shù)據(jù)副本【3】。 2.3資源調(diào)度和分配 網(wǎng)格中心節(jié)點負責(zé)服務(wù)節(jié)點存儲資源的調(diào)度與分配，而域內(nèi)服務(wù)節(jié)點負責(zé)本域內(nèi)普通節(jié)點存儲資源的調(diào)度和分配。調(diào)度與分配采用局部優(yōu)先策略。調(diào)

10、度與分配過程如圖4所示。 圖4存儲資源的調(diào)度與分配過程 圖4中，用戶A向域內(nèi)服務(wù)節(jié)點C請求存儲資源，過程如下： （1）服務(wù)節(jié)點C首先搜索域內(nèi)節(jié)點存儲資源，是否存在一個存儲節(jié)點的資源符合用戶A的請求，如果存在這樣節(jié)點（如：節(jié)點B），那么就將節(jié)點B信息通知用戶A，然后用戶A與節(jié)點B直接通信建立對等通信，用戶A直接使用節(jié)點B的存儲資源；服務(wù)節(jié)點A將調(diào)度消息傳遞給中心節(jié)點。 （2）如果域內(nèi)沒有符合用戶A的資源請求的存儲節(jié)點，那么域服務(wù)節(jié)點C再搜索自身存儲資源。 （3）如果仍然沒有足夠資源，域服務(wù)節(jié)點C根據(jù)系統(tǒng)服務(wù)索引查找其他域內(nèi)服務(wù)節(jié)點（如：服務(wù)節(jié)點D）。服務(wù)節(jié)點D搜索域內(nèi)節(jié)點存儲資源，是否存在一個存

11、儲節(jié)點的資源符合用戶A的請求，如果存在這樣節(jié)點，如節(jié)點E，那么服務(wù)節(jié)點D就將節(jié)點E信息通知服務(wù)節(jié)點C，節(jié)點C通知用戶A。然后用戶A與節(jié)點E直接通信建立對等通信，用戶A直接使用節(jié)點E的存儲資源服務(wù)，節(jié)點A將調(diào)度消息傳遞給中心節(jié)點。 若服務(wù)節(jié)點D所在域內(nèi)沒有節(jié)點滿足用戶A的請求，則繼續(xù)查找其他域內(nèi)服務(wù)節(jié)點。如此查詢下去，如果最終沒有找到符合該請求的資源，那么服務(wù)節(jié)點C通知用戶A和網(wǎng)格中心節(jié)點的最終結(jié)果。 在資源調(diào)度和分配過程中，并未訪問中心節(jié)點，只是到調(diào)度、分配結(jié)束后才傳遞消息給中心節(jié)點，這樣大大減少了中心節(jié)點的負載。 2.4系統(tǒng)中的存儲資源定位 在網(wǎng)格存儲系統(tǒng)中，一個重要的功能就是資源定位:給定

12、一個資源的描述，資源定位部件返回一個或者多個滿足該描述的資源的位置。 當(dāng)客戶和存儲節(jié)點在同一個域內(nèi)，用戶向系統(tǒng)發(fā)送存儲定位請求，檢測出同域內(nèi)的存儲對象A。用戶和存儲節(jié)點不在同一個域內(nèi)，用戶向所在域的服務(wù)節(jié)點C發(fā)送資源定位請求，服務(wù)節(jié)點C在其SSI中讀取其它域內(nèi)服務(wù)節(jié)點B，并對其發(fā)出請求，通過服務(wù)節(jié)點B對存儲節(jié)點A進行定位【4】。 3系統(tǒng)測試 為了測試所設(shè)計的基于網(wǎng)格的分布式存儲系統(tǒng)性能，本文按照圖2的結(jié)構(gòu)搭建網(wǎng)絡(luò)環(huán)境，并進行文件傳輸性能測試。 用戶向系統(tǒng)寫文件是指用戶將自己本地磁盤中的文件上傳到網(wǎng)格分布式系統(tǒng)系統(tǒng)的操作。用戶從系統(tǒng)讀取文件是指用戶將文件數(shù)據(jù)下載到本地的操作。在測試中，在三個網(wǎng)段

13、中各配置了一臺服務(wù)器，通過此服務(wù)器的路由延遲轉(zhuǎn)發(fā)功能實現(xiàn)計算機間的網(wǎng)絡(luò)通信模擬。測試使用的數(shù)據(jù)集是100個不同大小、類型的文件，并將這些文件根據(jù)文件尺寸的大小大致分為8類：128KB，512KB，2MB，8MB， 32MB，128MB，256MB和512MB。 首先，對實驗所采用的100個存儲節(jié)點進行網(wǎng)絡(luò)測試，并分別上傳/下載這些不同大小的文件，記錄每個文件的上傳/下載時間。在存儲節(jié)點A上再用FTP方式上傳/下載這些文件，并記錄每個文件的上傳/下載時間。 寫性能測試結(jié)果如圖4所示。從圖4可以看出：在文件較小時，網(wǎng)格分布式系統(tǒng)和FTP寫性能相當(dāng)，當(dāng)文件較大時，網(wǎng)格分布式系統(tǒng)寫性能高于FTP。根據(jù)

14、對網(wǎng)格分布式系統(tǒng)寫文件過程的描述可知，節(jié)點可以同時從多個副本處并行下載數(shù)據(jù)，大大提高了下載速度。 文件大小 圖4 網(wǎng)格分布式系統(tǒng)與FTP寫文件的性能比較 讀性能測試結(jié)果如圖5所示。從圖5可以看出：文件較小時，網(wǎng)格分布式系統(tǒng)和FTP讀性能相當(dāng)，隨著文件的增大，網(wǎng)格分布式系統(tǒng)表現(xiàn)出比FTP優(yōu)異的讀性能。 文件大小 圖5網(wǎng)格分布式系統(tǒng)與FTP讀文件的性能比較 通過測試結(jié)果可以看出本系統(tǒng)文件傳輸性能比FTP要高，并且文件越大，讀寫性能增幅越大。 4.結(jié)束語 網(wǎng)格存儲是一個新興的研究領(lǐng)域，要真正實現(xiàn)一個穩(wěn)定、安全、高效的基于網(wǎng)格的分布式存儲系統(tǒng)，還有很長的路要走，還有許多問題需要探討和解決，需要繼續(xù)努力、反復(fù)地實驗和不斷地完善現(xiàn)有的理論和技術(shù)。 參考文獻：