虛擬化存儲系統(tǒng)

1、【最新卓越管理方案 您可自由編輯】（VR虛擬現(xiàn)實）虛擬化存儲系統(tǒng)2020年5月多年的企業(yè)咨詢顧問經(jīng)驗，經(jīng)過實戰(zhàn)驗證可以落地執(zhí)行的卓越管理方案，值得您下載擁有虛擬化存儲系統(tǒng)華中科技大學(xué)集群與網(wǎng)格計算湖北省點實驗室信息存儲系統(tǒng)教育部重點實驗室2003年12月課題研究背景當今社會，信息正以超乎人們想象的速度增長，這對信息存儲系統(tǒng)的容量和 速度提出了空前的要求，由此引發(fā)的各種問題也隨之而來。人們對信息數(shù)據(jù)日益 廣泛的需求導(dǎo)致存儲系統(tǒng)的規(guī)模變得越來越龐大，管理越來越復(fù)雜，信息資源的 爆炸性增長和管理能力的相對不足之間的矛盾日益尖銳。同時，這種信息資源的 高速增長也對存儲系統(tǒng)的可靠性和擴展性提出了挑戰(zhàn)，信

2、息資源的共享也顯得越 來越重要。在廣域網(wǎng)中存在大量相互獨立的數(shù)據(jù)孤島，它們之間的數(shù)據(jù)資源不能共享， 存儲空間不能得到有效使用，數(shù)據(jù)的傳輸性能不足。存儲虛擬化是指將用戶看到 的存儲資源同具體的物理存儲設(shè)備分隔開來，為存儲用戶提供統(tǒng)一的虛擬存儲 池。它是具體存儲設(shè)備或存儲系統(tǒng)的抽象，展示給用戶一個邏輯視圖，同時將應(yīng) 用程序和用戶所需要的數(shù)據(jù)存儲操作和具體的存儲控制分離。存儲虛擬化的任務(wù) 首先是在多個物理存儲設(shè)備或存儲系統(tǒng)上創(chuàng)建一個抽象層，屏蔽復(fù)雜性，簡化管 理;其次是對存儲資源進行優(yōu)化。本課題研究了廣域網(wǎng)范圍和存儲局域網(wǎng)（SAN） 內(nèi)部的存儲虛擬化技術(shù)，以及支撐這種技術(shù)的文件系統(tǒng)。據(jù)統(tǒng)計，在企業(yè)網(wǎng)

3、、局域網(wǎng)內(nèi)部采用分布式存儲技術(shù)的企業(yè)，其存儲服務(wù)器、 磁盤陣列甚至PC的存儲空間利用率一般只達到50%，很多設(shè)備甚至還達不到， 用戶投資被大量浪費。由于文件服務(wù)器系統(tǒng)缺乏對并行I/O的支持，在大量用戶 訪問或遭到惡意訪問攻擊時，系統(tǒng)將很快達到飽和而無法完成服務(wù)。通過存儲虛 擬化技術(shù)，不僅可以簡化異構(gòu)存儲管理的復(fù)雜性，更可以高效充分地利用存儲空 間。通過在互連網(wǎng)絡(luò)環(huán)境中引入分布式RAID功能，能夠?qū)崿F(xiàn)數(shù)據(jù)有效備份和容 災(zāi)，提高信息的安全可靠性。通過將三級存儲設(shè)備虛擬為二級存儲，可以為用戶 提供快速海量存儲。局域網(wǎng)的網(wǎng)絡(luò)存儲技術(shù)基本上可以分NAS和SAN兩大類而NAS和SAN 又各有其優(yōu)缺點。因此

4、，提供一種技術(shù)將NAS和SAN統(tǒng)一整合起來是一個很 有意義的研究課題。在由高速串行SCSI接口構(gòu)建的SAN中，如果沒有SAN管理軟件的管理和 調(diào)度，只要存在兩臺主機，就必然存在共享沖突的問題，存儲設(shè)備就無法正常工 作，光纖通道的優(yōu)點就無法體現(xiàn)出來。相反，如果SAN管理軟件管理調(diào)度得當， FC所具有的優(yōu)勢就能被充分發(fā)揮出來，在此基礎(chǔ)上，還可在系統(tǒng)中增添如并行 存儲、負載平衡和數(shù)據(jù)遷移等功能，將使系統(tǒng)具有非常高的性能，全方位解決在 信息高速公路中服務(wù)器存儲系統(tǒng)的瓶頸問題。SAN的管理問題，已成為當前學(xué)術(shù)界和產(chǎn)業(yè)界最為重要的一個熱點。但是， 目前處于領(lǐng)先地位的Veritas、IBM和HP等國外著名公

5、司的SAN管理軟件產(chǎn)品， 多采用靜態(tài)/動態(tài)配置的分布式管理策略，即把存儲網(wǎng)絡(luò)中的存儲設(shè)備集合成為 磁盤池(diskpool)并劃分為卷(Volume)空間后把各卷配置給SAN中的各臺主 機，卷只能被其擁有主機進行讀寫操作，不同主機之間不能直接共享同一卷中的 數(shù)據(jù)，而只能通過傳統(tǒng)文件服務(wù)器的C-S模式共享卷中的數(shù)據(jù)。采用配置文件 進行分布式管理的SAN系統(tǒng)實現(xiàn)了存儲設(shè)備和存儲空間的共享，但還不具備文 件共享和元數(shù)據(jù)共享的能力。隨著客戶對數(shù)據(jù)的依賴性迅猛增長，數(shù)據(jù)存儲的可靠性和可用性正日益成為 企業(yè)信息化進程中的一個關(guān)鍵環(huán)節(jié)。而文件系統(tǒng)作為連接底層物理磁盤與上層應(yīng) 用層之間的紐帶，在信息存儲中起著

6、至關(guān)重要的作用，如何為文件系統(tǒng)提供故障 恢復(fù)功能以及如何提高文件系統(tǒng)的可用性成了目前亟待解決的關(guān)鍵問題。在863項目“存儲虛擬化及其文件系統(tǒng)研究”的資助下，我們對存儲虛擬 化及其相關(guān)技術(shù)進行了深入研究。經(jīng)過兩年的探索、研究和開發(fā)，本項目組成功 研制了虛擬化存儲系統(tǒng)。系統(tǒng)總體結(jié)構(gòu)虛擬化存儲系統(tǒng)可以將分布在互聯(lián)網(wǎng)上的各種存儲資源整合成具有統(tǒng)一邏 輯視圖的高性能存儲系統(tǒng)，因此又成為 GDSS(GlobalDistributedStorageSystem)系統(tǒng)。整個系統(tǒng)主要包括存儲服務(wù)點 SSP(StorageServicePoint)、全局命名服務(wù)器 GNS(GlobalNameServer)、資源

7、 管理器 RM(ResourceManager)、認證中心 CA(CertificateAuthority)、客戶端、 存儲代理SA(StorageAgent )以及可視化管理，如圖1所示。SSP是整個系統(tǒng)的入口，對系統(tǒng)所有模塊的訪問都通過SSP，它主要提供 FTP接口、CA接口、RM接口和GNS接口；系統(tǒng)中SSP的個數(shù)可以根據(jù)需要 動態(tài)增加；SSP接管了傳統(tǒng)方案中GNS的部分功能，減輕了 GNS的負載，提 高了系統(tǒng)的可擴展性。GNS負責系統(tǒng)的元數(shù)據(jù)管理，主要包括元數(shù)據(jù)操作接口、元數(shù)據(jù)容錯系統(tǒng)、 元數(shù)據(jù)搜索系統(tǒng)。RM包括資源調(diào)度模塊和副本管理模塊，其主要負責資源的申請和調(diào)度，同時提供透明的副本

8、創(chuàng)建和選擇策略。副本技術(shù)減少了文件數(shù)據(jù)訪問延遲和帶寬消 耗，有助于改善負載平衡和可靠性。尤其是動態(tài)的副本創(chuàng)建機制，即自動的選擇 存儲點以創(chuàng)建副本，并根據(jù)用戶的特征而自動變化創(chuàng)建策略，為副本機制提供了 更高的靈活性?？蛻舳四壳爸С秩N形式：通用FTP客戶端、文件訪問接口和特制客戶端。 用戶通過系統(tǒng)提供的特制客戶端，不但能夠進行用戶組操作，具有搜索和共享等 功能，還可以獲得更高性能的服務(wù)。CA包含證書管理系統(tǒng)，主要負責系統(tǒng)的安全性和數(shù)據(jù)的訪問控制，同時它 記錄了用戶的注冊信息。SA屏蔽了存儲資源的多樣性，為系統(tǒng)提供統(tǒng)一存儲訪問接口，同時提供了 文件操作方式和擴展的FTP操作方式，另外它對文件復(fù)制管

9、理操作提供支持， 為高效傳輸提供服務(wù)。同時SA這一級實現(xiàn)了局域存儲資源的虛擬化，包括統(tǒng)一 SAN和NAS，分布式的磁盤虛擬化、磁帶庫虛擬化和SAN內(nèi)部共享管理等。圖1：虛擬化存儲系統(tǒng)整體架構(gòu)系統(tǒng)功能及關(guān)鍵技術(shù)GDSS系統(tǒng)的功能模塊劃分如圖2所示。圖2 :系統(tǒng)功能模塊圖3.1多樣的數(shù)據(jù)訪問接口GDSS系統(tǒng)為終端用戶提供形式多樣的訪問方式：標準FTP協(xié)議的服務(wù)。特定的GDSP協(xié)議的服務(wù)。兼容MPII/O文件讀寫接口。客戶端的類Java文件I/O。GDSS圖形客戶端。終端用戶的服務(wù)訪問點是SSP。SSP采用協(xié)議分離的層次式結(jié)構(gòu)，支持三方 數(shù)據(jù)傳輸，并具有平臺無關(guān)、語言無關(guān)的特性。3.2元數(shù)據(jù)管理和容

10、錯元數(shù)據(jù)管理涉及的關(guān)鍵研究內(nèi)容包括：定義元數(shù)據(jù)信息，包括存儲資源、文 件、用戶等信息；元數(shù)據(jù)服務(wù)器的擴展；基于用戶的資源分配方案，系統(tǒng)提供基 于用戶的資源存儲視圖，實現(xiàn)邏輯文件名與物理文件位置的分離及映射功能；元 數(shù)據(jù)信息與其他相關(guān)應(yīng)用的兼容性；元數(shù)據(jù)信息的檢索；元數(shù)據(jù)服務(wù)器性能的優(yōu) 化。采用LDAP目錄服務(wù)器（DS）來進行元數(shù)據(jù)的組織管理。元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，一旦丟失，影響全局，因此需要對其容錯功能進 行研究。元數(shù)據(jù)的數(shù)據(jù)量相對較小，所以本系統(tǒng)采用多副本對元數(shù)據(jù)進行容錯。 不同的用戶有不同的權(quán)限，可以對其元數(shù)據(jù)要求不同的安全級別。對于安全級別 比較高的元數(shù)據(jù)，可以分配較多的副本。3.3全

11、局范圍內(nèi)的數(shù)據(jù)共享與訪問控制虛擬化存儲系統(tǒng)的一個首要目的是消除分布在廣域范圍內(nèi)的多個信息孤島， 在更大范圍內(nèi)更好地實現(xiàn)數(shù)據(jù)共享，從而盡可能地使用戶找到他想得到的數(shù)據(jù)。 數(shù)據(jù)資源的共享要實現(xiàn)兩個目標：a.數(shù)據(jù)在兩個用戶之間的交流共享；b.數(shù)據(jù)同 時在多個用戶之間的交流共享。由數(shù)據(jù)共享所引申出來的一個問題是數(shù)據(jù)的訪問 控制。不同的用戶對共享的數(shù)據(jù)具有不同的訪問權(quán)限，必須把用戶限制在他所能 操作的數(shù)據(jù)和所能實施的權(quán)限上。GDSS系統(tǒng)的物理存儲資源以域的形式來劃分。每個域都是一個自治的資源 實體，可以設(shè)定自己的資源使用策略和對外服務(wù)提供策略。GDSS系統(tǒng)負責把這 些物理資源實體組織和管理起來對終端用戶

12、提供統(tǒng)一的存儲服務(wù)。這里，我們把 GDSS系統(tǒng)的資源使用者稱為終端用戶?，F(xiàn)實世界中的實體可以根據(jù)自己的資源 需要和不同域所能提供的資源服務(wù)類型，來選定一個域進行注冊。然后他就可以 使用GDSS系統(tǒng)的數(shù)據(jù)資源和存儲資源。GDSS系統(tǒng)引入一個新的概念，存儲服 務(wù)點(SSP)。GDSS系統(tǒng)提供許多分散的SSP，它們獨立于所有的域，是用戶訪 問存儲資源的入口。SSP向最終用戶提供數(shù)據(jù)存儲服務(wù)，并負責和所有域的GNS 和SA進行控制交互。3.4全局統(tǒng)一的文件名字空間文件命名空間用于幫助用戶如何發(fā)現(xiàn)一個存在于特定位置的數(shù)據(jù)文件。名 字空間通常有兩種實現(xiàn)方法：一是建立一個完全全局統(tǒng)一的名字空間，所有的 用戶

13、可以看到系統(tǒng)中的所有數(shù)據(jù)文件；二是多名字空間系統(tǒng)，不同的用戶或不 同位置使用的名字空間不同，可以訪問數(shù)據(jù)資源也有所不同。虛擬化存儲系統(tǒng) 中存在大量分散的用戶和大量分散的數(shù)據(jù)，如何建立一個文件命名機制是一個 重要問題。它必須實現(xiàn)文件定位的高效率、位置透明性和訪問透明性。GDSS系統(tǒng)的名字空間結(jié)合了單一名字空間和多名字空間的特點，建立了 一個全局統(tǒng)一的文件命名空間，對所有的用戶提供相同的文件命名、定位和訪 問機制。同時針對不同的用戶的興趣，為他們提供不同的數(shù)據(jù)視圖，這樣，系 統(tǒng)針對特定用戶要維護的元數(shù)據(jù)信息也相應(yīng)減少從而提供了數(shù)據(jù)定位的效率。整個GDSS系統(tǒng)的物理資源由分散的多個自治域構(gòu)成，但給用

14、戶提供的名 字空間是邏輯的，以屏蔽數(shù)據(jù)物理位置的分散性，實現(xiàn)數(shù)據(jù)的透明訪問。就是 說，用戶對數(shù)據(jù)文件的各種訪問操作都是在邏輯名字空間上進行的。SSP負責 邏輯名字空間的構(gòu)建，而SSP與域中的GNS和RM來共同完成數(shù)據(jù)文件的完 全邏輯限定名到實際數(shù)據(jù)物理位置的轉(zhuǎn)換。3.5數(shù)據(jù)副本管理技術(shù)GDSS系統(tǒng)提供數(shù)據(jù)副本管理技術(shù)。主要的研究內(nèi)容有：副本創(chuàng)建的時機； 副本創(chuàng)建的策略；副本的更新時機；副本的替換的時機；副本的選擇的策略；副 本的傳輸。GDSS系統(tǒng)動態(tài)副本模型主要由副本目錄、資源管理器、訪問紀錄器、副本管理器、副本傳輸器等五部分構(gòu)成。其中，副本目錄提供文件和對象的邏輯名字 到具體物理存儲位置之間

15、的映射；資源管理器負責存儲資源的調(diào)度分配和管理， 收集域內(nèi)存儲系統(tǒng)的物理屬性，資源管理器同時充當著資源選擇器的角色；訪問 記錄器記錄本域或遠域用戶對文件的訪問情況，如訪問用戶、用戶所在域、文件 訪問時間、文件大小、訪問回復(fù)延遲；副本管理器是整個副本模型的中樞，可以 對副本目錄進行條目的添加、刪除、更新操作，并監(jiān)控和觸發(fā)副本實際過程。3.6 數(shù)據(jù)安全如何保證數(shù)據(jù)不會被越權(quán)訪問是存儲虛擬化所面臨的關(guān)鍵問題之一。GDSS 采用訪問控制和安全認證相結(jié)合的方式保證數(shù)據(jù)的安全。訪問控制在前面已經(jīng)介 紹過，本節(jié)介紹系統(tǒng)的安全認證架構(gòu)。GDSS綜合考慮Kerberos私鑰認證方式 和PKI公鑰認證方式兩者的特

16、點，并將其有效結(jié)合，提供了一種能夠適應(yīng)廣域網(wǎng) 環(huán)境下身份認證和授權(quán)訪問要求的安全模型，具有以下優(yōu)點：通過使用層次CA認證架構(gòu)在廣域全局范圍內(nèi)發(fā)放證書。同時，密鑰的 管理、分配、存儲都采用證書的方式。實現(xiàn)了一次性簽放的機制，所有簽放票據(jù)都有一個有效期。使用訪問控制服務(wù)器，有效加強本地域內(nèi)安全策略的實施。支持雙向的身份認證。3.7數(shù)據(jù)傳輸虛擬化存儲系統(tǒng)需要一種高效可靠的數(shù)據(jù)傳輸機制以支持大量數(shù)據(jù)的移動、 傳輸和復(fù)制，這種傳輸機制具有以下幾種功能：快速數(shù)據(jù)傳輸：可以采用并行數(shù)據(jù)傳輸，分塊傳輸和流水線技術(shù)等多種 機制來保證；分塊數(shù)據(jù)傳輸：由于系統(tǒng)的數(shù)據(jù)是廣泛分布的，所以需要支持多個數(shù)據(jù) 塊的并發(fā)數(shù)據(jù)傳

17、輸；部分數(shù)據(jù)傳輸：可以支持斷點續(xù)傳；第三方數(shù)據(jù)傳輸：由于應(yīng)用和數(shù)據(jù)都是分布式的，許多應(yīng)用需要用到多 個資源，所以必須提供一種機制，允許一個地點的用戶或應(yīng)用能夠啟動、 監(jiān)視和控制其他兩個地點存儲系統(tǒng)的數(shù)據(jù)傳輸，為應(yīng)用使用多個地點的 資源提供保障；為了保證存儲虛擬化中數(shù)據(jù)的高效、可靠傳輸，我們在SSP、SA、Client 和文件訪問接口里面都插入了傳輸控制模塊。3.8文件訪問接口GDSS系統(tǒng)向用戶提供文件系統(tǒng)訪問接口，同時系統(tǒng)提供對MPI-IO的支持。 文件接口由多個功能模塊組成，例如文件打開模塊、文件讀模塊、文件寫模塊、 文件定位模塊、文件大小截取模塊、文件flush模塊、文件刪除模塊和文件關(guān)閉

18、 模塊。ROMIO是MPI-IO規(guī)范的一個高性能、可移植實現(xiàn)。ADIO (Abstract-DeviceInterfaceforParallelI/O)是 ROMIO 的一個關(guān)鍵部分，它 不是提供給編程人員的新的APIs，而是實現(xiàn)其他APIs的一種策略。ADI。在不 同的文件系統(tǒng)上實現(xiàn)提供一組最基本的并行I/O訪問的函數(shù)。ROMIO對GDSS 系統(tǒng)的操作是先將操作轉(zhuǎn)化為ADIO層對文件的操作，之后轉(zhuǎn)化為GDSS系統(tǒng) 對其文件的操作。3.9全局可視化管理GDSS通過分布的、全局統(tǒng)一的Web服務(wù)器來提供全局一致的服務(wù)管理。管理員可以通過支持Javaplug-in的瀏覽器方便的從遠程對整個系統(tǒng)進行監(jiān)

19、控 管理。監(jiān)控管理主要分為四個模塊：全局信息和證書的管理：負責注冊、管理全局的域信息和SSP信息，以 及證書的管理；SSP管理 負責對SSP服務(wù)器的資源狀態(tài)信息進行啟動管理、鏈接管理、 監(jiān)控；GNS管理：負責對GNS服務(wù)器的資源狀態(tài)信息進行啟動管理、鏈接管 理、監(jiān)控；RM管理：負責對RM和Agent的資源狀態(tài)信息進行監(jiān)控，對RM服 務(wù)器進行啟動管理、配置管理、策略配置以及副本數(shù)據(jù)的維護。所有的管理模塊通過Http服務(wù)的方式進行鏈接統(tǒng)一在全局信息服務(wù)器上。3.10虛擬化分布式磁盤陣列分布式磁盤陣列可以將各個網(wǎng)絡(luò)結(jié)點的空余存儲空間按照一定的磁盤陣列 級別進行組織，使得在客戶端將分布式磁盤陣列虛擬成

20、本地邏輯磁盤驅(qū)動器，利 用本地已有的文件系統(tǒng)管理虛擬磁盤上的數(shù)據(jù)，這樣客戶端可以不需通過服務(wù) 器，就可在本地驅(qū)動程序棧中生成對虛擬磁盤訪問的邏輯塊命令。同時，服務(wù)器 的職能轉(zhuǎn)換成為一種功能單一的網(wǎng)絡(luò)控制臺，負責將分布的磁盤陣列空間統(tǒng)一為 一個大的存儲池，提供給客戶端的用戶使用。在傳統(tǒng)存儲梯次結(jié)構(gòu)中磁帶庫通常作為歸檔、備份等第三級存儲設(shè)備使用， 在這里它被虛擬化為塊設(shè)備作為二級存儲設(shè)備使用。無論是磁盤驅(qū)動器還是磁帶 庫，最終向上層呈現(xiàn)的都是可管理的存儲區(qū)間。雖然系統(tǒng)為不同類別的外部存儲 設(shè)備提供不同的中間層驅(qū)動程序，但這些驅(qū)動程序功能是相似的，都把文件系統(tǒng) 的I/O命令化為可以被底層驅(qū)動理解并執(zhí)

21、行的標準I/O命令。因此在中間層對它 們進行虛擬化管理是可行的，這是磁帶庫緩沖調(diào)度系統(tǒng)得以實現(xiàn)的基礎(chǔ)。磁帶庫緩存調(diào)度系統(tǒng)向用戶提供一個容量與磁帶庫存儲空間相同的、可以進 行隨機I/O訪問的虛擬設(shè)備，用戶可以像使用常規(guī)物理硬盤一樣使用它。緩沖存 儲調(diào)度的實現(xiàn)中利用了虛擬化概念。當收到上層驅(qū)動派生的I/O命令后，驅(qū)動程 序首先訪問緩存空間，若數(shù)據(jù)命中則直接完成I/O處理，若數(shù)據(jù)不命中則需要訪 問磁帶庫，經(jīng)過磁帶庫調(diào)度完成I/O。3.12文件系統(tǒng)容錯機制文件系統(tǒng)作為連接底層物理磁盤與上層應(yīng)用層之間的紐帶，在信息存儲中起 著至關(guān)重要的作用，如何為文件系統(tǒng)提供故障恢復(fù)功能以及如何提高文件系統(tǒng)的 可用性成

22、了目前亟待解決的關(guān)鍵問題。我們對文件系統(tǒng)中存在的同步寫、異步寫 問題，數(shù)據(jù)結(jié)構(gòu)中復(fù)雜的指針從屬關(guān)系引起的數(shù)據(jù)不一致性問題，異常掉電、系 統(tǒng)突然崩潰、磁盤物理故障等導(dǎo)致磁盤文件系統(tǒng)故障的問題作了研究。針對這些 問題，我們提供文件系統(tǒng)高可用性的解決方案，提出了文件系統(tǒng)鏡像分布策略， 研制開發(fā)了針對文件系統(tǒng)的文件快照技術(shù)（Snapshot）?？煺占夹g(shù)是一種保留某一時刻文件系統(tǒng)映像的技術(shù)，它用最短的時間和最低的消耗實現(xiàn)文件系統(tǒng)的只讀備份，其目的是在應(yīng)用層有效地保護數(shù)據(jù)不被破壞。 文件系統(tǒng)快照就是對文件系統(tǒng)的元數(shù)據(jù)的復(fù)制和監(jiān)控。我們通過記錄整個文件系 統(tǒng)的元數(shù)據(jù)在某一時刻的狀態(tài)，建立文件系統(tǒng)在這一時刻的

23、快照。我們使用寫時 拷貝(Write-on-Copy)技術(shù)保證快照文件的一致性。在建立了文件系統(tǒng)快照 后，所有應(yīng)用I/O對相應(yīng)的文件系統(tǒng)所使用的磁盤塊寫入時，都需要將待修改的 原始磁盤塊復(fù)制到快照文件的數(shù)據(jù)區(qū)，并將快照文件中相應(yīng)的磁盤塊指針指向新 復(fù)制的磁盤塊。這樣，通過快照文件就可以獲取文件系統(tǒng)在某一時刻的完整靜態(tài) 備份。3.13SAN系統(tǒng)的共享沖突與管理在SAN中，存儲設(shè)備與主機之間不再有從屬關(guān)系，任意主機都可向存儲設(shè) 備發(fā)送SCSI命令，而存儲設(shè)備所具有的功能僅只是忠實地執(zhí)行所接收到的SCSI 命令，存儲設(shè)備并不知道命令的內(nèi)容和數(shù)據(jù)的邏輯意義。這樣，多臺主機共享存 儲設(shè)備時就必然存在著共

24、享沖突問題。為了解決這一問題，必須對SAN進行有 效的管理。在SAN中共享沖突主要表現(xiàn)在如下幾個方面：緩存數(shù)據(jù)一致性；節(jié) 點間的數(shù)據(jù)一致性；元數(shù)據(jù)一致性。解決SAN中共享沖突問題的方法主要有兩種：集中控制和分布式管理。集 中控制的管理系統(tǒng)結(jié)構(gòu)簡單，容易實現(xiàn)，適宜于小規(guī)模或中等規(guī)模系統(tǒng)。其缺點 是系統(tǒng)的管理開銷極大地決定于管理策略，而管理策略制訂較為困難，存儲管理 服務(wù)器容易成為瓶頸。為了解決集中控制的性能瓶頸問題，本系統(tǒng)使用光纖通道 (FC)技術(shù)實現(xiàn)了一個具備三方傳送功能的SAN系統(tǒng)。在這個系統(tǒng)中，客戶機 從存儲管理服務(wù)器獲得授權(quán)和控制信息之后，數(shù)據(jù)的傳送直接在網(wǎng)絡(luò)設(shè)備和客戶 機之間進行，無需

25、存儲管理服務(wù)器的存儲-轉(zhuǎn)發(fā)”，從而解決共享沖突的同時， 也提高了傳輸?shù)男?，實現(xiàn)了文件元數(shù)據(jù)的共享。為了提高管理效率，避免存儲 管理服務(wù)器成為系統(tǒng)瓶頸，采用數(shù)據(jù)流與命令流分離的方法。3.14統(tǒng)一存儲網(wǎng)網(wǎng)絡(luò)存儲技術(shù)基本上可以分NAS和SAN兩大類，而NAS和SAN又各有 其優(yōu)缺點。結(jié)合目前IP存儲的最新發(fā)展成果，我們提出基于TCP/IP的統(tǒng)一存儲 網(wǎng)體系結(jié)構(gòu) USN( UnifiedStorageNetwork)。其原理是：采用TCP/IP作 為存儲網(wǎng)絡(luò)的構(gòu)建技術(shù)，利用IP互聯(lián)設(shè)備來構(gòu)建存儲區(qū)域網(wǎng)，其中存儲設(shè)備包 括iSCSI設(shè)備(為塊設(shè)備)和NAS設(shè)備(為文件設(shè)備)。從體系結(jié)構(gòu)的角度來說，US

26、N具備了傳統(tǒng)SAN高性能、易擴展等特點；同 時，通過高速附網(wǎng)通道將存儲子系統(tǒng)直接聯(lián)入LAN，從而形成了一個廣義的 NAS。為將整個存儲網(wǎng)絡(luò)中存儲設(shè)備整合成單一的存儲池，在USN中有一個專 門的元數(shù)據(jù)服務(wù)器MetadataServer(MS)，用于對USN中的存儲設(shè)備進行集中 管理。在USN中，有兩類數(shù)據(jù)通道：服務(wù)器通道和附網(wǎng)直連通道 (NetworkAttachedChannel)。數(shù)據(jù)從存儲設(shè)備讀出之后，對于需要由應(yīng)用服 務(wù)器處理的數(shù)據(jù)，通過服務(wù)器通道由服務(wù)器處理之后轉(zhuǎn)發(fā)；對于不需要應(yīng)用服務(wù) 器進一步處理的數(shù)據(jù)，則由NAC直接返回客戶，從而真正實現(xiàn)客戶與存儲設(shè)備 之間的數(shù)據(jù)傳送。技術(shù)特色(1

27、)廣域的虛擬化分布式存儲架構(gòu)GDSS系統(tǒng)將分布在廣域范圍內(nèi)的數(shù)據(jù)資源統(tǒng)一管理，屏蔽了底層數(shù)據(jù)資源 的異構(gòu)性、分散性，采用多個分布的存儲服務(wù)點為用戶提供了一個透明的全局數(shù) 據(jù)視圖。(2 )多樣的數(shù)據(jù)訪問接口GDSS系統(tǒng)為終端用戶提供形式多樣的訪問方式：1.標準FTP協(xié)議的服務(wù)。2.特定的GDSP協(xié)議的服務(wù)。3.兼容MPII/O文件讀寫接口。4.客戶端的類Java 文件/O。5.GDSS圖形客戶端。(3 )全局統(tǒng)一的文件名字空間GDSS系統(tǒng)的名字空間結(jié)合了單一名字空間和多名字空間的特點，建立了一 個全局統(tǒng)一的文件命名空間，對所有的用戶提供相同的文件命名、定位、和訪問 機制。同時針對不同的用戶的興趣

28、，為他們提供不同的數(shù)據(jù)視圖。(4)面向用戶特性的數(shù)據(jù)共享GDSS系統(tǒng)根據(jù)用戶使用數(shù)據(jù)資源的特性將用戶分為各人用戶和組用戶，并 且相應(yīng)的提供兩種數(shù)據(jù)共享方式：簡單數(shù)據(jù)共享和帶目錄一級ACL訪問控制的 數(shù)據(jù)共享。(5 )動態(tài)的副本管理機制在GDSS系統(tǒng)中，通過創(chuàng)建同一數(shù)據(jù)的多個副本可以有效減少訪問延遲和 帶寬消耗，同時數(shù)據(jù)副本技術(shù)有助于改善系統(tǒng)負載均衡和可靠性。尤其是動態(tài)副 本機制，即自動選擇存儲點進行副本創(chuàng)建、刪除和管理，并根據(jù)用戶的特征而自 動變化副本策略，給用戶提供了更高的靈活性。(6)高性能數(shù)據(jù)分片傳輸技術(shù)存儲虛擬化涉及大量數(shù)據(jù)的移動、傳輸和復(fù)制，我們初步建立了一個在廣域 網(wǎng)上的高效數(shù)據(jù)傳

29、輸機制，具體包括：1.分片傳輸；2.部分數(shù)據(jù)傳輸；3.分布式 合作傳輸；4.斷點續(xù)傳；5.Socket復(fù)用。(7 )全局可視化統(tǒng)一管理GDSS通過分布的、全局統(tǒng)一的Web服務(wù)器來提供全局一致的服務(wù)管理。管理員可以通過支持Javaplug-in的瀏覽器方便從遠程對整個系統(tǒng)進行監(jiān)控管 理。監(jiān)控管理主要分為四個模塊：全局信息和證書的管理；SSP管理；GNS管 理；RM管理。所有的管理模塊通過Http服務(wù)的方式進行鏈接，統(tǒng)一在全局信 息服務(wù)器上。(8 )靈活的安全認證機制GDSS系統(tǒng)采用PKI/CA的身份認證和Kerberos的訪問控制相結(jié)合的底層 安全架構(gòu)。PKI/CA的CA中心采用網(wǎng)狀和層次相結(jié)合

30、的布局方式，極大提高了 安全架構(gòu)的靈活性和動態(tài)可擴展性。(9 )基于低層驅(qū)動的并行I/O能力和熱點數(shù)據(jù)自動遷移針對高帶寬任務(wù)情況下的傳輸瓶頸，采用了一種分布存儲-并行傳輸?shù)牟呗裕?將分配到單服務(wù)器的傳輸任務(wù)分配到多個結(jié)點執(zhí)行。結(jié)合網(wǎng)絡(luò)中熱點數(shù)據(jù)服務(wù)損 失問題，實施數(shù)據(jù)自遷移，根據(jù)用戶請求量的變化，調(diào)整遷移策略改善對特定數(shù) 據(jù)的服務(wù)能力。支持對Snapshot的中斷、刪除等操作。(10 )基于系統(tǒng)內(nèi)核的多層次存儲虛擬基于操作系統(tǒng)的存儲設(shè)備驅(qū)動棧，在不同驅(qū)動層次實現(xiàn)虛擬化存儲：在原有 多種中間層驅(qū)動程序基礎(chǔ)上提出公用中間層驅(qū)動概念，將各種存儲資源集中管 理，構(gòu)建虛擬化存儲池；在適配器驅(qū)動層實現(xiàn)虛擬

31、化存儲并通過多通道并行調(diào)度 提高系統(tǒng)I/O性能。流水I/O技術(shù)流水I/O技術(shù)將一個I/O任務(wù)中涉及到的網(wǎng)絡(luò)I/O、磁盤I/O和數(shù)據(jù)搬動、 協(xié)議變換等處理功能劃分為多個操作環(huán)節(jié)，通過實時調(diào)度軟件使多個I/O任務(wù)通 過流水方式并行處理。對于系統(tǒng)底層存儲I/O部分也采用了同一技術(shù)思想，利用 外部I/O協(xié)議所提供的排隊等功能在預(yù)取操作中采用了簡單有效的兩段流水操 作方式，即一次發(fā)送多條I/O命令，通過底層的并行I/O調(diào)度，在前一條命令通 過外部I/O總線向主機傳送數(shù)據(jù)時，后一條命令正在從底層存儲設(shè)備上存取數(shù) 據(jù)，提高了主從通道和設(shè)備通道的利用率。對于能夠較準確預(yù)測下一次I/O地址 的應(yīng)用，如視頻應(yīng)用，

32、可以在存儲系統(tǒng)采用這種流水預(yù)取數(shù)據(jù)方法有效提高性能。文件系統(tǒng)快照文件系統(tǒng)快照對文件系統(tǒng)的元數(shù)據(jù)的復(fù)制和監(jiān)控，通過記錄整個文件系統(tǒng)的元數(shù)據(jù)在某一時刻的狀態(tài)，建立文件系統(tǒng)在這一時刻的完整靜態(tài)備份。支持基于 塊設(shè)備的快照處理方法，以磁盤分區(qū)為單位，進行一對一的快照操作。支持多級 快照。（13）SAN和3的統(tǒng)一USN通過IP互聯(lián)設(shè)備將應(yīng)用服務(wù)器、存儲設(shè)備等互連成為一個基于IP的 SAN。從體系結(jié)構(gòu)的角度來說，具備了傳統(tǒng)SAN高性能、易擴展等特點。同時 通過高速的附網(wǎng)直連通道直接聯(lián)入LAN回路，從而形成了一個廣義的附網(wǎng)存儲 （NAS）。和國際上現(xiàn)有NAS/SAN融合方案相比，USN具有如下特點：1、支

33、持兩類設(shè)備的接入，可以同時對塊設(shè)備和文件設(shè)備進行統(tǒng)一管理，并形成為單一 的命名空間；2、存儲網(wǎng)絡(luò)中文件設(shè)備的引入，使得USN可以同時提供兩種服 務(wù)：塊I/O和文件I/O服務(wù)；3、附網(wǎng)直連通道的引入，使得不需要由應(yīng)用服務(wù) 器作進一步處理的數(shù)據(jù)可經(jīng)NAC直接返回，避免了應(yīng)用服務(wù)器的存儲轉(zhuǎn)發(fā)，從 而真正實現(xiàn)客戶與存儲設(shè)備之間的數(shù)據(jù)傳送。主要技術(shù)指標存儲虛擬化的功能是將各種存儲資源集中起來，為用戶提供統(tǒng)一的視圖和方 便的訪問入口，其主要技術(shù)經(jīng)濟指標如下：實現(xiàn)了廣域網(wǎng)的各種存儲設(shè)備、文件系統(tǒng)、操作系統(tǒng)、平臺架構(gòu)（IA32 和IA64）的虛擬化；實現(xiàn)了可視化的共享、實時管理、三方傳輸?shù)染哂刑厣墓δ?；存儲空間：根據(jù)系統(tǒng)的設(shè)計和實現(xiàn)原理，系統(tǒng)具有良好擴展性，系統(tǒng)的 存儲空間等于各個存儲資源的總和，所以理論上系統(tǒng)的存儲空間可以無 限大，目前至少提供300GB的存儲空間；系統(tǒng)帶寬：根據(jù)系統(tǒng)的設(shè)計和實現(xiàn)原理，用戶、存儲資源和訪問點是分 布的，那么系統(tǒng)的整體帶寬基本等于各個存儲資源的帶寬和；對批量小文件的傳輸，傳輸效率比沒有優(yōu)化的情況下提高了 2-20倍；文件系統(tǒng)能夠提供與POSIX標準相類似的文件系統(tǒng)接口，支持基本的 卷管理功能以及文件和目錄的操作，文件系統(tǒng)的的相關(guān)操作應(yīng)該具有穩(wěn) 定的性能。支持多機共享，保持統(tǒng)一的數(shù)據(jù)視圖，并提供較好的文件系 統(tǒng)服務(wù)性能。峰值數(shù)傳率為10