存儲(chǔ)虛擬化技術(shù)

1、第8章 存儲(chǔ)虛擬化技術(shù)8.1 概述8.2 存儲(chǔ)虛擬化的實(shí)施8.3 存儲(chǔ)虛擬化中的管理問題8.4 應(yīng)用實(shí)例 應(yīng)用于存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)境中的存儲(chǔ)虛擬化(Storage Virtualization)技術(shù)通常是指異構(gòu)的SAN環(huán)境下的虛擬存儲(chǔ)服務(wù)，它帶給我們最直接的益處就是，提高存儲(chǔ)利用率，降低成本，并簡化大型、復(fù)雜、異構(gòu)的存儲(chǔ)環(huán)境的管理工作。 時(shí)至今日，雖然尚無普遍接受的國際標(biāo)準(zhǔn)，但是，作為一種有效的存儲(chǔ)管理手段，存儲(chǔ)虛擬化技術(shù)正受到越來越多業(yè)內(nèi)人士的關(guān)注，許多各具特色的解決方案正在陸續(xù)推出。 基于網(wǎng)絡(luò)的虛擬存儲(chǔ)技術(shù)將成為未來的一種趨勢，它在開放性、擴(kuò)展性、可管理性等方面的所體現(xiàn)的優(yōu)勢將在數(shù)據(jù)中

2、心建設(shè)以及異地容災(zāi)應(yīng)用中充分顯現(xiàn)出來。 8.1 概述 8.1.1 定義 美國著名IT咨詢公司RFG（Robert Frances Group）對(duì)虛擬存儲(chǔ)的定義是：虛擬存儲(chǔ)是指那些架構(gòu)和產(chǎn)品被設(shè)計(jì)成仿真一個(gè)物理設(shè)備，如磁帶機(jī)等，其特性被鏡像到另一個(gè)物理設(shè)備上，通常是一個(gè)磁盤或磁盤子系統(tǒng)。結(jié)果，邏輯設(shè)備和虛擬設(shè)備的特性可以完全不同，應(yīng)用系統(tǒng)操作的是虛擬設(shè)備，而不必關(guān)心真正的物理設(shè)備是什么。 SNIA(存儲(chǔ)網(wǎng)絡(luò)工業(yè)協(xié)會(huì))對(duì)存儲(chǔ)虛擬化的解釋包含兩方面：1、存儲(chǔ)虛擬化是為了便于應(yīng)用和服務(wù)進(jìn)行數(shù)據(jù)管理而采取的針對(duì)應(yīng)用、服務(wù)器以及一般網(wǎng)絡(luò)資源進(jìn)行的存儲(chǔ)子系統(tǒng)或存儲(chǔ)服務(wù)的內(nèi)部功能抽象、隱藏和隔離的行為； 2、

3、存儲(chǔ)虛擬化是針對(duì)存儲(chǔ)設(shè)備或存儲(chǔ)服務(wù)進(jìn)行的虛擬化手段，以便對(duì)底層存儲(chǔ)資源實(shí)施存儲(chǔ)會(huì)聚、隱藏復(fù)雜性以及添加新功能等。 一般地，虛擬存儲(chǔ)所虛擬的對(duì)象是一些存儲(chǔ)資源，如磁盤、磁帶、文件、文件系統(tǒng)、數(shù)據(jù)塊等等。其虛擬的結(jié)果往往是虛擬磁盤、虛擬磁帶、虛擬文件、虛擬文件系統(tǒng)、虛擬數(shù)據(jù)塊等等。存儲(chǔ)虛擬化的核心工作是實(shí)現(xiàn)物理存儲(chǔ)設(shè)備到單一邏輯資源池的映射。通過虛擬化技術(shù)，為用戶和應(yīng)用程序提供了虛擬磁盤或虛擬卷，并且可以根據(jù)用戶需求對(duì)它進(jìn)行任意分割、合并、重新組合等操作，并分配給特定的主機(jī)或應(yīng)用程序，為用戶隱藏或屏蔽了具體的物理設(shè)備的各種物理特性。 8.1.2 實(shí)現(xiàn)模式 存儲(chǔ)虛擬化的基本概念是將實(shí)際的物理存儲(chǔ)實(shí)體

4、與存儲(chǔ)的邏輯表示分離開來，使得應(yīng)用服務(wù)器只與分配給它們的邏輯卷（或稱虛卷）打交道，而不必關(guān)心其數(shù)據(jù)是在哪個(gè)物理存儲(chǔ)實(shí)體上。 下圖是SNIA對(duì)存儲(chǔ)虛擬化技術(shù)的經(jīng)典分類描述。 SNIA的觀點(diǎn)認(rèn)為： 存儲(chǔ)虛擬化可以創(chuàng)建于數(shù)據(jù)塊級(jí)、磁盤、磁帶以及帶庫級(jí)、文件系統(tǒng)級(jí)以及文件/記錄級(jí)等。 其實(shí)現(xiàn)層次可位于主機(jī)/服務(wù)器端、網(wǎng)絡(luò)架構(gòu)中以及存儲(chǔ)設(shè)備/子系統(tǒng)里。 實(shí)施方法包括帶內(nèi)虛擬化以及帶外虛擬化兩種。所謂帶外（Out-of-Band）方式，或稱為非對(duì)稱存儲(chǔ)池（Asymmetrical pooling）方式，是指實(shí)現(xiàn)虛擬的功能部件（軟件和/或硬件）并不在主機(jī)到存儲(chǔ)設(shè)備的訪問路徑上；而帶內(nèi)（In-Band）方式，

5、或稱為對(duì)稱存儲(chǔ)池（Symmetrical pooling）方式，是指在數(shù)據(jù)讀寫的過程中，在主機(jī)到存儲(chǔ)設(shè)備的路徑上實(shí)現(xiàn)虛擬存儲(chǔ)。 8.1.3 若干關(guān)鍵問題 1、可用性2、可管理性 3、可擴(kuò)充性 8.2 存儲(chǔ)虛擬化的實(shí)施 8.2.1 軟硬件需求 硬件 一般而言，存儲(chǔ)虛擬化技術(shù)實(shí)現(xiàn)應(yīng)該是與硬件無關(guān)的，可以管理從JBODs、磁盤陣列、虛擬磁盤陣列、到磁帶和帶庫等各種設(shè)備。但作為技術(shù)實(shí)現(xiàn)，首先需要建立SAN環(huán)境，其中應(yīng)包括用于連網(wǎng)的交換機(jī)/集線器以及服務(wù)器內(nèi)置的HBA等。對(duì)于帶外實(shí)現(xiàn)而言，可能用到的元數(shù)據(jù)服務(wù)器(Metadata Server)往往采用專門的硬件實(shí)現(xiàn)，使用的物理Cache和HBA等都可能

6、有所不同。另一方面，帶內(nèi)實(shí)現(xiàn)中的存儲(chǔ)管理器也會(huì)面臨同樣的問題。軟件 在存儲(chǔ)虛擬化實(shí)現(xiàn)中，軟件將起到至關(guān)重要的作用。除了存儲(chǔ)虛擬化軟件本身之外，SAN管理功能、可能用到的應(yīng)用服務(wù)器代理軟件（可裝載文件系統(tǒng)IFS等）等都應(yīng)適當(dāng)配置。此外，由于采用集中化的虛擬存儲(chǔ)管理手段，存儲(chǔ)管理工作流程也將做適當(dāng)調(diào)整。 8.2.2 設(shè)備發(fā)現(xiàn) 在存儲(chǔ)虛擬化網(wǎng)絡(luò)環(huán)境中，每當(dāng)出現(xiàn)新設(shè)備或服務(wù)器時(shí)，都應(yīng)及時(shí)發(fā)現(xiàn)和識(shí)別，這給管理軟件提出新要求，不管是帶內(nèi)或是帶外方式，都應(yīng)實(shí)現(xiàn)基于遠(yuǎn)程代理或簡單網(wǎng)管協(xié)議（SNMP）的設(shè)備/服務(wù)器的動(dòng)態(tài)配置功能。 除此以外，錯(cuò)誤發(fā)現(xiàn)機(jī)制也是必備功能。存儲(chǔ)設(shè)備錯(cuò)誤、應(yīng)用客戶端錯(cuò)誤、服務(wù)器錯(cuò)誤以及

7、網(wǎng)絡(luò)故障等，都應(yīng)及時(shí)加以發(fā)現(xiàn)和正確處理，以保證數(shù)據(jù)一致性和可用性。與此對(duì)應(yīng)的設(shè)備服務(wù)包括克?。–loning）、遠(yuǎn)程鏡像等。 另外訪問控制功能對(duì)存儲(chǔ)設(shè)備而言也是十分有益的，因?yàn)槟壳暗拇鎯?chǔ)設(shè)備自身并不具備身份認(rèn)證能力。 8.2.3 存儲(chǔ)服務(wù) 在存儲(chǔ)虛擬化解決方案中所指的存儲(chǔ)服務(wù)包括： 高速緩存； 實(shí)時(shí)拷貝，包括本地/遠(yuǎn)程鏡像、遠(yuǎn)程數(shù)據(jù)復(fù)制等； 快照/閃存拷貝； 數(shù)據(jù)壓縮。通過實(shí)施全局帶內(nèi)/帶外虛擬化和借助IFS技術(shù)，可以達(dá)到文件級(jí)和塊級(jí)的存儲(chǔ)服務(wù)。 8.2.4 性能考慮 對(duì)于存在大量的關(guān)鍵數(shù)據(jù)應(yīng)用場合，傳統(tǒng)的客戶/服務(wù)器模式在分布式環(huán)境下很難保證高性能，采用存儲(chǔ)虛擬化技術(shù)，通過在應(yīng)用服務(wù)器與存儲(chǔ)

8、資源之間建立的專用高速網(wǎng)絡(luò)（FC或Gb-Ethernet），為關(guān)鍵數(shù)據(jù)應(yīng)用提供性能支持。 一般而言，帶內(nèi)方式在性能保障方面不及帶外方式優(yōu)越。 8.3 存儲(chǔ)虛擬化中的管理問題 存儲(chǔ)虛擬化中的管理問題涉及SAN管理、數(shù)據(jù)管理以及相關(guān)安全問題等內(nèi)容。 8.3.1 SAN管理 在存儲(chǔ)虛擬化環(huán)境中的SAN管理提供如下功能： SAN拓樸映射 為管理好SAN，首要任務(wù)是要識(shí)別出SAN的拓樸結(jié)構(gòu)：連接的物理設(shè)備、可用的存儲(chǔ)路徑、地址信息以及連接的服務(wù)器等。存儲(chǔ)虛擬化實(shí)現(xiàn)中關(guān)鍵是提供物理視圖到邏輯視圖的映射關(guān)系，因此，SAN拓樸映射應(yīng)以圖形化界面形式及時(shí)反映SAN中各組成部分的相關(guān)變化，為應(yīng)用服務(wù)提供存儲(chǔ)的動(dòng)態(tài)

9、配置信息。 事件監(jiān)控通過事先設(shè)定的閥值，啟動(dòng)監(jiān)控服務(wù)，對(duì)SAN中可能出現(xiàn)狀態(tài)改變和錯(cuò)誤情況進(jìn)行跟蹤，并在錯(cuò)誤發(fā)生后的最短時(shí)間內(nèi)提出警告并進(jìn)行錯(cuò)誤隔離和相應(yīng)處理。 性能分析在SAN環(huán)境中對(duì)存儲(chǔ)端口的吞吐量進(jìn)行統(tǒng)計(jì)和報(bào)告，以調(diào)整相關(guān)部件，平衡網(wǎng)絡(luò)流量。 容量分析通過對(duì)每日/每小時(shí)的數(shù)據(jù)傳輸量的統(tǒng)計(jì)，得出SAN的使用情況報(bào)告，以便做出SAN的擴(kuò)展規(guī)劃。 日志功能 提供必要的系統(tǒng)成員的日志信息。 8.3.2 數(shù)據(jù)管理 為了達(dá)到數(shù)據(jù)共享的最終目的，必須在軟硬件平臺(tái)的支持下，制定數(shù)據(jù)放置策略、實(shí)施數(shù)據(jù)生命周期管理、進(jìn)行對(duì)應(yīng)用透明的數(shù)據(jù)移動(dòng)以及實(shí)現(xiàn)跨平臺(tái)的數(shù)據(jù)共享。 8.3.3 安全 目前的存儲(chǔ)設(shè)備并不具備

10、內(nèi)置的安全機(jī)制，在異構(gòu)的虛擬存儲(chǔ)網(wǎng)絡(luò)環(huán)境下，安全問題尤為重要。 FC-SAN中常用安全技術(shù)包括Hardware zoning /Software zoning、LUN masking等；IP-SAN的技術(shù)包括實(shí)施IPSec等手段，而鎖機(jī)制以及文件分類機(jī)制等在一定程度上也可提供相應(yīng)的保護(hù)手段。 一般地，利用SAN管理軟件，安全策略可以在帶內(nèi)和帶外實(shí)現(xiàn)。在主機(jī)中和存儲(chǔ)設(shè)備內(nèi)實(shí)現(xiàn)的安全機(jī)制也可作為一種補(bǔ)充手段。 8.4 應(yīng)用實(shí)例 8.4.1 IBM的一種虛擬存儲(chǔ)解決方案 IBM Tivoli存儲(chǔ)管理方案存儲(chǔ)管理方案 該方案采用帶外實(shí)現(xiàn)方式，達(dá)到分布式環(huán)境下數(shù)據(jù)共享的目的。從其系統(tǒng)架構(gòu)可以看出該方案的

11、主要組成部分： 元數(shù)據(jù)服務(wù)器（SmS Server）集群 配置有IFS(Installable File System)以及Cache的客戶端 存儲(chǔ)資源 連接客戶與存儲(chǔ)的FC-SAN 客戶端程序采用Tivoli Open SmS協(xié)議與元數(shù)據(jù)服務(wù)器交互，獲得相關(guān)存儲(chǔ)數(shù)據(jù)的訪問控制信息以及訪問權(quán)限（鎖）后，可直接通過FC網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)讀寫，利用Cache技術(shù)可提高訪問效率。 采用集群連接的數(shù)據(jù)服務(wù)器在邏輯上可以劃分成元數(shù)據(jù)服務(wù)器、管理服務(wù)器以及存儲(chǔ)服務(wù)服務(wù)器等。 8.4.2 iSCSI V系列交換機(jī) SANRAD公司的iSCSI V系列交換機(jī)是業(yè)界頗具特色的基于iSCSI協(xié)議的網(wǎng)絡(luò)設(shè)備，通過將可升級(jí)

12、、靈活性、可靠性、安全性及高性能等因素綜合在一起，提供了標(biāo)準(zhǔn)化、簡捷和高性價(jià)比的存儲(chǔ)管理優(yōu)化結(jié)構(gòu)，從而將各種優(yōu)勢綜合為單一平臺(tái)，協(xié)助系統(tǒng)管理員應(yīng)對(duì)存儲(chǔ)管理的難題。其特性是： iSCSI V 交換機(jī)是以網(wǎng)絡(luò)為中心的存儲(chǔ)設(shè)備虛擬化管理的解決方案，提供基于瀏覽器的圖形用戶界面（GUI）； iSCSI V 交換機(jī)支持全新的、基于標(biāo)準(zhǔn)的iSCSI、 TCP/IP存儲(chǔ)協(xié)議。它為以iSCSI 協(xié)議連網(wǎng)的主機(jī)，提供對(duì)存儲(chǔ)邏輯卷安全可靠的存取訪問； iSCSI V 交換機(jī)在存儲(chǔ)網(wǎng)絡(luò)的數(shù)據(jù)路徑上運(yùn)行，是一種高性能的網(wǎng)絡(luò)部件。它為負(fù)責(zé)管理從小型至企業(yè)級(jí)存儲(chǔ)資源的IT專業(yè)人士，提供了一個(gè)易于使用的連接和管理平臺(tái)； i

13、SCSI V 交換機(jī)的存儲(chǔ)管理和虛擬化特性把各種物理存儲(chǔ)資源集合成某個(gè)單一的邏輯存儲(chǔ)“池”。從而，使網(wǎng)絡(luò)管理人員可獨(dú)立地對(duì)這些集成為一體的資源定義新的邏輯卷；而無須考慮諸如運(yùn)行環(huán)境、物理磁盤、通信協(xié)議及相互間距等實(shí)際障礙； iSCSI V 交換機(jī)可以對(duì)與主機(jī)直接相連的（DAS）、或與網(wǎng)絡(luò)相連的（NAS）存儲(chǔ)裝置，提供多種協(xié)議的支持；就像通過同樣的交換機(jī)可以直接支持光纖通道的、基于SCSI的和基于iSCSI 的存儲(chǔ)系統(tǒng)一樣； iSCSI V 交換機(jī)是多種功能的融合，且存在于某個(gè)單一的、易于管理的平臺(tái)內(nèi)；它們包括協(xié)議網(wǎng)橋、路由、交換、安全、負(fù)載平衡、高性能及存儲(chǔ)卷管理等功能，還支持雙重容錯(cuò)熱插拔電

14、源 (帶48伏直流電壓備選)冗余風(fēng)扇。 8.4.3 基于iSCSI的存儲(chǔ)虛擬化實(shí)現(xiàn) 基于iSCSI的網(wǎng)絡(luò)級(jí)存儲(chǔ)虛擬化是用iSCSI協(xié)議作為網(wǎng)絡(luò)級(jí)存儲(chǔ)虛擬化的傳輸協(xié)議,實(shí)現(xiàn)方式可分為帶內(nèi)和帶外兩類。 帶內(nèi)實(shí)現(xiàn) 1、工作模型 基于iSCSI的網(wǎng)絡(luò)級(jí)帶內(nèi)存儲(chǔ)虛擬化的思想是：帶SCSI磁盤的存儲(chǔ)服務(wù)器作為模型中的Target，虛擬存儲(chǔ)管理控制器作為模型中的Manager，應(yīng)用和服務(wù)程序運(yùn)行在Host上，它們之間都以iSCSI作為傳輸協(xié)議。Target上的SCSI磁盤映射到Manager上，成為Manager的iSCSI盤，在Manager上對(duì)所有的iSCSI盤進(jìn)行統(tǒng)一管理，生成若干邏輯卷，并把這些邏輯

15、卷分配給不同的Host使用。 Manager位于數(shù)據(jù)通道的內(nèi)部。Host發(fā)出的對(duì)邏輯盤的讀寫信息，先到達(dá)Manager，再由Manager把這些對(duì)邏輯卷的讀寫操作，轉(zhuǎn)化為對(duì)實(shí)際物理盤的讀寫操作，轉(zhuǎn)發(fā)給相應(yīng)的物理盤所在的Target。而操作過程中形成的狀態(tài)信息由Target反饋給Manager，經(jīng)由Manager整理后轉(zhuǎn)發(fā)給相對(duì)應(yīng)的Host。也可由Target向Manager和Host同時(shí)發(fā)送狀態(tài)信息。 2、 實(shí)現(xiàn)描述 在實(shí)驗(yàn)環(huán)境中，分別用三臺(tái)高性能PC機(jī)模擬應(yīng)用及服務(wù)、虛擬存儲(chǔ)管理控制和SCSI磁盤，搭建成一個(gè)簡化的存儲(chǔ)模型： 首先，把Target上的兩塊SCSI盤用兩個(gè)iSCSI連接映射到M

16、anager上。 接著，在Manager上對(duì)這兩塊iSCSI盤做邏輯卷管理?？紤]到存儲(chǔ)虛擬化用于數(shù)據(jù)備份的實(shí)用性，我們選擇了RAID1的邏輯管理方式，即將兩塊盤做成鏡像，形成一塊邏輯盤提供給Host使用。 最后，用Host連接Manager上的RAID1邏輯盤。3、性能測試 在100Mbps以太局域網(wǎng)的環(huán)境下，用iometer2001.07.19版本，在Host上讀寫iSCSI盤的速率如下： 100%順序?qū)?00%順序讀100%順序?qū)?100%順序讀速率（MB/s）7.68.414.3 以上數(shù)據(jù)顯示：讀寫性能都不算太高，但是沒有達(dá)到網(wǎng)絡(luò)帶寬的極限，也沒有達(dá)到硬盤讀寫的極限。限制性能的瓶頸就是帶

17、內(nèi)iSCSI存儲(chǔ)虛擬化的消耗以及邏輯卷管理功能的軟件處理。 由此可以想到，除了提高邏輯卷管理的工作效率之外，如果能夠在Host和Target之間建立更為直接的數(shù)據(jù)傳輸連接，也就是實(shí)現(xiàn)帶外存儲(chǔ)虛擬化控制，整個(gè)系統(tǒng)的性能還可以提高。因此，帶外的存儲(chǔ)虛擬化實(shí)現(xiàn)成為必然之選。 帶外實(shí)現(xiàn) 在帶外虛擬化中，Manager只負(fù)責(zé)host和Target之間狀態(tài)的控制以及邏輯地址到實(shí)際物理地址的轉(zhuǎn)換，有效數(shù)據(jù)直接由Host發(fā)送到Target，所以在性能上會(huì)有一定的提高。 為了實(shí)現(xiàn)帶外虛擬化，在Host到Manager一級(jí)的連接建立過程中，需要對(duì)原來的iSCSI工作流程做出一些調(diào)整，分述如下。 1、 Login部分 Manager收到Host發(fā)來的login請(qǐng)求后，除了反饋一般的login response之外，還要將本身所連接的target列表發(fā)給Host。Target列表的內(nèi)容包括Target IP 、Port、Target Name等信息。Host收到Target列表之后，要分別和每一個(gè)Target建立iSCSI連接。Host和Target之間建立連接的過程對(duì)用戶是透明的，用戶得到的是Manager分配的一塊存儲(chǔ)空間，表現(xiàn)為一塊本地的SCSI磁盤。 2、 全雙工數(shù)據(jù)傳輸部分 Host對(duì)iSCSI盤的讀寫操作，通過iSCSI連接，發(fā)