一種多軸信息共享的存儲(chǔ)虛擬化元數(shù)據(jù)組織方式

一種多軸信息共享的存儲(chǔ)虛擬化元數(shù)據(jù)組織方式

數(shù)據(jù)信息的復(fù)雜性增加對(duì)存儲(chǔ)系統(tǒng)提出了越來(lái)越高的要求，并促進(jìn)了存儲(chǔ)區(qū)域網(wǎng)絡(luò)（sun）技術(shù)的出現(xiàn)和發(fā)展。san使用高速數(shù)據(jù)網(wǎng)絡(luò)而不是主機(jī)和存儲(chǔ)設(shè)備之間的傳統(tǒng)數(shù)據(jù)總線，而是將物理存儲(chǔ)設(shè)備作為靈活分布和擴(kuò)展的獨(dú)立資源?，F(xiàn)在，如何有效管理和充分利用這些存儲(chǔ)資源來(lái)提供更高的服務(wù)質(zhì)量（qos）仍然是一個(gè)必須盡快解決的問(wèn)題。存儲(chǔ)系統(tǒng)的服務(wù)質(zhì)量需要從存儲(chǔ)能力、數(shù)據(jù)可用性和i進(jìn)行全面評(píng)估。o的性能應(yīng)該全面評(píng)估。寫(xiě)入系統(tǒng)的服務(wù)質(zhì)量，以實(shí)現(xiàn)單元理論單元的功能，以實(shí)現(xiàn)單元理論單元的功能。磁盤(pán)映射單元可以動(dòng)態(tài)滿足存儲(chǔ)容量的需求。磁盤(pán)映射單元可以提高數(shù)據(jù)的可用性。條帶狀噪聲矩陣提高了數(shù)據(jù)的訪問(wèn)速度。SAN環(huán)境中的存儲(chǔ)虛擬化按照數(shù)據(jù)流和控制流是否同路分為帶內(nèi)虛擬化和帶外虛擬化.帶內(nèi)虛擬化的功能部件作為I?O路徑上的集中環(huán)節(jié)容易成為系統(tǒng)性能瓶頸,從而使帶內(nèi)虛擬化擴(kuò)展性較差.帶外虛擬化因其功能部件在I?O路徑之外而不觸及真正數(shù)據(jù),故性能較高.它還因?yàn)闆](méi)有在I?O路徑上引入集中環(huán)節(jié)而具有較好的擴(kuò)展性.帶外虛擬化具有性能高和擴(kuò)展性好的優(yōu)點(diǎn),已經(jīng)成為海量存儲(chǔ)領(lǐng)域的一個(gè)研究熱點(diǎn).本文提出了一種新的事務(wù)日志完整性鑒別技術(shù),并運(yùn)用按序操作、REDO日志和日志完整性鑒別來(lái)保證虛擬化元數(shù)據(jù)的一致持久性;引入關(guān)系項(xiàng)來(lái)組織磁盤(pán)上虛擬化元數(shù)據(jù),從而使之具有可讀性好和容易修改的優(yōu)點(diǎn);提出了通過(guò)分析磁盤(pán)分區(qū)表獲得卷布局信息的方式使存儲(chǔ)虛擬化兼容典型遺留存儲(chǔ)系統(tǒng)的方法.在上述關(guān)鍵技術(shù)基礎(chǔ)上實(shí)現(xiàn)了一個(gè)帶外虛擬化原型系統(tǒng)PowerStore.它的Manager在Linux系統(tǒng)上實(shí)現(xiàn),Agent目前支持Windows和Linux兩種平臺(tái).該系統(tǒng)具有虛擬化元數(shù)據(jù)持久一致、兼容典型遺留存儲(chǔ)系統(tǒng)和高性能等特性.1元數(shù)據(jù)處理器帶外虛擬化系統(tǒng)PowerStore包括虛擬化管理結(jié)點(diǎn)Manager和每臺(tái)主機(jī)上的代理軟件Agent(如圖1所示).Manager位于數(shù)據(jù)通路之外,掌握物理設(shè)備情況并分配邏輯卷.Agent從Manager處得到虛擬化元數(shù)據(jù),據(jù)此虛擬出邏輯卷設(shè)備并實(shí)現(xiàn)邏輯卷到物理卷的地址映射.Manager與Agent間通過(guò)TCP協(xié)議進(jìn)行通信.Manager包括3個(gè)模塊:元數(shù)據(jù)管理器(metadatamanager)、管理接口(admininterface)和SAN監(jiān)視器(SANmonitor),如圖2所示.元數(shù)據(jù)管理器負(fù)責(zé)管理虛擬化元數(shù)據(jù)并向Agent發(fā)送虛擬化命令.它按物理卷、卷組、邏輯卷3個(gè)層次來(lái)組織邏輯卷到物理設(shè)備的映射,也維護(hù)著所有受管主機(jī)的相關(guān)信息(主機(jī)ID和密鑰等).管理接口接收用戶指令并通過(guò)Socket通信發(fā)給元數(shù)據(jù)管理器.SAN監(jiān)視器監(jiān)視SAN系統(tǒng)中物理設(shè)備變化情況,并將變化信息實(shí)時(shí)提供給元數(shù)據(jù)管理器.元數(shù)據(jù)管理器只有實(shí)時(shí)掌握系統(tǒng)配置才能對(duì)存儲(chǔ)資源進(jìn)行準(zhǔn)確的管理.例如,交換式SAN中分區(qū)(zoning)技術(shù)可能使某臺(tái)主機(jī)只能看到SAN環(huán)境中部分存儲(chǔ)設(shè)備.如果為主機(jī)分配它不能訪問(wèn)的存儲(chǔ)設(shè)備上的存儲(chǔ)資源,分配將是無(wú)效的.Agent由內(nèi)核空間的設(shè)備映射器(devicemapper)和用戶空間的通信進(jìn)程Batman組成.設(shè)備映射器是一個(gè)層次在文件系統(tǒng)驅(qū)動(dòng)和磁盤(pán)驅(qū)動(dòng)之間的驅(qū)動(dòng)程序.它按照Manager的指示創(chuàng)建邏輯卷設(shè)備,并在所賦予的權(quán)限范圍內(nèi)使用該設(shè)備.它把邏輯卷接到的I?O請(qǐng)求重定向到相應(yīng)物理設(shè)備,并收集執(zhí)行狀態(tài),處理后返回給I?O請(qǐng)求的發(fā)起者.Batman負(fù)責(zé)處理與Manager的所有通信,并通過(guò)I?OControl機(jī)制向設(shè)備映射器發(fā)布虛擬化指令.另外,通過(guò)加載Linux下的設(shè)備映射器,Manager使運(yùn)行在自身上的應(yīng)用程序可讀寫(xiě)邏輯卷.2事務(wù)記錄結(jié)構(gòu)為使帶外虛擬化在系統(tǒng)崩潰和斷電之后繼續(xù)可用,虛擬化元數(shù)據(jù)在系統(tǒng)重啟后必須可以訪問(wèn)且其狀態(tài)是一致的.元數(shù)據(jù)保存在物理卷的保留位置上能夠確保持久性.一致性則通過(guò)按序操作、REDO日志以及日志完整性鑒別來(lái)共同保證.Manager在虛擬化事務(wù)過(guò)程中,先與Agent交互再更新物理卷上的元數(shù)據(jù),且二者是原子的.這樣,在交互過(guò)程中無(wú)論Manager還是Agent崩潰,此時(shí)元數(shù)據(jù)尚未更新故仍是一致的.相反的操作順序則是有問(wèn)題的:假設(shè)元數(shù)據(jù)已經(jīng)更新而在交互過(guò)程中Manager崩潰,Manager恢復(fù)后,它與此次虛擬化事務(wù)相關(guān)的Agent上的虛擬化信息是不一致的.單個(gè)虛擬化事務(wù)中元數(shù)據(jù)更新的原子性通過(guò)REDO日志來(lái)保證.物理卷元數(shù)據(jù)數(shù)據(jù)庫(kù)中一些扇區(qū)組成日志區(qū).修改元數(shù)據(jù)時(shí),首先在日志區(qū)記錄該事務(wù),然后再更新物理卷上的元數(shù)據(jù).圖3描述了一個(gè)虛擬化事務(wù)的完整流程.更新過(guò)程中若系統(tǒng)崩潰,Manager重新啟動(dòng)后掃描并重演事務(wù)日志,把元數(shù)據(jù)恢復(fù)成一致?tīng)顟B(tài).如果在寫(xiě)日志過(guò)程中系統(tǒng)失效,必須能夠檢測(cè)到寫(xiě)日志動(dòng)作沒(méi)有完成.我們提出一種新的事務(wù)日志格式設(shè)計(jì)(如圖4所示),通過(guò)檢測(cè)事務(wù)日志完整性就能鑒別寫(xiě)日志動(dòng)作是否完成.日志區(qū)中每個(gè)磁盤(pán)塊都保留頭2個(gè)字節(jié)作為序列號(hào)字段.起止簽名所在磁盤(pán)塊的序列號(hào)字段保存該事務(wù)日志的序列號(hào)(seq),中間日志數(shù)據(jù)(logdata)所在磁盤(pán)塊的該字段填充無(wú)效序列號(hào)值-1.起始簽名(startsignature)所在磁盤(pán)塊末尾還記錄著整個(gè)事務(wù)日志(transactionlog)的長(zhǎng)度(size).這種設(shè)計(jì)因引入日志長(zhǎng)度而不必掃描整個(gè)事務(wù)日志來(lái)尋找末尾簽名(endsignature).另外,即使在末尾簽名位置得到以前日志寫(xiě)下的簽名或數(shù)據(jù),都會(huì)因?yàn)樾蛄刑?hào)不同而不會(huì)誤判.這就徹底消除了日志末尾簽名被誤判的問(wèn)題.事務(wù)日志釋放時(shí)只需把起始簽名所在磁盤(pán)塊的序列號(hào)字段設(shè)置成-1即可.Manager啟動(dòng)時(shí)掃描日志區(qū)中每個(gè)磁盤(pán)塊.若其序列號(hào)字段為有效序列號(hào)且簽名字段為起始簽名,則標(biāo)志一個(gè)事務(wù)日志的開(kāi)始.3數(shù)據(jù)安全設(shè)計(jì)Manager為了持久性而將虛擬化元數(shù)據(jù)存儲(chǔ)在物理卷的保留位置上.同一卷組中所有物理卷都有該卷組相關(guān)元數(shù)據(jù)數(shù)據(jù)庫(kù)的一個(gè)副本.采取基于版本號(hào)的懶惰同步策略:Manager啟動(dòng)時(shí)為每個(gè)卷組選擇版本號(hào)最新的兩個(gè)數(shù)據(jù)庫(kù)作為主要數(shù)據(jù)庫(kù),組內(nèi)其他數(shù)據(jù)庫(kù)則成為次要數(shù)據(jù)庫(kù).在虛擬化事務(wù)過(guò)程中只讀寫(xiě)主要數(shù)據(jù)庫(kù),對(duì)次要數(shù)據(jù)庫(kù)的更新則在Manager空閑或該次要數(shù)據(jù)庫(kù)所在物理卷要從系統(tǒng)中移出時(shí)才發(fā)生.如圖5所示,元數(shù)據(jù)數(shù)據(jù)庫(kù)(database)放在每個(gè)物理卷末尾的保留空間中.為防止操作系統(tǒng)在磁盤(pán)頭部做標(biāo)記而破壞有用數(shù)據(jù),可用數(shù)據(jù)空間(dataspace)從磁盤(pán)的第2個(gè)柱面開(kāi)始直到元數(shù)據(jù)數(shù)據(jù)庫(kù)的起點(diǎn).數(shù)據(jù)庫(kù)的第1個(gè)扇區(qū)用做私有首部(privateheader),存放著物理卷的私有信息(如物理卷GUID).為了提高可靠性,在物理卷的最后一個(gè)扇區(qū)保持私有首部的一個(gè)鏡像.私有首部后續(xù)一些扇區(qū)是日志區(qū)(logarea).接著一個(gè)扇區(qū)作為公共首部(publicheader)保存整個(gè)數(shù)據(jù)庫(kù)相關(guān)信息(如數(shù)據(jù)庫(kù)版本號(hào)).內(nèi)容表(tableofcontents)區(qū)域存放數(shù)據(jù)庫(kù)各個(gè)數(shù)據(jù)項(xiàng)的布局和使用信息.數(shù)據(jù)庫(kù)記錄區(qū)(databaseentries)包含一些固定大小的記錄,用來(lái)描述卷組中的虛擬化信息.記錄區(qū)中數(shù)據(jù)項(xiàng)分為5種類(lèi)型:Area項(xiàng)、物理卷項(xiàng)、邏輯卷項(xiàng)、主機(jī)項(xiàng)和關(guān)系項(xiàng).Area項(xiàng)描述某個(gè)物理卷提供(Provide)的一段連續(xù)空間;多個(gè)Area作為原子資源組成(Compose)邏輯卷;邏輯卷又可以分配(Allocate)給某個(gè)主機(jī)使用.圖6用E-R圖描述了這幾種關(guān)系.為簡(jiǎn)單起見(jiàn),圖中省去了實(shí)體的屬性.下面將Area項(xiàng)、物理卷項(xiàng)、邏輯卷項(xiàng)和主機(jī)項(xiàng)這4個(gè)實(shí)體對(duì)應(yīng)的數(shù)據(jù)項(xiàng)簡(jiǎn)稱為實(shí)體項(xiàng).實(shí)體項(xiàng)記錄著自身的序列號(hào)、數(shù)據(jù)項(xiàng)類(lèi)型以及相關(guān)屬性.每個(gè)關(guān)系項(xiàng)本質(zhì)上是個(gè)二元組,其值為相關(guān)兩個(gè)實(shí)體項(xiàng)的序列號(hào).關(guān)系項(xiàng)與實(shí)體項(xiàng)表示含義高度獨(dú)立,能夠把實(shí)體項(xiàng)連接起來(lái)以描述一定關(guān)系,從而構(gòu)成虛擬化元數(shù)據(jù)的一個(gè)關(guān)系型數(shù)據(jù)庫(kù).該數(shù)據(jù)庫(kù)具有可讀性好和修改容易的特點(diǎn).例如,把邏輯卷分配給某主機(jī),只需增加一條關(guān)系項(xiàng)來(lái)描述該分配關(guān)系即可.4其他關(guān)鍵技術(shù)4.1種兼容典型預(yù)留存儲(chǔ)系統(tǒng)的數(shù)據(jù)3有生命力的新型工具必須對(duì)原有系統(tǒng)具備向后兼容能力.典型遺留存儲(chǔ)系統(tǒng)中,物理磁盤(pán)通過(guò)分區(qū)技術(shù)被劃分成若干卷,且卷上保存著大量數(shù)據(jù).為使新的虛擬化系統(tǒng)兼容遺留存儲(chǔ)系統(tǒng),傳統(tǒng)方法是虛擬出與遺留卷容量相當(dāng)?shù)倪壿嬀聿?fù)制遺留卷上所有數(shù)據(jù).對(duì)于有著大量數(shù)據(jù)的數(shù)據(jù)中心來(lái)說(shuō),數(shù)據(jù)復(fù)制過(guò)程相當(dāng)耗時(shí),且常常導(dǎo)致此過(guò)程中應(yīng)用服務(wù)幾乎不可用.這種方案因代價(jià)相當(dāng)昂貴而不可行.我們給出一種兼容典型遺留存儲(chǔ)系統(tǒng)的有效方法.首先,通過(guò)分析遺留盤(pán)上的分區(qū)表得到卷的布局信息;然后,將遺留盤(pán)上存放元數(shù)據(jù)數(shù)據(jù)庫(kù)位置的數(shù)據(jù)遷移到系統(tǒng)其他空閑空間S中;接著,在騰出來(lái)的保留位置寫(xiě)入元數(shù)據(jù),將遺留盤(pán)注冊(cè)為物理卷;最后創(chuàng)建虛擬化元數(shù)據(jù),在新的管理體系中將該物理卷的有效空間連同空間S重新映射以恢復(fù)出原來(lái)的卷.與傳統(tǒng)方法需要遷移卷上所有數(shù)據(jù)不同,我們提出的方法只需遷移元數(shù)據(jù)數(shù)據(jù)庫(kù)大小的數(shù)據(jù)(典型大小為4MB),且遷移數(shù)據(jù)量與卷的大小無(wú)關(guān).所以,該方法具有龐大遺留存儲(chǔ)系統(tǒng)零切割時(shí)間的特點(diǎn).4.2策略相關(guān)方式策略無(wú)關(guān)方式下,Agent直接從Manager處得到邏輯卷到物理卷的映射關(guān)系表而無(wú)需知道映射策略(線性、條帶或鏡像).系統(tǒng)升級(jí)以支持新的映射策略時(shí)只需修改Manager,Agent可以保持不變.映射表是按照邏輯卷中塊偏移來(lái)尋址的數(shù)組.與映射策略及其附屬配置信息相比,映射表占用空間要大得多,且虛擬化粒度越小映射表越大.大量映射信息的傳輸和存放對(duì)Manager和主機(jī)之間的網(wǎng)絡(luò)以及主機(jī)上的內(nèi)存都構(gòu)成很大壓力.就網(wǎng)絡(luò)壓力而言,傳輸大量映射信息容易對(duì)正在處理業(yè)務(wù)而又需與Manager通信的主機(jī)造成性能影響.就內(nèi)存壓力而言,大量映射信息存儲(chǔ)在主機(jī)內(nèi)存中將減少文件Cache的可用主存,進(jìn)而影響主機(jī)的I?O性能.策略相關(guān)方式下,Agent需要知道映射策略才能計(jì)算出邏輯卷到物理卷的映射關(guān)系.與策略無(wú)關(guān)方式相比,它只需要映射策略及其附屬配置信息,節(jié)省了大量映射信息的傳輸和存儲(chǔ).因此,PowerStore采用策略相關(guān)方式.5磁盤(pán)發(fā)送Manager在Linux平臺(tái)的用戶空間實(shí)現(xiàn),它通過(guò)SCSI裸設(shè)備向磁盤(pán)直接發(fā)送I?O;Agent在Windows和Linux平臺(tái)上實(shí)現(xiàn).我們使用Iometer在FC-SAN環(huán)境中對(duì)PowerStore進(jìn)行了性能測(cè)試.5.1主機(jī)和光纖磁盤(pán)Manager和主機(jī)配置為Intel╋XeonTM2.4GHz×2處理器、1GB內(nèi)存、EmulexLP982(2Gb?s)光纖通道卡.操作系統(tǒng)為L(zhǎng)inux2.4.16和WindowsServer2003.使用4塊SeagateCheetah10K轉(zhuǎn)光纖磁盤(pán),每塊容量146GB.主機(jī)和光纖磁盤(pán)通過(guò)BrocadeSilkWorm3800光纖交換機(jī)連接.Iometer的配置參數(shù)為:4個(gè)工作者線程;讀請(qǐng)求占80%;隨機(jī)請(qǐng)求占100%;測(cè)試子過(guò)程均持續(xù)4min.Windows和Linux所用文件系統(tǒng)分別為NTFS和EXT2.邏輯卷大小均為8GB.對(duì)于每類(lèi)測(cè)試,I?O請(qǐng)求尺寸從8KB加倍遞增到4MB.鏡像卷跨越2塊光纖磁盤(pán).條帶卷跨越4塊光纖磁盤(pán),條帶寬度為32KB.5.2類(lèi)卷的性能對(duì)比圖7給出了PowerStore在Windows和Linux下的性能測(cè)試結(jié)果.Windows平臺(tái)下的線性卷,在I?O請(qǐng)求尺寸從8KB增長(zhǎng)到128KB過(guò)程中比普通分區(qū)卷性能高,在I?O請(qǐng)求尺寸從256KB增長(zhǎng)到4MB過(guò)程中卻比后者性能低.而對(duì)于Linux平臺(tái)下的線性卷,幾乎都比普通分區(qū)卷性能低一些.在Windows平臺(tái)下,I?O請(qǐng)求尺寸從8KB加倍增長(zhǎng)到4MB,鏡像卷的性能比線性卷的性能都高很多.在Linux平臺(tái)下,I?O請(qǐng)求尺寸從8KB增長(zhǎng)到64KB的過(guò)程中,鏡像卷的性能比線性卷的性能低(例如,64KB時(shí)二者的性能分別為9.89MB?s和10.02MB?s).請(qǐng)求大小達(dá)到128KB時(shí),二者性能分別為15.34MB?s和14.96MB?s.請(qǐng)求尺寸進(jìn)一步增大,鏡像卷的性能仍然高于線性卷的性能.我們分析鏡像卷的整體I?O性能較高的原因是:①PowerStore用基于異步I?O的寫(xiě)同步方式處理對(duì)兩個(gè)物理卷的寫(xiě)操作,采取循環(huán)策略對(duì)兩個(gè)物理卷分派讀請(qǐng)求;②實(shí)驗(yàn)中讀請(qǐng)求占80%.而后者與實(shí)際情況下的讀比例基本一致,如WindowsNT中79%的文件訪問(wèn)是只讀操作.對(duì)于條帶卷,不管是Windows還是Linux下,I?O請(qǐng)求尺寸從8KB增長(zhǎng)到4MB的過(guò)程中,條帶卷的性能都明顯比線性卷的性能高.通過(guò)如下方式得到線性卷、鏡像卷和條帶卷相對(duì)于普通分區(qū)卷的平均性能變化百分比:首先計(jì)算出3種卷相對(duì)于普通分區(qū)卷在各I?O請(qǐng)求尺寸點(diǎn)的吞吐量變化百分比,然后再對(duì)10個(gè)點(diǎn)上的百分比求平均數(shù).Windows和Linux平臺(tái)下,線性卷平均引入性能開(kāi)銷(xiāo)為0.29%和2.10%;鏡像卷性能分別提高40.11%和下降0.98%;條帶數(shù)為4而條帶寬度為32KB的條帶卷性能提高87.74%和24.68%.6帶外輔助的程序LVM把多個(gè)磁盤(pán)聚合成存儲(chǔ)池,并從池中分配存儲(chǔ)資源形成邏輯卷.LVM因?yàn)橹恢С謫螜C(jī)內(nèi)的存儲(chǔ)虛擬化而不適用于共享存儲(chǔ)的SAN環(huán)境.微軟公司為Windows2000XP2003提供的動(dòng)態(tài)盤(pán)(dynamicdisk)管理也可以看做單機(jī)版的簡(jiǎn)單存儲(chǔ)虛擬化.CLVM是對(duì)LVM的集群擴(kuò)展,它實(shí)現(xiàn)了共享存儲(chǔ)環(huán)境的Linux集群中的存儲(chǔ)虛擬化.然而,多數(shù)數(shù)據(jù)中心不只運(yùn)行Linux一種操作系統(tǒng),CLVM顯然不適用于這種情況.帶外虛擬化典型代表是HP公司的OpenView,它是在主機(jī)的HBA驅(qū)動(dòng)程序上實(shí)現(xiàn)Agent.OpenView必須使用指定的HBA卡和配套驅(qū)動(dòng)程序,存在著兼容性差的缺點(diǎn).PowerStore在卷管理器級(jí)別實(shí)現(xiàn)Agent,對(duì)各種HBA卡及其驅(qū)動(dòng)都是通用的.TH-VSS是一個(gè)帶外虛擬化系統(tǒng),它由于在Agent和元數(shù)據(jù)服務(wù)器之間傳遞映射表(即采用策略無(wú)關(guān)方式)而擴(kuò)展性較差.另一個(gè)帶外虛擬化系統(tǒng)V:drive被采用時(shí),主機(jī)只能運(yùn)行Linux.此外,上述系統(tǒng)都沒(méi)有考慮虛擬化系統(tǒng)如何兼容典型遺留存儲(chǔ)系統(tǒng)的問(wèn)題.本文給出了一個(gè)零切割時(shí)間的兼容遺留存儲(chǔ)系統(tǒng)的方法.