FusionSphere虛擬化套件存儲(chǔ)虛擬化技術(shù)白皮書

華為FusionSphere6.5.0虛擬化套件存儲(chǔ)虛擬化技術(shù)白皮書TOC\o"1-5"\h\z\o"CurrentDocument"ffi介/Introduction 3\o"CurrentDocument"解決方案/Solution 4\o"CurrentDocument"2.1 FusionSphere存儲(chǔ)虛擬化解決方案 4\o"CurrentDocument"2.1.1架構(gòu)描述 4\o"CurrentDocument"2.1.2特點(diǎn)描述 5\o"CurrentDocument"2.2存儲(chǔ)虛擬化的磁盤文件解決方案 6\o"CurrentDocument"2.2.1厚置備磁盤技術(shù) 6\o"CurrentDocument"2.2.2厚置備延時(shí)置零磁盤技術(shù) 6\o"CurrentDocument"2.2.3精簡置備磁盤技術(shù) 6\o"CurrentDocument"2.2.4差分磁盤技術(shù) 7\o"CurrentDocument"2.3存儲(chǔ)虛擬化的業(yè)務(wù)管理解決方案 7\o"CurrentDocument"2.3.1磁盤文件的寫時(shí)重定向技術(shù) 7\o"CurrentDocument"2.3.2磁盤文件的存儲(chǔ)熱遷移 8\o"CurrentDocument"2.3.3磁盤文件高級(jí)業(yè)務(wù) 8\o"CurrentDocument"2.4存儲(chǔ)虛擬化的數(shù)據(jù)存儲(chǔ)擴(kuò)容解決方案 9\o"CurrentDocument"2.4.1功能設(shè)計(jì)原理 9\o"CurrentDocument"2.5存儲(chǔ)虛擬化的數(shù)據(jù)存儲(chǔ)修復(fù)解決方案 10\o"CurrentDocument"2.5.1功能設(shè)計(jì)原理 10ffi介/Introduction存儲(chǔ)設(shè)備的能力、接口協(xié)議等差異性很大，存儲(chǔ)虛擬化技術(shù)可以將不同存儲(chǔ)設(shè)備進(jìn)行格式化，將各種存儲(chǔ)資源轉(zhuǎn)化為統(tǒng)一管理的數(shù)據(jù)存儲(chǔ)資源，可以用來存儲(chǔ)虛擬機(jī)磁盤、虛擬機(jī)配置信息、快照等信息。用戶對(duì)存儲(chǔ)的管理更加同質(zhì)化。虛擬機(jī)磁盤、快照等內(nèi)存均以文件的形式存放在數(shù)據(jù)存儲(chǔ)上，所有業(yè)務(wù)操作均可以轉(zhuǎn)化成對(duì)文件的操作，操作更加直觀、便捷?；诖鎯?chǔ)虛擬化平臺(tái)提供的眾多存儲(chǔ)業(yè)務(wù)，可以提高存儲(chǔ)利用率，更好的可靠性、可維護(hù)性、可以帶來更好的業(yè)務(wù)體驗(yàn)和用戶價(jià)值。華為提供基于主機(jī)的存儲(chǔ)虛擬化功能，用戶不需要再關(guān)注存儲(chǔ)設(shè)備的類型和能力。存儲(chǔ)虛擬化可以將存儲(chǔ)設(shè)備進(jìn)行抽象，以邏輯資源的方式呈現(xiàn)，統(tǒng)一提供全面的存儲(chǔ)服務(wù)?？梢栽诓煌拇鎯?chǔ)形態(tài)，設(shè)備類型之間提供統(tǒng)一的功能。解決方案/Solution2.1FusionSphere存儲(chǔ)虛擬化解決方案FusionSphere存儲(chǔ)虛擬化平臺(tái)能夠屏蔽存儲(chǔ)設(shè)備差異，統(tǒng)一封裝為文件級(jí)操作接口，并在虛擬化層提供了豐富的存儲(chǔ)業(yè)務(wù)功能。2.1.1架構(gòu)描述FusionSphere提出如下存儲(chǔ)虛擬化架構(gòu)：圖2-1存儲(chǔ)虛擬化平臺(tái)架構(gòu)圖FusionSphere存儲(chǔ)虛擬化平臺(tái)主要由文件系統(tǒng)、磁盤驅(qū)動(dòng)和磁盤工具組成。SAN設(shè)備和本地磁盤等塊設(shè)備連接到服務(wù)器上后，經(jīng)過設(shè)備驅(qū)動(dòng)層和通用塊層后，對(duì)主機(jī)呈現(xiàn)一個(gè)磁盤設(shè)備。文件系統(tǒng)建立在主機(jī)能夠訪問的存儲(chǔ)設(shè)備上，創(chuàng)建文件系統(tǒng)的過程就是主機(jī)對(duì)存儲(chǔ)設(shè)備執(zhí)行格式化，在存儲(chǔ)設(shè)備上寫入文件系統(tǒng)的元數(shù)據(jù)和inode信息，建立文件到裸設(shè)備塊的映射，并負(fù)責(zé)裸設(shè)備塊的管理，包括空間分配和釋放。對(duì)于虛擬化來說，文件系統(tǒng)屏蔽了塊層的操作，提供了文件級(jí)的抽象操作。虛擬機(jī)磁盤就是放在文件系統(tǒng)中的文件。虛擬機(jī)磁盤在使用時(shí)，需要由磁盤驅(qū)動(dòng)掛載給虛擬機(jī)，并通過QEMU管理起來，用戶虛擬機(jī)的所有讀寫IO都會(huì)由前端驅(qū)動(dòng)截獲，轉(zhuǎn)發(fā)給QEMU進(jìn)程，并轉(zhuǎn)換為用戶態(tài)驅(qū)動(dòng)的讀寫操作，最終寫入磁盤文件中。虛擬機(jī)磁盤中包含了屬性信息和數(shù)據(jù)區(qū)域，磁盤工具提供了一系列對(duì)虛擬機(jī)磁盤的操作，可以解析磁盤文件的文件頭，讀取或修改磁盤的屬性信息，創(chuàng)建磁盤的數(shù)據(jù)區(qū)等操作。2.1.特點(diǎn)描述FusionSphere存儲(chǔ)虛擬化技術(shù)定位于構(gòu)建針對(duì)電信業(yè)務(wù)環(huán)境的高競爭力的虛擬化平臺(tái)，通過對(duì)開源kvm進(jìn)行安全加固、功能擴(kuò)展、性能優(yōu)化和可靠性保障，具備如下特點(diǎn)：存儲(chǔ)設(shè)備兼容性對(duì)于不同的存儲(chǔ)設(shè)備，包括IPSAN、FCSAN、NAS、本地磁盤?？梢宰龅揭晕募到y(tǒng)進(jìn)行屏蔽，統(tǒng)一提供文件級(jí)別的業(yè)務(wù)操作。豐富的功能提供了包括精簡置備磁盤、增量快照、存儲(chǔ)冷熱遷移、鏈接克隆虛擬機(jī)、虛擬機(jī)磁盤擴(kuò)容等眾多功能。業(yè)務(wù)能力同質(zhì)化業(yè)務(wù)是在虛擬化層進(jìn)行，基于各種存儲(chǔ)設(shè)備可以提供相同的能力，對(duì)存儲(chǔ)設(shè)備無特殊要求。2.2存儲(chǔ)虛擬化的磁盤文件解決方案在存儲(chǔ)虛擬化中，所有用戶存儲(chǔ)都是以文件形式呈現(xiàn)，虛擬機(jī)磁盤、快照、虛擬機(jī)配置都對(duì)應(yīng)一個(gè)獨(dú)立的文件，常見的磁盤文件分為厚置備磁盤、厚置備延時(shí)置零磁盤、精簡置備磁盤、差分磁盤這幾種技術(shù)。2.2.1厚置備磁盤技術(shù)厚置備磁盤創(chuàng)建時(shí)大小與虛擬磁盤大小相同，并將文件所有位置填0，占用空間較大，置備時(shí)間較長。該磁盤用于FusionSphere系統(tǒng)中的普通磁盤。普通磁盤使用厚置備磁盤技術(shù)，創(chuàng)建時(shí)會(huì)進(jìn)行全空間分配和置零操作，能夠提供最好的性能體驗(yàn)和數(shù)據(jù)安全性。適用于對(duì)IOPS要求較高的場景。該磁盤創(chuàng)建所需時(shí)間會(huì)比創(chuàng)建其他類型的磁盤長。2.2.2厚置備延時(shí)置零磁盤技術(shù)厚置備延遲置零卷創(chuàng)建時(shí)大小與虛擬磁盤大小相同，但不會(huì)進(jìn)行填0操作，占用空間較大，置備時(shí)間較厚置備卷短。該磁盤用于FusionSphere系統(tǒng)中的普通延遲置零磁盤，可以提高存儲(chǔ)設(shè)備的利用率。普通延遲置零磁盤創(chuàng)建很快，創(chuàng)建時(shí)進(jìn)行全空間分配，但未進(jìn)行全置零動(dòng)作，性能較普通磁盤有所下降。適用于對(duì)發(fā)放速度要求高，但對(duì)IOPS要求不高的場景。2.2.3精簡置備磁盤技術(shù)精簡置備卷創(chuàng)建時(shí)大小為0，精簡置備卷創(chuàng)建時(shí)含少量元數(shù)據(jù)信息，大小一般為幾十K，創(chuàng)建時(shí)間均非常短。隨著用戶寫入數(shù)據(jù)，精簡置備卷的大小與實(shí)際占用空間將逐步增加。該磁盤用于FusionSphere系統(tǒng)中的精簡磁盤，可以提高存儲(chǔ)設(shè)備的利用率。精簡磁盤使用動(dòng)態(tài)磁盤技術(shù)，可以節(jié)省存儲(chǔ)空間。該磁盤在創(chuàng)建時(shí)不進(jìn)行空間分配，而是在用戶IO寫入磁盤文件時(shí)才進(jìn)行空間動(dòng)態(tài)分配，性能較普通磁盤有所下降。適用于用戶對(duì)存儲(chǔ)需求不明確，或是規(guī)劃的容量比實(shí)際使用的容量多的場景。2.2.4差分磁盤技術(shù)差分磁盤必須基于一個(gè)已有的父磁盤來創(chuàng)建，它只記錄相對(duì)于父磁盤的差異數(shù)據(jù)，包括數(shù)據(jù)的增改，差分磁盤不能脫離父磁盤而存在，如果父磁盤進(jìn)行了修改，則差分磁盤的數(shù)據(jù)將不再可用。對(duì)差分磁盤進(jìn)行讀操作，會(huì)首先讀取差分磁盤中的數(shù)據(jù)區(qū)域，如果不存在，則表示該數(shù)據(jù)區(qū)域未被修改，則通過文件頭的索引找到父磁盤，在對(duì)該區(qū)域進(jìn)行讀取。對(duì)差分磁盤進(jìn)行寫操作時(shí)，則直接寫在差分磁盤上。差分磁盤的結(jié)構(gòu)和動(dòng)態(tài)磁盤完全一致，文件頭中會(huì)記錄父磁盤的路徑，數(shù)據(jù)區(qū)只記錄和父磁盤差異數(shù)據(jù)，大小也會(huì)隨著數(shù)據(jù)的寫入而自動(dòng)增長。該磁盤用于FusionSphere系統(tǒng)中的快照、非持久化磁盤、鏈接克隆等功能，起到保護(hù)源盤不再被修改，并可以跟蹤虛擬機(jī)磁盤差異數(shù)據(jù)的作用。差分磁盤的大部分應(yīng)用需要結(jié)合下一章的寫時(shí)重定向技術(shù)使用。2.3存儲(chǔ)虛擬化的業(yè)務(wù)管理解決方案2.3.1磁盤文件的寫時(shí)重定向技術(shù)FusionSphere的存儲(chǔ)虛擬化具備寫時(shí)重定向技術(shù)(RedirectonWrite)，能夠在虛擬機(jī)磁盤文件被修改時(shí)，可以不修改原磁盤文件，而是將修改區(qū)域記錄在另一個(gè)差分磁盤中，將差分磁盤的父磁盤指向原磁盤文件，使得虛擬機(jī)在從差分磁盤文件中讀取數(shù)據(jù)時(shí)，能夠自動(dòng)從原磁盤文件中獲得需要的數(shù)據(jù)。寫時(shí)重定向技術(shù)可以應(yīng)用于快照、鏈接克隆、非持久化磁盤等特性。快照特性：虛擬機(jī)可以將當(dāng)前狀態(tài)保存在快照文件中，包括磁盤內(nèi)容、內(nèi)存和寄存器數(shù)據(jù)。用戶可以通過恢復(fù)快照多次回到這一狀態(tài)，虛擬機(jī)用戶在執(zhí)行一些重大、高危操作前，例如系統(tǒng)補(bǔ)丁，升級(jí)，破壞性測試前執(zhí)行快照，可以用于故障時(shí)的快速還原。鏈接克?。烘溄涌寺√摂M機(jī)可以基于同一個(gè)虛擬機(jī)模板，快速發(fā)放多個(gè)類似的虛擬機(jī)。通過對(duì)虛擬機(jī)模板的系統(tǒng)卷創(chuàng)建多個(gè)差分磁盤，將每個(gè)差分磁盤掛載給獨(dú)立的虛擬機(jī)。應(yīng)用于需要大量發(fā)放擁有相同或類似數(shù)據(jù)的虛擬機(jī)，且對(duì)性能要求不高。鏈接克隆加速：在鏈接克隆場景下，將若干鏈接克隆虛擬機(jī)的共同模板中的熱點(diǎn)數(shù)據(jù)放在主機(jī)內(nèi)存中，達(dá)到快速讀取的目的，能夠極大提升虛擬機(jī)的啟動(dòng)和運(yùn)行速度。非持久化磁盤：處于保護(hù)磁盤數(shù)據(jù)的目的，在啟動(dòng)虛擬機(jī)時(shí)，對(duì)這種非持久化磁盤先創(chuàng)建差分磁盤，在虛擬機(jī)運(yùn)行過程中，將有更改的數(shù)據(jù)全部寫入差分磁盤，在虛擬機(jī)關(guān)機(jī)后，將差分磁盤刪除，達(dá)到還原磁盤的目的。應(yīng)用于公共計(jì)算機(jī)、計(jì)算機(jī)數(shù)據(jù)自動(dòng)還原的場景。2.3.2磁盤文件的存儲(chǔ)熱遷移FusionSphere提供了虛擬機(jī)磁盤的冷遷移和熱遷移，冷遷移是在虛擬機(jī)關(guān)機(jī)時(shí)候，將其磁盤文件從一個(gè)存儲(chǔ)移動(dòng)到另一個(gè)存儲(chǔ)，熱遷移可以在不中斷業(yè)務(wù)的前提下，將虛擬機(jī)磁盤從一個(gè)存儲(chǔ)遷移至另一個(gè)存儲(chǔ)。熱遷移的技術(shù)原理如下：熱遷移首先使用寫時(shí)重定向，將虛擬機(jī)數(shù)據(jù)寫入目的存儲(chǔ)的一個(gè)差異磁盤，這樣，原磁盤文件就變成只讀的。將源卷的所有的數(shù)據(jù)塊依次讀取出來并合并到目標(biāo)端的差異磁盤中，等數(shù)據(jù)合并完成后，目的端的差分磁盤就擁有虛擬磁盤的所有最新數(shù)據(jù)。去除目的端快照對(duì)源卷的依賴，將差分磁盤修改為動(dòng)態(tài)磁盤，這樣，目的端磁盤文件可以獨(dú)立運(yùn)行。2.3.3磁盤文件高級(jí)業(yè)務(wù)FusionSphere提供了虛擬機(jī)磁盤的高級(jí)業(yè)務(wù)，可以在提供磁盤文件的擴(kuò)容功能，技術(shù)原理如下：磁盤擴(kuò)容：在離線或在線狀態(tài)下支持對(duì)磁盤的容量擴(kuò)充，對(duì)于厚置備磁盤，會(huì)將數(shù)據(jù)區(qū)域進(jìn)行擴(kuò)充，并進(jìn)行寫零。對(duì)于厚置備延時(shí)置零磁盤，會(huì)將數(shù)據(jù)區(qū)域進(jìn)行擴(kuò)容，并進(jìn)行空間預(yù)占。對(duì)于精簡磁盤，僅對(duì)數(shù)據(jù)區(qū)域進(jìn)行擴(kuò)容。2.4存儲(chǔ)虛擬化的數(shù)據(jù)存儲(chǔ)擴(kuò)容解決方案2.4.1功能設(shè)計(jì)原理數(shù)據(jù)存儲(chǔ)擴(kuò)容使得一個(gè)數(shù)據(jù)存儲(chǔ)可以管理多個(gè)物理LUN空間，當(dāng)需要擴(kuò)容數(shù)據(jù)存儲(chǔ)時(shí)，可以通過添加另外的物理LUN至數(shù)據(jù)存儲(chǔ)或者對(duì)物理LUN進(jìn)行擴(kuò)容再擴(kuò)容數(shù)據(jù)存儲(chǔ)，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)存儲(chǔ)靈活地進(jìn)行空間擴(kuò)容，有效提高數(shù)據(jù)存儲(chǔ)擴(kuò)展性。當(dāng)需要擴(kuò)容時(shí)，先在主節(jié)點(diǎn)上將新增的存儲(chǔ)空間以線性映射的方式追加至虛擬塊設(shè)備末尾，完成虛擬塊設(shè)備的擴(kuò)容后，再將新增的存儲(chǔ)空間分成數(shù)段逐漸增加至文件系統(tǒng)（更新文件系統(tǒng)中的元數(shù)據(jù)），主節(jié)點(diǎn)完成數(shù)據(jù)存儲(chǔ)的擴(kuò)容。由于虛擬塊設(shè)備的信息都是保存在節(jié)點(diǎn)內(nèi)存中，則當(dāng)其它節(jié)點(diǎn)發(fā)現(xiàn)數(shù)據(jù)存儲(chǔ)空間有變化時(shí)，則需要更新虛擬塊設(shè)備信息，完成擴(kuò)容虛擬塊設(shè)備。如下圖所示：LUN3LUN2LLUNUnodeCCDMLUN3LUN2LLUNUnodeCCDMDM即為DeviceMapper虛擬塊設(shè)備2.5存儲(chǔ)虛擬化的數(shù)據(jù)存儲(chǔ)修復(fù)解決方案2.5.1功能設(shè)計(jì)原理數(shù)據(jù)存儲(chǔ)修復(fù)支持在數(shù)據(jù)存儲(chǔ)故障時(shí)進(jìn)行修復(fù)。數(shù)據(jù)存儲(chǔ)故障時(shí)，為防止數(shù)據(jù)存儲(chǔ)遭到進(jìn)一步的破壞，系統(tǒng)側(cè)會(huì)拒絕掉大部分的業(yè)務(wù)操作，只允許管理員進(jìn)行關(guān)閉虛擬機(jī)和解關(guān)聯(lián)數(shù)據(jù)存儲(chǔ)操作，同時(shí)會(huì)