存儲虛擬化技術(shù)詳解

1、存儲虛擬化技術(shù)詳解技術(shù)創(chuàng)新，變革未來存儲模型虛擬化存儲連接存儲虛擬化原理存儲虛擬化特性存儲虛擬化常用功能存儲概念存儲資源存儲資源表示物理存儲設(shè)備，例如IPSAN、Advanced SAN、NAS等。存儲設(shè)備存儲設(shè)備表示存儲資源中的管理單元，類似LUN、 Advanced SAN存儲池、NAS共享目錄等。數(shù)據(jù)存儲數(shù)據(jù)存儲表示虛擬化平臺中可管理、操作的存儲邏輯單元。FusionStorageOceanstor9000OceanstorV3LUN共享文件夾DataStore華為云計算存儲模型邏輯對象物理實體存儲資源存儲設(shè)備存儲設(shè)備存儲池LUN數(shù)據(jù)存儲數(shù)據(jù)存儲卷卷FusionStorageSAN本地磁

2、盤NAS共享目錄存儲資源選擇存儲資源類型，F(xiàn)CSAN，IPSAN，NAS，Advanced SAN，F(xiàn)usionStorage。FusionCompute對接存儲資源的管理接口，包括IP地址，用戶名密碼等。根據(jù)不同類型存儲資源進行配置。存儲資源類型0102關(guān)聯(lián)存儲資源到主機選擇存儲資源需要關(guān)聯(lián)的主機。使用IPSAN時需要在FusionCompute中導出主機的WWN號，用于后續(xù)在存儲上配置主機啟動器。存儲設(shè)備存儲設(shè)備包括LUN, 本地磁盤，Advanced SAN存儲池，F(xiàn)usionStorage存儲池和NAS共享目錄。存儲設(shè)備需要在存儲側(cè)創(chuàng)建。創(chuàng)建存儲設(shè)備0102發(fā)現(xiàn)存儲設(shè)備在存儲側(cè)需要將存

3、儲設(shè)備通過鏈路關(guān)聯(lián)到主機。存儲設(shè)備需要在FusionCompute中進行掃描來發(fā)現(xiàn)。數(shù)據(jù)存儲數(shù)據(jù)存儲是在存儲設(shè)備上創(chuàng)建的邏輯管理單元：數(shù)據(jù)存儲需要創(chuàng)建在指定的存儲設(shè)備上，且一個存儲設(shè)備只能創(chuàng)建一個數(shù)據(jù)存儲。數(shù)據(jù)存儲和主機關(guān)聯(lián)，為主機提供資源，數(shù)據(jù)存儲可以關(guān)聯(lián)到多個主機，一個主機也可以使用多個數(shù)據(jù)存儲。數(shù)據(jù)存儲的使用：存儲設(shè)備必須被添加為數(shù)據(jù)存儲才能被使用。數(shù)據(jù)存儲可用于存放虛擬機磁盤、快照文件。數(shù)據(jù)存儲的大小依賴于存儲設(shè)備的大小。存儲模型虛擬化存儲連接存儲虛擬化原理存儲虛擬化特性存儲虛擬化常用功能FCSAN存儲場景存儲資源：OceanStor V3存儲SAN網(wǎng)絡(luò)，光纖連接，使用光纖交換機存儲設(shè)

4、備：LUN，常見為共享存儲方式，LUN掛載給多臺主機服務(wù)器通過HBA卡連接到SAN網(wǎng)絡(luò)FusionComputeFusionComputeDatastore1FusionCompute中使用存儲設(shè)備創(chuàng)建數(shù)據(jù)存儲如“Datastore1”虛擬機磁盤文件直接存放在數(shù)據(jù)存儲中iSCSI存儲場景存儲資源：OceanStor V3存儲LAN網(wǎng)絡(luò)，TCP/IP連接，以太網(wǎng)交換機存儲設(shè)備：LUN，常見為共享存儲方式，LUN掛載給多臺主機服務(wù)器通過網(wǎng)卡連接到LAN網(wǎng)絡(luò)FusionComputeFusionComputeDatastore1FusionCompute中使用存儲設(shè)備創(chuàng)建數(shù)據(jù)存儲如“Datastor

5、e1”虛擬機磁盤文件直接存放在數(shù)據(jù)存儲中NAS存儲場景存儲資源：OceanStor V3存儲LAN網(wǎng)絡(luò)，TCP/IP連接，以太網(wǎng)交換機存儲設(shè)備：共享文件夾，常見為共享存儲方式，共享文件夾映射給多臺主機服務(wù)器通過網(wǎng)卡連接到LAN網(wǎng)絡(luò)FusionComputeFusionComputeDatastore1FusionCompute中使用存儲設(shè)備創(chuàng)建數(shù)據(jù)存儲如“Datastore1”虛擬機磁盤文件直接存放在數(shù)據(jù)存儲中虛擬化的存儲棧存儲虛擬化技術(shù)可以將不同存儲設(shè)備進行格式化，屏蔽存儲設(shè)備的能力、接口協(xié)議等差異性，將各種存儲資源轉(zhuǎn)化為統(tǒng)一管理的數(shù)據(jù)存儲資源，可以用來存儲虛擬機磁盤、虛擬機配置信息、快照等

6、信息，使得用戶對存儲的管理更加同質(zhì)化。用戶虛擬機用戶虛擬機后端卷掛載驅(qū)動前端驅(qū)動前端驅(qū)動虛擬磁盤文件通用塊層驅(qū)動層SANNAS主機內(nèi)核空間本地磁盤文件系統(tǒng)主機用戶空間用戶態(tài)掛載驅(qū)動存儲模型虛擬化存儲連接存儲虛擬化原理存儲虛擬化特性存儲虛擬化常用功能文件系統(tǒng)文件系統(tǒng)作用在于提供文件操作接口，屏蔽存儲設(shè)備的差異，為虛擬化卷文件提供存放空間。當前FusionCompute所使用的文件系統(tǒng)為：VIMS、EXT4、NFS。所需存儲設(shè)備是否創(chuàng)建文件系統(tǒng)是否支持共享是否支持延遲置零卷VIMSLUN是是是EXT4本地磁盤是否是NFS共享目錄否是否VIMS (Virtual Image Manage Syste

7、m)VIMS高性能集群文件系統(tǒng)，是Thin Provisioning、快照、存儲遷移等高級特性的技術(shù)基礎(chǔ)。兼容FC SAN、IPSAN、NAS、本地磁盤。支持固定空間磁盤、動態(tài)空間磁盤、差分磁盤等。應用場景需要存儲遷移、快照、鏈接克隆等高級存儲特性虛擬機。FC SAN文件系統(tǒng)NAS文件系統(tǒng)IP 網(wǎng)絡(luò)ISCSI SANFC 交換機物理機物理機本地磁盤虛擬磁盤文件VHD鏡像格式是FusionCompute實現(xiàn)精簡卷、快照等功能的基本載體，實現(xiàn)了FusionCompute虛擬機鏡像數(shù)據(jù)的基本儲存 功能。虛擬機的一個虛擬磁盤對應一個VHD文件。虛擬磁盤文件的格式：固態(tài)磁盤文件動態(tài)磁盤文件差分磁盤文件

8、Datastore1固態(tài)磁盤文件創(chuàng)建時需要將磁盤文件對應的存儲塊空間全部進行初始化成”0”，創(chuàng)建速度慢，IO性能最佳；用于對IOPS要求較高的場景。磁盤大小恒定，創(chuàng)建后使用空間和預留空間相等。未寫滿的時候內(nèi)部空間包含大量0，數(shù)據(jù)冗余度很高。應用在系統(tǒng)中的普通卷。0扇區(qū) 最后一個扇區(qū)數(shù)據(jù)區(qū)磁盤屬性信息動態(tài)磁盤文件創(chuàng)建時只需寫頭和結(jié)束塊，創(chuàng)建速度塊，IO性能較差；應用于精簡磁盤和普通延遲置零磁盤。磁盤大小會隨著用戶寫入數(shù)據(jù)而增長，但不隨著用戶刪除數(shù)據(jù)而縮減，只能通過磁盤空間回收來手動縮減應用在系統(tǒng)中的精簡磁盤空間。通過工具可以和靜態(tài)磁盤互相轉(zhuǎn)換；例如，可以從一個精簡磁盤的模板部署一個普通磁盤的虛擬

9、機。0扇區(qū)12m扇區(qū)n0n1最后一個扇區(qū)屬性信息位表0數(shù)據(jù)區(qū)0位表1數(shù)據(jù)區(qū)1屬性信息差分磁盤文件差分磁盤的結(jié)構(gòu)和動態(tài)磁盤一模一樣，只是文件頭中會記錄它的父文件路徑。差分卷不能獨立存在，必須能夠訪問到父文件才能正常工作。差分卷也可以成為父文件。差分磁盤的特性和動態(tài)盤類似，但是很多業(yè)務(wù)有限制。差分磁盤以塊為單位記錄相對于父文件的修改。配合快照、非持久化磁盤、鏈接克隆等功能被使用，起到保護源盤不被修改，并可以跟蹤虛擬機磁盤差異數(shù)據(jù)的作用。0扇區(qū)12m扇區(qū)12K扇區(qū)n0n1最后一個扇區(qū)屬性信息父文件信息位表0數(shù)據(jù)區(qū)0位表1數(shù)據(jù)區(qū)1屬性信息存儲模型虛擬化存儲連接存儲虛擬化原理存儲虛擬化特性存儲虛擬化常用

10、功能精簡磁盤和空間回收功能特性支持創(chuàng)建精簡磁盤，可以隨著用戶使用而自動分配空間。膨脹的精簡磁盤不會隨著用戶刪除數(shù)據(jù)而縮小，使用空間回收工具可以將用戶刪除的數(shù)據(jù)空間釋放到數(shù)據(jù)存儲。適用場景精簡磁盤可應用于局點運行初期，用戶磁盤使用率低的情況。能夠降低初始存儲投資及維護成本。存儲設(shè)備只保存有效數(shù)據(jù)，不保存預留空間，可以提高存儲資源利用率。空間回收可以提高精簡磁盤的使用/分配比，提高存儲利用率。分配但未使用未使用精簡配置在主機上占用的容量 ：21TB2TB2TB2TB6TB5TB4TB分配且已使用在主機上占用的容量 ：15TB4TB6TB5TB使用精簡配置未分配分配已使用快照原理和應用快照功能特性快

11、照記錄了虛擬機在某一時間點的內(nèi)容和狀態(tài)。通過恢復虛擬機快照使虛擬機多次快速恢復到這一時間點?？煺瞻疟P內(nèi)容、虛擬機配置信息、內(nèi)存數(shù)據(jù)。多次快照之間保存差量數(shù)據(jù)，節(jié)約存儲空間。適用場景虛擬機用戶在執(zhí)行一些重大、高危操作前，例如系統(tǒng)補丁，升級，破壞性測試前執(zhí)行快照，可以用于故障時的快速還原。用戶觸發(fā)的創(chuàng)建快照和恢復快照操作。存儲虛擬化的快照創(chuàng)建快照時會生成一個新的差分卷，虛擬機會掛載這個差分卷作為磁盤文件，虛擬機的讀請求會重定向到源卷中。創(chuàng)建快照采用了ROW（Redirect on write）技術(shù)，快照后的寫操作會進行重定向，所有的寫IO都被重定向到新卷中。所有舊數(shù)據(jù)均保留在只讀的源卷中。磁盤

12、文件快照文件（原磁盤文件）磁盤文件讀寫操作讀操作寫操作快照前快照后快照鏈磁盤做多個快照后，會產(chǎn)生一個快照鏈。虛擬機卷始終掛載在快照鏈的最末端。VOLSNAP1VOLSNAP1SNAP2VOL快照前第一次快照第二次快照VMVMVM鏈接克隆鏈接克隆功能特性鏈接克隆技術(shù)是一種通過將源卷和差分卷組合映射為一個鏈接克隆卷，提供給虛擬機使用的技術(shù)。一個鏈接克隆模板可以創(chuàng)建多個鏈接克隆差分卷，對應創(chuàng)建多個鏈接克隆虛擬機。新創(chuàng)建的差分卷占用空間很小，隨著虛擬機的使用，空間會逐漸膨脹。適用場景能夠快速、批量部署虛擬機。對于類似的虛擬機，公用的數(shù)據(jù)可以放在模板中，提高存儲利用率。鏈接克隆圖解10101101011

13、010110101101010110101001011010110101101111011110110100101111010110101VM1差分卷VM2差分卷VM1鏈接克隆卷VM2鏈接克隆卷虛擬機虛擬磁盤文件遷移虛擬機虛擬磁盤文件遷移功能特性存儲虛擬化支持將虛擬機的磁盤從一個數(shù)據(jù)存儲遷移到另一個數(shù)據(jù)存儲?？梢詫⑻摂M機的所有磁盤整體遷移，也可以單個磁盤分別遷移。虛擬機的快照可以一起遷移。虛擬機開啟或者關(guān)閉時都可以遷移。適用場景將數(shù)據(jù)存儲的所有卷遷移后，可以對數(shù)據(jù)存儲進行減容?？梢哉{(diào)整數(shù)據(jù)存儲之間的負荷。 CNA數(shù)據(jù)存儲1數(shù)據(jù)存儲2VMVMVM存儲熱遷移原理在目的存儲上創(chuàng)建一個與源相同的空鏡像

14、文件。將目的存儲的鏡像文件設(shè)置為源鏡像文件的mirror，使虛擬機的IO寫也能落盤在目的存儲上，保證了臟塊數(shù)據(jù)的同步。通過迭代遷移的技術(shù)，將源鏡像的數(shù)據(jù)遷移到目的鏡像中，保證了基線數(shù)據(jù)的同步。在基線數(shù)據(jù)同步完成后，短暫的時間內(nèi)暫停虛擬機的IO請求，將虛擬機的存儲文件從源鏡像切換到目的鏡像上，這樣就完成了存儲的遷移。存儲熱遷移同時遷移虛擬機磁盤鏡像和系統(tǒng)內(nèi)存狀態(tài)。存儲虛擬化文件系統(tǒng)通用塊層SCSISATANFS協(xié)議VHDVHD存儲虛擬化Vol ManagerSCSIVolumeVolumeXVELUNSANlocaldisk存儲熱遷移+流控存儲模型虛擬化存儲連接存儲虛擬化原理存儲虛擬化特性存儲虛

15、擬化常用功能數(shù)據(jù)存儲擴容原理存儲網(wǎng)絡(luò)存儲設(shè)備存儲設(shè)備數(shù)據(jù)存儲原有LUN新LUN虛擬機磁盤擴容虛擬機磁盤擴容功能特性可以在不影響虛擬機磁盤現(xiàn)有數(shù)據(jù)的情況下，將虛擬機磁盤容量擴大。支持系統(tǒng)磁盤和用戶磁盤的擴容，但分區(qū)合并需要操作系統(tǒng)支持（XP和WIN7支持用戶分區(qū)擴容）或第三方工具。部分操作系統(tǒng)支持進行在線磁盤擴容。適用場景初始磁盤分配空間時，可以按需分配，后續(xù)不夠了可以進行擴容，提高存儲設(shè)備利用率。注意點：虛擬化存儲支持以磁盤擴容的方式，增加虛擬機存儲空間。非虛擬化存儲場景下，只能通過增加獨立的磁盤來實現(xiàn)。磁盤裸設(shè)備映射存儲直通技術(shù)（又稱裸設(shè)備映射，RDM）為虛擬機提供了一種機制來直接訪問物理存

16、儲子系統(tǒng)（IPSAN或FCSAN）上的LUN，VM的業(yè)務(wù)能夠直接訪問存儲設(shè)備或直接對存儲設(shè)備下發(fā)控制命令。技術(shù)特點虛擬機直接通過SCSI命令操作裸存儲設(shè)備。兼容FC光纖存儲和IP SAN存儲。通過使用裸設(shè)備映射，可以讓虛擬機識別SCSI磁盤，實現(xiàn)在虛擬機內(nèi)部下發(fā)SCSI命令，交給主機然后透傳給存儲設(shè)備進行處理，最后將應答返回。適用場景集群系統(tǒng)軟件，降低大量使用物理服務(wù)器的成本比如Oracle RAC或MSCS 。FusionComputeLUNSCSISCSISAN存儲設(shè)備LUNLUNLUNAppAppAppAppSCSISCSI設(shè)置虛擬機磁盤IO上限特性功能：支持查詢虛擬機各磁盤實時的IO數(shù)據(jù)。支持設(shè)置磁盤的最大BPS（每秒讀寫字節(jié)數(shù)）和最大IOPS（每秒處理IO個數(shù)）。所有存儲類型的虛擬機，都能設(shè)置IO上限值，該設(shè)置在pvdriver運行時生效。適用場景：設(shè)置非重要虛擬機磁盤的IO上限，保證在這些虛擬機業(yè)務(wù)量大時，不會影響到重要的虛擬機業(yè)務(wù)。業(yè)務(wù)IOBlock fronteddriverGuset OSGuest 1業(yè)務(wù)IOBlock fronteddriverGuset OSGuest 2Block backdriverTask controlBlock backdriverTas