超融合架構(gòu)技術(shù)白皮書

1前言 2XX超融合技術(shù)架構(gòu) 2.2XX超融合架構(gòu)組成模塊 2.3aSV計算虛擬化平臺 7 82.3.3aSV的技術(shù)特性 2.3.4aSV的特色技術(shù) 2.4aSAN存儲虛擬化 2.4.2aSAN技術(shù)原理 2.4.3aSAN存儲數(shù)據(jù)可靠性保障 2.4.4XXaSAN功能特性 2.5aNet網(wǎng)絡(luò)虛擬化 2.5.3aNet功能特性 2.5.4XXaNet的特色技術(shù) 3XX超融合架構(gòu)產(chǎn)品介紹 錯誤!未定義書簽。 錯誤!未定義書簽。 錯誤!未定義書簽。4XX超融合架構(gòu)帶來的核心價值 60 60 2.1.1超融合架構(gòu)的定義通用交換機(jī)通用X86服務(wù)器所所組虛擬組件(文件)組成，這些虛擬組件與物理服務(wù)器的硬件配置無關(guān)，關(guān)鍵Type-I(裸金屬型)系統(tǒng)。這種方案的性能處于主機(jī)虛擬化與操作系統(tǒng)虛擬化之間。代表是內(nèi)核，導(dǎo)致性能是三種虛擬化技術(shù)中最差的。主機(jī)虛擬化技術(shù)代表是種模式：客戶模式(有自己的內(nèi)核和用戶模式)。在kvm模型中代碼級資源調(diào)用(提高性能)虛擬機(jī)就是一個進(jìn)程(內(nèi)存易于管理)>直接支持NUMA技術(shù)(提高擴(kuò)展性)>保持開源發(fā)展模式(強大的社區(qū)支持)經(jīng)典的虛擬化方法就是使用“特權(quán)解除”和“陷入-模擬”的方式，即將測，捕捉后模擬”的過程進(jìn)行優(yōu)化。該派內(nèi)部之實現(xiàn)又其基本思想就是引入新的處理器運行模式和新的指令，使得VMM和種處理器工作模式：根(Root)操作模式和非根(Non-root)操作模式。運行在這兩個操作模式的0環(huán)。這樣，既能使VMM運行在0環(huán)，也能使GuestOS運行在0環(huán)，避免了修改GuestOS。Root操作模式和Non-rootVirtualVirtualMachine(虛擬機(jī))Gu*tOGosGomtos物理CPU:每個物理CPU關(guān)聯(lián)著一個C執(zhí)行隊列1敏混度：VMM費責(zé)CFUEpCFU上的調(diào)度vCPU調(diào)度機(jī)制當(dāng)vcpu被切換到pcpu上運行時，其運行上下文會從對應(yīng)的VMCS結(jié)構(gòu)中導(dǎo)入到物理CPU上。通過這種方式，實現(xiàn)各vCPU之間的獨立運行。從虛擬機(jī)系統(tǒng)的結(jié)構(gòu)與功能劃分可以看出，客戶操作系統(tǒng)與虛擬機(jī)監(jiān)視器共同構(gòu)成了虛擬機(jī)系統(tǒng)的兩級調(diào)度框架，如圖所示是一個多核環(huán)境下虛擬機(jī)系統(tǒng)的兩級調(diào)度框架?？蛻舨僮飨到y(tǒng)負(fù)責(zé)第2級調(diào)度，即線程或進(jìn)程在vCPU上的調(diào)度(將核心線程映射到相應(yīng)的虛擬CPU上)。虛擬機(jī)監(jiān)視器負(fù)責(zé)第1級調(diào)度，即vCPU在物理處理單元上的調(diào)度。兩級調(diào)度的調(diào)度策略和機(jī)制不存在依賴關(guān)系。vCPU調(diào)度器負(fù)責(zé)物理處理器資源在各個虛擬機(jī)之間的分配與調(diào)度，本質(zhì)上即把各個虛擬機(jī)中的vCPU按照一定的策略和機(jī)制調(diào)度在物理處理單元上可以采用任意的策略來分配物理資源，滿足虛擬機(jī)的不同需求。vCPU可以調(diào)度在一個或多個物理處理單元執(zhí)行(分時復(fù)用或空間復(fù)用物理處理單元),也可以與物理處理單元建立一對一固定的映射關(guān)系(限制訪問指定的物理處理單元)。因為VMM(VirtualMachineMonitor)掌控所有系統(tǒng)資源，因此VMM地址)->GPA(客戶操作系統(tǒng)的物理地址)->HPA(宿主操作系統(tǒng)的物理地址)兩次地址轉(zhuǎn)換都由CPU硬件自動完成(軟件實現(xiàn)內(nèi)存開銷大、性能差)。勤謗求③②①①IntslVT-d蒙①FC-SI被移動到更快的本地緩存，這里處理器訪問的速度要比通用內(nèi)存快得多。上的內(nèi)存數(shù)據(jù)，但是需要更多本地NUMA節(jié)點之外的傳輸，并且需要目標(biāo)虛擬機(jī)開關(guān)機(jī)、重啟、掛起虛擬機(jī)上的操作系統(tǒng)安裝更新虛擬機(jī)硬件配置遷移虛擬機(jī)及/或虛擬機(jī)的存儲資源分析虛擬機(jī)的資源利用情況2.3.4aSV的特色技術(shù)情況)占用較高的虛擬機(jī)(比如數(shù)據(jù)庫虛擬機(jī)),只要開啟了動態(tài)資源調(diào)度功能，就射環(huán)境2.4.1存儲虛擬化概述2.4.2aSAN技術(shù)原理文件A文件A服務(wù)層磁盤2不一定是存儲池可用空間=集群全部機(jī)械磁盤空間/副本數(shù)(同構(gòu)情況),因此副本在多主機(jī)集群下，可采用兩個副本或三個副本組aSAN了支持主機(jī)故障而不影響數(shù)據(jù)完整性的目標(biāo)，復(fù)制卷的磁盤組的每個磁盤都必須是在不同主機(jī)上。即需要做到跨主機(jī)副本?？缰鳈C(jī)副本的關(guān)鍵在于復(fù)制卷磁以下面場景為列(兩臺主機(jī)，每臺主機(jī)各三塊磁盤組建兩個副本):復(fù)制卷1復(fù)制卷3磁盤A1?磁盤A2當(dāng)構(gòu)建兩副本，并且兩臺主機(jī)磁盤數(shù)相同時。主機(jī)間的磁盤會——對應(yīng)組成復(fù)制卷。邏輯視圖如下：文件A文件A復(fù)制卷2復(fù)制卷3端)。邏輯視圖如下：簡單地看，SSD讀緩存模塊工作在文件訪問入口和服務(wù)端通信層之間。所有對文件的IO動作都會經(jīng)過SSD讀緩存模塊進(jìn)行處理。下面分別針對首次文件讀取、二次文件讀取、文件寫入3個過程說明工作流程?！袷状挝募x取SSD讀緩存模塊SSD磁盤(底層過程省略)入流程2。3.數(shù)據(jù)塊[A1,A2]在流程3里面SSD32aSAN讀緩存對寫操作的處理從實現(xiàn)上分為首次寫預(yù)緩存、二次寫更新緩PASS到下層2.寫操作一直傳遞到服務(wù)端，寫入到底層磁盤，操作完成后會返回結(jié)果，進(jìn)入流程33.返回結(jié)果經(jīng)過SSD讀緩存模塊，如果返回結(jié)果是成功的，表示底層據(jù)已經(jīng)成功寫入，則進(jìn)入流程4。如果返回結(jié)果是失敗，則不會進(jìn)入流程4,而是直接返回結(jié)果到上層。相關(guān)索引，對應(yīng)4.1。原返回結(jié)果繼續(xù)往上返回到上層響應(yīng)讀操作，對應(yīng)4.2。注意4.1、4.2是并發(fā)進(jìn)行，因此這個緩存動作不會對原操作造至此，數(shù)據(jù)塊[A1,A2]的寫入也會保存到SSD磁盤上，以備下次訪問。下次訪問的流程與二次文件讀取流程相同，從而提升了下次訪問數(shù)據(jù)的速度?！鑫募K二次寫更新緩存SSD讀緩存文件塊寫更新是指對SSD讀緩存已緩存的數(shù)據(jù)塊進(jìn)行更新的動假設(shè)數(shù)據(jù)塊[A1,A2]原來已經(jīng)有緩存了，現(xiàn)在上層再次對[A1,A2]來一次寫操作(例如更新內(nèi)容)。進(jìn)入流程3復(fù)制卷1磁盤Y磁盤1(服務(wù)端)(服務(wù)端)(服務(wù)端) 上層10輸入模塊上層10輸入模塊245上層10輸入模塊SSD寫緩存模塊SSD磁盤3.命中緩存，返回數(shù)據(jù)(如果不命中緩存，則會返回從底層數(shù)據(jù)盤讀取)機(jī)械磁盤2.4.3aSAN存儲數(shù)據(jù)可靠性保障如果在磁盤故障后，超過了設(shè)置的超時時間依然沒有人工介入處理，aSAN在初始化階段會自動配置至少把集群里副本數(shù)個磁盤作為熱備盤。注意不是每個主機(jī)一個熱備盤，而是一個集群里面全局使用。熱備盤在初始化例如兩個副本時會至少保留兩個熱備盤，三個副本時會至少保留三個熱備盤。這些熱備盤不會集中在一個主機(jī)上面，而是分布在不同主機(jī)上(符合副本跨主機(jī)原則)。下面以3主機(jī)2副本，每主機(jī)4個硬盤為例子。主機(jī)A主機(jī)B主機(jī)C復(fù)制卷1上圖是3主機(jī)2副本，每主機(jī)4磁盤的分組例子。其中磁盤A4、磁盤C3當(dāng)任何一個主機(jī)的任意一個硬盤發(fā)生故障時，都可以按照跨主機(jī)副本原則復(fù)制卷3復(fù)制卷3復(fù)制卷1復(fù)制卷2復(fù)制卷5復(fù)制卷3復(fù)制卷3復(fù)制卷1復(fù)制卷2復(fù)制卷4復(fù)制卷5復(fù)制卷1在aSAN自動使用熱備盤替換故障磁盤后，UI上依然會顯示原來的故障磁盤損壞，可以進(jìn)行更換磁盤。這時新替換的硬盤會作為新熱備盤使用，不需要執(zhí)行數(shù)據(jù)回遷。這一點與前文沒有熱備盤會做數(shù)據(jù)回遷是不一樣的。復(fù)制卷3復(fù)制卷3復(fù)制卷1復(fù)制卷2復(fù)制告4新復(fù)制卷5故障磁盤替換所有過程都可以帶業(yè)務(wù)進(jìn)行，不需要停機(jī)停止業(yè)務(wù)，就可以完成故障磁盤的替換，數(shù)據(jù)重建，相比RAID系統(tǒng)停業(yè)務(wù)重建有更大aSAN在多主機(jī)集群下，復(fù)制卷有個最高原則：跨主機(jī)建立復(fù)制卷。該原則的目的是為了達(dá)到在主機(jī)出現(xiàn)故障時，數(shù)據(jù)依然可用。在2主機(jī)2副本模式下，當(dāng)主機(jī)B整個離線或，可以看到任何一個復(fù)制在2主機(jī)2副本模式下，當(dāng)主機(jī)B整個離線或，可以看到任何一個復(fù)制卷都依然有一個副本存在主機(jī)A上，數(shù)據(jù)依然可用，影響只是少了個副本。略為復(fù)雜的例子(先不考慮有熱備盤):復(fù)制卷5復(fù)制卷6因此這時全局?jǐn)?shù)據(jù)依然可用。在主機(jī)故障后，在aSAN高級設(shè)備里面有這樣一個故障時間策略執(zhí)行相應(yīng)的處理：假如入主機(jī)故障后直到超過設(shè)定的故障時間依然沒有人工介入處理，那么aSAN會采取自動替換動作在其他主機(jī)上重建副本。復(fù)制卷2C2.4.4XXaSAN功能特性存儲空間的30%左右。2.5.1網(wǎng)絡(luò)虛擬化概述2.5.2aNET網(wǎng)絡(luò)虛擬化技術(shù)原理SDNapplicationControllerplaneCoordinatorAgent(20)DataplaneCoordinatorAgent(21)agreements,credentials,policy,etc.)進(jìn)行傳輸時，用戶應(yīng)用程序通過系統(tǒng)調(diào)用將數(shù)據(jù)寫入到一個套接字，使10G