FusionCompute計算虛擬化產品介紹

1、FusionCompute計算虛擬化產品介紹技術創(chuàng)新，變革未來FusionCompute是云操作系統軟件，主要負責硬件資源的虛擬化，以及對虛擬資源、業(yè)務資源、用戶資源的集中管理。它采用虛擬計算、虛擬存儲、虛擬網絡等技術，完成計算資源、存儲資源、網絡資源的虛擬化。同時通過統一的接口，對這些虛擬資源進行集中調度和管理，從而降低業(yè)務的運行成本，保證系統的安全性和可靠性，協助運營商和企業(yè)構筑安全、綠色、節(jié)能的云數據中心能力。學完本課程后，您將能夠：描述計算虛擬化實現原理區(qū)分三種內存復用技術描述FusionCompute中計算虛擬化功能特性計算虛擬化相關概念及技術計算虛擬化概念CPU虛擬化內存虛擬化I/

2、O虛擬化FusionCompute計算虛擬化介紹計算虛擬化功能特性什么是虛擬化 (1) 虛擬化是一個抽象層，它打破了物理硬件和操作系統之間的硬性連接。虛擬基礎結構是一種企業(yè)級解決方案，可提供流暢、強大的計算能力，從而最大限度地利用資源和節(jié)約成本。虛擬機是虛擬基礎結構的重要元素。虛擬化可以讓您在同一臺物理機上獨立、并行運行安裝不同操作系統和應用程序的多臺虛擬機。使用虛擬化，您可以根據需要動態(tài)移動資源和處理能力。什么是虛擬化 (2) APPAPPAPP虛擬化層虛擬化層虛擬化層資源池化APPAPPAPPAPPAPPAPP虛擬化前虛擬化后虛擬化IT資源獨立。操作系統必須與硬件緊耦合。資源抽像成共享資源

3、池。上層操作系統與硬件解耦，操作系統從資源池中分配資源。虛擬化的本質分區(qū)隔離封裝相對于硬件獨立VMVMVMVM在單一物理服務器上同時運行多個虛擬機VMVMVMVM在單一物理服務器上的多個虛擬機之間相互隔離VMVMVM整個虛擬機執(zhí)行環(huán)境封裝在獨立文件中，可以通過移動文件的方式來遷移該虛擬機。VMVMVMVM虛擬機無需修改，即可在任何服務器上運行計算虛擬化技術的分類分類標準分類步驟詳解虛擬化對象CPU虛擬化目標是使虛擬機上的指令能被正常執(zhí)行，且效率接近物理機內存虛擬化目標是能做好虛擬機內存空間之間的隔離，使每個虛擬機都認為自己擁有了整個內存地址，且效率也能接近物理機。I/O虛擬化目標是不僅讓虛擬機

4、訪問到他們所需要的 I/O 資源，而且要做好它們之間的隔離工作，更重要的是減輕由于虛擬化所帶來的開銷。虛擬化過程全虛擬化使用VMM實現CPU、內存、設備 I/O 的虛擬化，而 Guest OS 和計算機系統硬件都不需要進行修改。該方式兼容性好，但會給處理器帶來額外開銷。半虛擬化使用VMM實現CPU和內存虛擬化，設備 I/O 虛擬化由 Guest OS 實現。需要修改 Guest OS ，使其能夠與VMM協同工作。該方式兼容性差，但性能較好。硬件輔助虛擬化借助硬件 (主要是處理器)的支持來實現高效的全虛擬化。改方式不需要修改Guest OS ，兼容性好。該技術將逐漸消除軟件虛擬化技術之間的差別，

5、成為未來的發(fā)展趨勢。計算虛擬化相關概念及技術計算虛擬化概念CPU虛擬化內存虛擬化I/O虛擬化FusionCompute計算虛擬化介紹計算虛擬化功能特性CPU虛擬化原理 - 虛擬化問題CPU虛擬化需要解決兩個問題如何模擬CPU指令 (所有敏感指令)敏感指令：可以讀寫系統關鍵資源的指令叫做敏感指令。特權指令：決大多數的敏感指令是特權指令，特權指令只能在處理器的最高特權級 (內核態(tài))執(zhí)行。如何讓多個VM共享CPU利用與Native操作系統類似的機制通過定時器中斷，在中斷觸發(fā)時陷入VMM，從而根據調度機制進行調度。CPU虛擬化 FusionCompute計算虛擬化技術采用的是KVM技術。KVM的CPU

6、虛擬化是基于CPU輔助的全虛擬化方案，它需要CPU虛擬化特性的支持。X86硬件結構OS (kernel)用戶應用程序Ring 2Ring 1Ring 0Ring 3沒有虛擬化X86硬件結構VMMGuest OS用戶應用程序Ring 2Ring 1Ring 0Ring 3基于二進制翻譯的全虛擬化X86硬件結構VMMGuest OS用戶應用程序Ring 2Ring 1Ring 0Ring 3硬件輔助全虛擬化root模式用戶指令捕獲翻譯模擬用戶指令非root模式虛擬機共享CPU虛擬機VM共享CPU利用與原始操作系統類似的機制通過定時器中斷，在中斷觸發(fā)時陷入VMM，從而根據調度機制進行調度。ioctl

7、返回VM entryKVMKernel模式根模式，特權級0客戶虛擬機VM exitVCPU創(chuàng)建/初始化VCPU運行/退出處理I/O操作I/O操作模擬非I/O操作退出處理QemuUser模式根模式，特權級3客戶虛擬機Guest模式非根模式ioctlioctlioctl返回VCPU創(chuàng)建/初始化VCPU運行/退出處理Lightweight exitHeavyweight exitCPU與vCPU對應關系PHY kernel 01PHY kernel 02PHY kernel 03PHY kernel 1xPHY kernel 1xPHY kernel 1xSuperThreadSuperThread

8、SuperThreadSuperThreadvCPUvCPUvCPUvCPUSuperThreadSuperThreadvCPUvCPU計算虛擬化相關概念及技術計算虛擬化概念CPU虛擬化內存虛擬化I/O虛擬化FusionCompute計算虛擬化介紹計算虛擬化功能特性內存虛擬化問題Native操作系統對內存的認識與管理達成以下兩點認識：內存都是從物理地址0開始的內存都是連續(xù)的內存虛擬化需要解決兩個的問題：從物理地址0開始的：物理地址0只有一個，無法同時滿足所有客戶機從0開始的要求；地址連續(xù)：雖然可以分配連續(xù)的物理地址，但是內存使用效率不高，缺乏靈活性。內存虛擬化 (1) 內存虛擬化：把物理機的真

9、實物理內存統一管理，包裝成多個虛擬機的內存給若干虛擬機使用。KVM 通過內存虛擬化共享物理系統內存，動態(tài)分配給虛擬機。VM1VM2GuestVirtualAddressGuestPhysicalAddressHostVirtualAddressGVAGPAHVA內存虛擬化 (2) KVM中，虛機的物理內存即為qemu-kvm進程所占用的內存空間。KVM使用CPU 輔助的內存虛擬化方式。在Intel平臺，其內存虛擬化的實現方式為EPT (Extended Page Tables)技術。虛擬地址GVA客戶機物理地址GPA物理機真實地址HPA物理機虛擬地址HVACPU查找、映射影子頁表由于宿主機MM

10、U不能直接裝載客戶機的頁表來進行內存訪問，所以當客戶機訪問宿主機物理內存時，需要經過多次地址轉換。也即首先根據客戶機頁表把客戶機虛擬地址 (GVA)轉換成客戶機物理地址 (GPA)，然后再通過客戶機物理地址 (GPA)到宿主機虛擬地址 (HVA)之間的映射轉換成宿主機虛擬地址，最后再根據宿主機頁表把宿主機虛擬地址 (HVA)轉換成宿主機物理地址 (HPA)。而通過影子頁表，則可以實現客戶機虛擬地址到宿主機物理地址的直接轉換。Intel的CPU提供了EPT (Extended Page Tables，擴展頁表)技術，直接在硬件上支持GVA-GPA-HPA的地址轉換，從而降低內存虛擬化實現的復雜度

11、，也進一步提升內存虛擬化性能。透明大頁 (THP)頁大小2M對使用者完全透明，不依賴任何庫大小頁混合THP大頁透明提高TLB命中率減少訪存時間申請大內存區(qū)，效率更高訪問大內存去，減少頁表項大小提高CPU Cache效率兼容ksm，swap需要共享或swap時拆分成4K大小頁面兼容EPT/NPT，兼容影子頁表計算虛擬化相關概念及技術計算虛擬化概念CPU虛擬化內存虛擬化I/O虛擬化FusionCompute計算虛擬化介紹計算虛擬化功能特性I/O虛擬化問題I/O虛擬化需要解決兩個問題 設備發(fā)現: 需要控制各虛擬機能夠訪問的設備； 訪問截獲: 通過I/O端口或者MMIO對設備的訪問；設備通過DMA與內

12、存進行數據交換；I/O虛擬化I/O虛擬化可以被看作是位于服務器組件的系統和各種可用I/O處理單元之間的硬件中間件層，使得多個guest可以復用有限的外設資源。設備虛擬化(I/O虛擬化)的過程，就是模擬設備的這些寄存器和內存，截獲Guest OS對IO端口和寄存器的訪問，通過軟件的方式來模擬設備行為。在QEMU/KVM中，客戶機可以使用的設備大致可分為三類： 模擬設備：完全由 QEMU 純軟件模擬的設備 Virtio 設備：實現 VIRTIO API 的半虛擬化設備PCI 設備直接分配 (PCI device assignment)I/O虛擬化 - 全模擬用軟件完全模擬一個特定的設備保持一樣的軟

13、件接口，如：PIO、MMIO、DMA、中斷等可以模擬出跟系統中的物理設備不一樣的虛擬設備每次I/O操作需要多次上下文切換VM HypervisorQemu Hypervisor軟件模擬的設備對不影響虛擬機中的軟件棧原生驅動NativeDriverDeviceModelDriverDeviceI/OIRQEmulIRQVM ExitVirtualInterruptAppsHypervisorI/O虛擬化 - virtio虛擬出特殊的設備特殊的設備驅動，包括VM中的Front-end 驅動和主機上的Back-end驅動Front-end和Back-end驅動之間的高效通信減少VM和主機的數據傳輸開

14、銷共享內存(Virt RING)Batched I/O異步事件通知Eventfd輕量級進程間“等待/通知”機制Front-endDriverBack-endDriverDriverDeviceHyper callNotificationAppsHypervisorSharedMemoryPCI設備直接分配KVM虛擬機支持將宿主機中的PCI、PCI-E設備附加到虛擬化的客戶機中，從而讓客戶機以獨占方式訪問這個PCI(或PCI-E)設備。通過硬件支持的VT-d技術將設備分配給客戶機后，在客戶機看來，設備是物理上連接在其PCI(或PCI-E)總線上的，客戶機對該設備的I/O交互操作和實際的物理設備操

15、作完全一樣，不需要(或者很少需要)Hypervisor的參與。Linux KernelPhysical Hardware Platfrorm (VT-d or IOMMU supported)KVM ModuleUserspaceProcessGuest OSPhysical NICTXRX計算虛擬化相關概念及技術計算虛擬化概念CPU虛擬化內存虛擬化I/O虛擬化FusionCompute計算虛擬化介紹計算虛擬化功能特性FusionCompute計算虛擬化管理虛擬資源管理數據中心、集群、主機、虛擬機分層管理 虛擬機文件夾邏輯分組管理.虛擬機分權管理主機組模板管理虛擬資源配置管理虛擬機資源(CPU

16、 、內存、磁盤、網卡、外設等在線離線調整)GPU 直通SRIOV虛擬機啟動策略時鐘策略、VNC鍵盤管理虛擬機光驅虛擬機USB內存復用QoSCPU 超分QoSMUMA 調度支持虛擬機生命周期管理創(chuàng)建/刪除/回收關閉/啟動/下電暫停/恢復休眠/喚醒重啟/強制重啟克隆遷移/異構CPU熱遷移快照備份/恢復磁盤遷移 知識小考FusionCompute的CPU虛擬化采用的是哪種虛擬化技術？本節(jié)介紹了計算虛擬化相關技術，包括CPU虛擬化、內存虛擬化、I/O虛擬化等技術原理，同時介紹了FusionCompute系統計算虛擬化管理。計算虛擬化相關概念及技術計算虛擬化功能特性兼容行業(yè)特殊操作系統兼容一個新的操作系

17、統，需要廠商提供配套的PV驅動程序，華為具備PV驅動開發(fā)能力。FusionCompute除了兼容主流的Windows、Linux操作系統之外，還兼容國產中標操作系統 (特定的版本可能需要定制驅動)。FusionCompute控制域客戶VM客戶VM客戶VM客戶VM客戶VM客戶VM定制化PV驅動PV驅動PV驅動PV驅動PV驅動PV驅動PV后端驅動靈活管理架構邏輯集群2邏輯集群1FusionCompute Web ClientFusionCompute Web Client每個邏輯集群支持128物理機，適用于高性能、大規(guī)模業(yè)務群部署，降低冗余物理機比例每邏輯集群支持8,000臺虛擬機 ，適合桌面云等

18、規(guī)模大、性能要求不高業(yè)務部署高可用性設計，VRM (虛擬化部署或者物理部署)主備部署，保證系統可用性技術特點與價值SAN本地存儲VMVMVMVMVMVMVMVM虛擬化集群管理VRM (主備)支持GPU虛擬化，GPU直通FusionComputeGPUVM2GPU驅動VM3GPU驅動VM1GPU驅動GPU SUPPORTvGPUvGPUGPU應用場景適用于虛擬化環(huán)境下運行的工程制圖 (ProE、Catia、AutoCAD)、媒體制作、3D游戲、GIS等應用工業(yè)設計，多媒體編輯，能源行業(yè)，金融服務與貿易，醫(yī)療成像系統，教育行業(yè)的最佳實踐提高虛擬化環(huán)境下高性能圖形圖像應用體驗關鍵技術&價值特性物理G

19、PU在硬件支持虛擬機通過綁定GPU直接訪問物理GPU的部分硬件資源基于NVIDIA GRID 卡提供GPU虛擬化，提升圖形應用體驗支持vGPU資源管理和調度，實現GPU負載均衡調度支持的多媒體編程接口：OpenGL、 DiretX支持AERO特效、多顯示器、 DXVA視頻硬件加速GPU在線調整CPU和內存技術原理vRAM ，vCPU 不僅支持離線添加/刪除，支持在線添加技術特點平臺支持在虛擬機運行情況下調整CPU和內存規(guī)格，虛擬機不需要重啟即可生效。適用場景根據業(yè)務需要，靈活調整虛擬機的CPU、內存數量配置 根據虛擬機的需求，靈活調整其配置 縱向擴展有效保證單個虛擬機QoS 與橫向擴展有機結合

20、，保證集群QoS應用價值FusionComputeAPP虛擬資源池主機內存超分配Host Memory和Guest Memory之間并不是一一對應?？梢猿~分配內存給VM。通過內存復用技術實現超分配功能。例如，物理內存共4G，但上層三個GuestOS的分配的總內存達到了6GHypervisor (4G)VM2 (2G)VM1 (2G)VM0 (2G)GuestMemoryGuestMemoryGuestMemoryHostMemory內存復用內存共享：虛擬機之間共享同一物理內存空間 (藍色)，此時虛擬機僅對內存做只讀操作寫時復制：當虛擬機需要對內存進行寫操作時 (橙色)，開辟另一內存空間，并修

21、改映射內存置換：虛擬機長時間未訪問的內存內容被置換到存儲中，并建立映射，當虛擬機再次訪問該內存內容時再置換回來內存氣泡：Hypervisor通過內存氣泡將較為空閑的虛擬機內存釋放給內存使用率較高的虛擬機，從而提升內存利用率華為虛擬化平臺，通過智能復用以上三種技術將內存復用比提升至150%，領先C等友商技術特點應用價值同等內存資源條件下，虛擬機密度提升150%，降低50%的硬件 (內存)采購成本內存共享，寫時復制內存置換內存氣泡VM1VM2VM3物理內存DiskVMVMVM1VM2內存氣泡空閑已使用已使用空閑NUMA親和性調度vCPU內存vCPU內存vCPU內存vCPU內存CPU內存CPU內存C

22、PU內存CPU內存Node0Node1Node2Node3HostvNode0vNode1vNode2vNode3虛擬機HAFusionComputeFusionCompute VM DataOSAPPVMX大幅提升故障恢復速度，降低業(yè)務中斷時間、保障業(yè)務連續(xù)性、實現一定的系統自維護3分鐘恢復虛擬機N小時虛擬機物理主機虛擬機熱遷移FusionComputeFusionComputeVMDataOSAPPVM技術特點基于內存壓縮傳輸技術，虛擬機熱遷移效率提升1倍。虛擬機磁盤數據位置不變，只更改映射關系。適用場景可容忍短時間中斷，但必須要快速恢復業(yè)務。比如輕量級數據庫業(yè)務，桌面云業(yè)務。 動態(tài)資源調度FusionComputeFusionComputeOSAPPVMOSAPPVMOSAPPVMOSAPPVMOSAPPVMOSAPPVMFusionComputeOSAPPVMFusionComputeOSAPPVM同一集群內，VM由系統根據策略自動負載均衡。負載均衡算法優(yōu)化，避免VM無效遷移。技術特點適用場景負載均衡確保業(yè)務性能。 削峰填谷，避免高峰期的擁塞DPM分布式電源管