虛擬化套件GPU直通技術(shù)白皮書

1、華為FusionSphere 8.0華為FusionSphere 8.0.RC2虛擬化套件GPU直通技術(shù)白皮書華為技術(shù)有限公司目 錄1 簡介11.1 背景簡介11.2 方案簡介11.2.1 X86架構(gòu)11.2.2 ARM架構(gòu)22 技術(shù)和方案介紹32.1 PCI直通方案32.1.1 方案概述32.1.2 適用場景42.1.3 方案特點42.2 GPU資源組方案52.2.1 方案概述52.2.2 適用場景52.2.3 方案特點73 術(shù)語71 簡介11.1 背景簡介11.2 方案簡介11.2.1 X86架構(gòu)11.2.2 ARM架構(gòu)22 技術(shù)和方案介紹32.1 PCI直通方案32.1.1 方案概述32

2、.1.2 適用場景42.1.3 方案特點42.2 GPU資源組方案52.2.1 方案概述52.2.2 適用場景52.2.3 方案特點73 術(shù)語71 簡介11.1 背景簡介11.2 方案簡介12 技術(shù)和方案介紹22.1 PCI直通方案22.1.1 方案概述22.1.2 適用場景32.1.3 方案特點32.2 GPU資源組方案42.2.1 方案概述42.2.2 適用場景42.2.3 方案特點63 術(shù)語6華為FusionShpere 8.0虛擬化套件GPU直通技術(shù)白皮書Error! No text of specified style in document.1 簡介1.1 背景簡介隨著信息化社會的

3、飛速發(fā)展，大數(shù)據(jù)分析、深度學習等新技術(shù)的不斷涌現(xiàn)，高性能計算不僅應(yīng)用在石油勘探、地震分析、流體力學計算、分子運力學等傳統(tǒng)領(lǐng)域，互聯(lián)網(wǎng)、金融、政府信息化、教育等領(lǐng)域?qū)Ω咝阅苡嬎愕男枨笠诧w速增長。GPU在高性能計算領(lǐng)域的使用，使得CPU不再是計算芯片的唯一選擇。與CPU相比，GPU具備更強大的計算能力以及更簡單的任務(wù)處理模式，在高性能計算領(lǐng)域扮演者越來越重要的角色。與此同時，在傳統(tǒng)的圖形渲染領(lǐng)域，包括虛擬桌面、游戲、工業(yè)設(shè)計、影視渲染等場景中，GPU也扮演者不可替代的角色。GPU直通方案，為虛擬機提供接近于物理GPU能力的GPU設(shè)備。1.2 方案簡介1.2.1 X86架構(gòu)X86架構(gòu)的華為Fusio

4、nSphere虛擬化套件針對不同的業(yè)務(wù)場景及對GPU資源的使用情況，提供以下兩種有針對性的解決方案： 主機PCI設(shè)備直通 GPU資源組方案類型解決方案功能特點應(yīng)用場景PCI直通直接將主機上GPU對應(yīng)的PCI設(shè)備直通給虛擬機使用1、 1、獨占GPU設(shè)備2、 2、不允許GPU超分配視頻云等GPU資源組將GPU設(shè)備添加到GPU資源組，再從GPU資源組中分配GPU給虛擬機1、 1、在虛擬機關(guān)閉后，GPU可被其他虛擬機使用；2、 2、允許GPU超分配桌面云等FusionSphere虛擬化套件使用PCI直通技術(shù)將GPU設(shè)備直通給虛擬機，即將GPU在計算節(jié)點中呈現(xiàn)的PCI設(shè)備直接綁定給虛擬機以呈現(xiàn)成為虛擬機

5、的一個PCI設(shè)備。1.3 1.3.1 ARM架構(gòu)1.4 ARM架構(gòu)的華為FusionSphere虛擬化套件華為FusionSphere虛擬化套件支持華為Altlas 300 AI加速卡設(shè)備直通，針對不同的業(yè)務(wù)場景及對GPU資源的使用情況，提供以下兩種有針對性的解決方案如下： 主機PCI設(shè)備直通 GPU資源組方案類型解決方案功能特點應(yīng)用場景PCI直通直接將主機上GPU對應(yīng)的PCI設(shè)備直通給虛擬機使用3、 1、獨占GPU設(shè)備4、 2、不允許GPU超分配5、 不允許GPU超分配視頻云等GPU資源組將GPU設(shè)備添加到GPU資源組，再從GPU資源組中分配GPU給虛擬機3、 在虛擬機關(guān)閉后，GPU可被其他

6、虛擬機使用；4、 允許GPU超分配桌面云等FusionSphere虛擬化套件使用PCI直通技術(shù)將GPU設(shè)備直通給虛擬機，即將GPU在計算節(jié)點中呈現(xiàn)的PCI設(shè)備直接綁定給虛擬機以呈現(xiàn)成為虛擬機的一個PCI設(shè)備。2 技術(shù)和方案介紹2.1 PCI直通方案2.1.1 方案概述FusionSphere虛擬化套件在主機（計算節(jié)點）啟動等時機主動發(fā)現(xiàn)其以裝配的GPU設(shè)備，這些GPU設(shè)備可直接綁定給虛擬機。2.1.2 適用場景使用場景適用于對GPU資源需求明確，需要對GPU進行持續(xù)獨占使用的場景。例如：地震分析、視頻云等領(lǐng)域使用約束PCI直通方案存在以下約束：1、 虛擬機必須與GPU設(shè)備所在主機綁定；2、 已

7、直通GPU設(shè)備的虛擬機不支持內(nèi)存快照；3、 已直通GPU設(shè)備的虛擬機不支持熱遷移、休眠、喚醒操作；4、 僅支持在GPU關(guān)閉狀態(tài)下進行GPU設(shè)備的綁定與解綁定操作；5、 一個GPU只能綁定給一個虛擬機或一個GPU資源組；6、 需要進行GPU直通的虛擬機的內(nèi)存必須全部預留；7、 每個虛擬機最多支持直通8個GPU設(shè)備；8、 需要提前在主機的BIOS中開啟VT-d和VT-x支持。不同廠商服務(wù)器開啟的方式會有區(qū)別，請參考具體的服務(wù)器幫助文檔；2.1.3 方案特點綁定GPU的虛擬機，不會因為GPU資源不足導致虛擬機無法啟動說明即使綁定GPU的虛擬機的電源已關(guān)閉，GPU也不能被其他虛擬機使用2.2 GPU資

8、源組方案2.2.1 方案概述GPU資源組方案需要管理員首先創(chuàng)建以直通方式使用的GPU資源組，并將主機上的GPU設(shè)備添加到資源組中。在需要對虛擬機分配GPU資源時，直接將GPU資源組綁定給虛擬機，并指定預計在資源組中分配的GPU數(shù)量?？蛻籼摂M機啟動時，GPU資源組按照虛擬機所需的GPU數(shù)量，找到空閑的GPU數(shù)量滿足條件的主機，并從該主機中分配所需數(shù)量的GPU資源以PCI直通的方式直通給虛擬機，以使虛擬機順利啟動?？蛻籼摂M機在關(guān)閉后，GPU資源會釋放給資源組，此時這些GPU資源可以被分配給其他虛擬機使用。相比于FusionSphere虛擬化套件6.3之前的版本，該方案支持在一套環(huán)境中同時使用多種規(guī)

9、格的GPU卡，只需將不同的GPU卡劃分在不同的資源組中即可。該方案可以支持系統(tǒng)中存在需要使用不同GPU的應(yīng)用的情況，同時也可在設(shè)備演進中平臺地支持GPU卡進行更新?lián)Q代。多種GPU卡是否可以同時直通給一臺虛擬機，需要從虛擬機操作系統(tǒng)供應(yīng)商以及顯卡芯片廠商處獲取支持。說明每個GPU資源組可以管理相同產(chǎn)品型號的GPU資源，虛擬機可以通過綁定多個不同產(chǎn)品型號的GPU資源組以掛載不同型號的GPU設(shè)備，但是這些設(shè)備在虛擬機的操作系統(tǒng)中是否可以正常使用，由GPU的驅(qū)動程序以及操作系統(tǒng)決定。2.2.2 適用場景使用場景適用于對GPU資源需求存在彈性，允許進行GPU分時復用的場景。場景舉例：大數(shù)據(jù)分析、深度學習

10、、互聯(lián)網(wǎng)、教育等領(lǐng)域例如：分時復用某公司有3種業(yè)務(wù)A、B、C均需要使用GPU，但各業(yè)務(wù)運行的高峰時段存在明顯差異，如下表所示：業(yè)務(wù)高峰時段對GPU數(shù)量的訴求常規(guī)時段高峰時段A8:0010:0016:0020:0026B11:0014:0024C1:004:0013時段對GPU數(shù)量的訴求業(yè)務(wù)A業(yè)務(wù)B業(yè)務(wù)C總數(shù)1:004:0022378:0010:00621911:0014:00241716:0020:006219在此種場景下，為滿足所有業(yè)務(wù)在高峰時段對于GPU的訴求，共需配備13塊GPU；而各業(yè)務(wù)存在明顯的高峰時段差異，此時對各高峰時段進行分析得出在每個高峰時段中，所需要的GPU數(shù)量都不超過9個

11、，如下表所示：在業(yè)務(wù)系統(tǒng)支持動態(tài)擴縮容的情況下，在某個業(yè)務(wù)處于高峰時段時，業(yè)務(wù)系統(tǒng)通過擴展節(jié)點（虛擬機）的方式進行擴容，在脫離高峰時段時進行縮容，只需配備9塊GPU，即可滿足所有業(yè)務(wù)在各自高峰時段對GPU的訴求。此種相同GPU在不同時間由不同的系統(tǒng)或應(yīng)用使用的情況即為分時復用。使用約束GPU資源組方案存在以下約束：1) 同一臺虛擬機所使用的GPU必須集中在同一臺主機上，當任意主機空閑的GPU不足以滿足虛擬機運行所需時，即使資源組中的空閑GPU總量滿足，虛擬機也無法被分配到所需的GPU資源；2) 已直通GPU設(shè)備的虛擬機不支持內(nèi)存快照；3) 已直通GPU設(shè)備的虛擬機不支持熱遷移、休眠、喚醒操作；

12、4) 僅支持在GPU關(guān)閉狀態(tài)下進行GPU設(shè)備的綁定與解綁定操作；5) 一個GPU只能綁定給一個虛擬機或一個GPU資源組；6) 需要進行GPU直通的虛擬機的內(nèi)存必須全部預留；7) 每個虛擬機最多支持直通8個GPU設(shè)備；8) 需要提前在主機的BIOS中開啟VT-d和VT-x支持。不同廠商服務(wù)器開啟的方式會有區(qū)別，請參考具體的服務(wù)器幫助文檔；2.2.3 方案特點允許對GPU資源進行超分配，同一個GPU在多個虛擬機間分時復用由一個應(yīng)用釋放出來的GPU可以被其他應(yīng)用使用說明在GPU資源不足時，綁定GPU資源的已關(guān)閉電源的虛擬機不支持啟動，如果需要啟動虛擬機，需要將占用GPU的虛擬機關(guān)閉電源以釋放GPU資源3 術(shù)語術(shù)語英文解釋中文解釋GPUGraphics Processing Unit圖形處理器PCIPeripheral Component Interconnect外設(shè)部件互聯(lián)標準版權(quán)所有 華為技術(shù)有限公司 2019。 保留一切權(quán)利。非經(jīng)本公司書面許可，任何單位和個人不得擅自摘抄、復制本文檔內(nèi)容的部分或全部，并不得以任何形式傳播。商標聲明和其他華為商標均為華為技術(shù)有限公司的商標。本文檔提及的其他所有商標或注冊商標，由各自的所有人擁有。注意您購買的產(chǎn)品、服務(wù)或特性等應(yīng)受華為公司商業(yè)合同和條款的約束，本文檔中描述的全部或部分產(chǎn)品、服務(wù)或特性可能不在您的