什么是GPU多實(shí)例(MIG)

1、 什么是GPU多實(shí)例(MIG) ？ 導(dǎo)讀：AMD收購Xilinx(點(diǎn)擊閱讀)，Intel、AMD和Nvidia三家脫穎而出，F(xiàn)PGA芯片行業(yè)完成新一輪清洗，Nvidia在協(xié)處理器芯片行業(yè)內(nèi)功深厚，三足鼎立之勢已經(jīng)形成。隨著 GPU 的應(yīng)用越來越廣泛，應(yīng)用場景愈發(fā)多元，對 GPU 的利用率的要求也不斷提升，傳統(tǒng)虛擬化方法之下，GPU 計算資源的浪費(fèi)對計算效率造成的的影響日漸凸顯，提升算力以外，破解資源浪費(fèi)難題也已迫在眉睫。多實(shí)例GPU（MIG）就這樣應(yīng)運(yùn)而生.單個 GPU 內(nèi)含七個加速器多實(shí)例 GPU (MIG) 可提升每個 NVIDIA A100 Tensor 核心 GPU 的性能和價值。MI

2、G 可將 A100 GPU 劃分為多達(dá)七個實(shí)例，每個實(shí)例均與各自的高帶寬顯存、緩存和計算核心完全隔離。現(xiàn)在，管理員可以支持從大到小的各項(xiàng)工作負(fù)載，為每項(xiàng)工作提供規(guī)模適當(dāng)?shù)?GPU，而且服務(wù)質(zhì)量 (QoS) 穩(wěn)定可靠，從而優(yōu)化利用率，讓每位用戶都能享用加速計算資源。優(yōu)勢概覽更多用戶享受到 GPU 加速能力借助 MIG，您可以在單個 A100 GPU 上獲得多達(dá)原來 7 倍的 GPU 資源。MIG 為研發(fā)人員提供了更多的資源和更高的靈活性。優(yōu)化 GPU 利用率MIG 允許您靈活選擇許多不同的實(shí)例大小，從而為每項(xiàng)工作負(fù)載提供適當(dāng)規(guī)模的 GPU 實(shí)例，最終優(yōu)化利用率并使數(shù)據(jù)中心投資充分發(fā)揮成效。同時運(yùn)

3、行混合工作負(fù)載憑借 MIG，能以確定性延遲和吞吐量，在單個 GPU 上同時運(yùn)行推理、訓(xùn)練和高性能計算 (HPC) 工作負(fù)載。技術(shù)工作原理若不使用 MIG，則同一 GPU 上運(yùn)行的不同工作（例如不同的 AI 推理請求）會爭用相同的資源（例如顯存帶寬）。顯存帶寬更大的工作會占用其他工作的資源，導(dǎo)致多項(xiàng)工作無法達(dá)成延遲目標(biāo)。借助 MIG，工作可同時在不同的實(shí)例上運(yùn)行，每個實(shí)例都有專用的計算、顯存和顯存帶寬資源，從而實(shí)現(xiàn)可預(yù)測的性能，同時符合服務(wù)質(zhì)量并盡可能提升 GPU 利用率。利用多實(shí)例 GPU 大幅提升性能和利用率，觀看視頻：實(shí)現(xiàn)超高的數(shù)據(jù)中心靈活性一個 NVIDIA A100 GPU 可劃分成不

4、同大小的 MIG 實(shí)例。例如，管理員可以創(chuàng)建兩個各有 20 千兆字節(jié) (GB) 內(nèi)存的實(shí)例、三個各有 10 GB 內(nèi)存的實(shí)例、七個各有 5 GB 內(nèi)存的實(shí)例或者它們的組合。因此，系統(tǒng)管理員可以根據(jù)不同類型的工作負(fù)載為用戶提供適當(dāng)規(guī)模的 GPU 資源。管理員還可以動態(tài)地重新配置 MIG 實(shí)例，從而能根據(jù)不斷變化的用戶和業(yè)務(wù)需求調(diào)整 GPU 資源。例如，白天可以使用七個 MIG 實(shí)例進(jìn)行低吞吐量推理，而夜間可以重新配置為一個大型 MIG 實(shí)例，以進(jìn)行深度學(xué)習(xí)訓(xùn)練。提供出色的服務(wù)質(zhì)量每個 MIG 實(shí)例都有一套專用于計算、內(nèi)存和緩存的硬件資源，從而能為工作負(fù)載提供穩(wěn)定可靠的服務(wù)質(zhì)量 (QoS) 和有效

5、的故障隔離。這樣一來，如果某個實(shí)例上運(yùn)行的應(yīng)用程序發(fā)生故障，并不會影響其他實(shí)例上運(yùn)行的應(yīng)用程序。而且，不同的實(shí)例可以運(yùn)行不同類型的工作負(fù)載，包括交互式模型開發(fā)、深度學(xué)習(xí)訓(xùn)練、AI 推理或高性能計算應(yīng)用程序等。由于這些實(shí)例并行運(yùn)行，因此工作負(fù)載也在同一個物理 A100 GPU 上同時運(yùn)行，但它們彼此相互獨(dú)立、隔離。MIG 非常適合 AI 模型開發(fā)和低延遲推理等工作負(fù)載。這些工作負(fù)載可以充分利用 A100 的功能，并且很適合在每個實(shí)例的已分配內(nèi)存中運(yùn)行。為 IT 和開發(fā)運(yùn)營打造每個 MIG 實(shí)例對于應(yīng)用程序都像獨(dú)立 GPU 一樣運(yùn)行，因此 CUDA 編程模式?jīng)]有變化。容器（例如來自 NGC 的容器）中的 AI 模型和高性能計算應(yīng)用程序可以通過 NVIDIA Container Runtime 直接在 MIG 實(shí)例上運(yùn)行。MIG 實(shí)例作為附加的 GPU 資源出現(xiàn)在 Kubernetes 等容器編排工具中，這些工具可以安排容器化工作負(fù)載在特定 GPU 實(shí)例內(nèi)運(yùn)行。這項(xiàng)功能很快便可通過 適用于 Kubernetes 的 NVIDIA 設(shè)備插件提供組織可以通過 NVIDIA Virtual Compute Server (vCS) 在 MIG GPU 實(shí)