分布式異構(gòu)智能算力的管理和調(diào)度技術研究報告 2023

1分布式異構(gòu)智能算力的管理和調(diào)度技術研究報告2 3 4 4 7 9 10 13 16 17 18 19 22 24 263承載信息數(shù)據(jù)的重要基礎設施，已成為全社會數(shù)字化轉(zhuǎn)型的重要基4池化和非池化異構(gòu)算力并存等各種場景下，算力協(xié)同的需求及可行二、異構(gòu)算力的發(fā)展和應用場景需求5代GPU架構(gòu)GeForce256，標志著GPU時代的開始。隨后GPU架構(gòu)也不斷升級，以適應日益增長的計算需求，GPU架構(gòu)也不近年來，英偉達還發(fā)布了多款強大的GPU芯片，如Turing、Ampere等，這些芯片都具有高性能的計算能力，為各種應用提供了可達18432個FP32（單精度）和9216個FP64（雙精度）的C架構(gòu)、RDNA3架構(gòu)、CDNA架構(gòu)和CDNA2架構(gòu)。最新一代面向高性能計算和人工智能CDNA2架構(gòu)于架構(gòu)采用增強型MatrixCore技6MI250XGPUFP64雙精度運算算經(jīng)網(wǎng)絡專用芯片，是google為了為優(yōu)化自身的TensorFlow機器于實現(xiàn)神經(jīng)網(wǎng)絡加速器、高性能計算單元等，為計算密集型的AI任AI張量塊，包含密集的低精度乘法器陣列，針對矩陣和向量乘法進與更通用的芯片（如CPU和GPU）相比，ASIC芯片的定制化7DPU服務于云計算，主要作用是提升數(shù)據(jù)中心等算力基礎設施寬和數(shù)據(jù)量急劇增長，由于CPU性能增長速度放緩，為了尋求效率更高的計算芯片，DPU由此產(chǎn)生。例如，英偉達將Mellanox的式推出了兩款DPU產(chǎn)品BlueField-2DP8求。異構(gòu)計算可以利用CPU和GPU聯(lián)合的方式，實現(xiàn)更高的計和管理。通過異構(gòu)計算，可以實現(xiàn)物聯(lián)網(wǎng)設備的智能化管理和數(shù)據(jù)處理，提高物聯(lián)網(wǎng)應用的效率和可靠性。異構(gòu)計算可以利用CPU+GPU或者CPU+FPGA+GPU等異構(gòu)算力聯(lián)合的方式，實現(xiàn)處理大量的交易數(shù)據(jù)。異構(gòu)計算可以利用FPGA進行加密計算，除了上述典型的應用場景外，不同行業(yè)對異構(gòu)智能算力的整體需9三、分布式異構(gòu)算力管理和調(diào)度的關鍵技術能力入，算力拓撲信息，算力實時狀態(tài)信息，實現(xiàn)對算力資源的虛擬體技術棧的適配支持，以保證應用在不同算力節(jié)點上能彈性遷移分布式異構(gòu)算力的管理和調(diào)度是分布式異構(gòu)算力平臺的核心功異構(gòu)算力虛擬化和池化是指在計算環(huán)境中利用不同類型的計算MIG（Multi-InstanceGPU）作為Ampere以及之后的Hopper架構(gòu)推出的新特性，解決了像Ampere、Hopper這種大GPU在集群服務應用時一類需求GPU切分與虛擬化。MIG分割的每個GPU實例等，這樣的切分方式也同時以利于容錯和吞吐率以及延遲的預測。物理資源進行切分，包括系統(tǒng)通道、控制總線、算力單元（TPC）、全局顯存、L2緩存、數(shù)據(jù)總線等；然后將分塊后的資源重新組合，劃分CI資源，這樣通過排列組合，增加了配置的多樣性。但是這些能力進行切片，分成多個邏輯上虛擬的GPU，以vGPU為單位分配同時為了豐富GPU虛擬化的能力，vGPU也可以支持多種不同的調(diào)超分等奠定了技術基礎，為持續(xù)優(yōu)化智算資源利用率創(chuàng)造了無限可算力的池化技術，它通過劫持對RuntimeAPI（如CUDAAPI）調(diào)用實現(xiàn)資源調(diào)度。當AI應用訪問池化運行時的API遠程調(diào)用資源等。API劫持技術的關鍵在于池化運行時仿真GPU/AI芯片的原生運行時，由于GPU/AI芯片種類、型號繁多，其原生運行二是應用程序監(jiān)視器技術：這是一種完全與GPU/AI芯片無關的Hypervisor管理虛擬機的方式類似，分為前端、后端，前端監(jiān)視指于不同GPU等異構(gòu)硬件在支撐智算應用時，依賴不同的技術棧，包上的應用并不能調(diào)度到國產(chǎn)化的GPU上無縫運行，也更無法將一個運行在GPU上的程序不經(jīng)過適配改動直接運行在FPGA上，技術棧的豎井問題導致一個智算應用目前仍然很難在不同的異構(gòu)算力節(jié)點別和管理，算力設備廠商按照deviceplugin的接口規(guī)范實現(xiàn)自己的例如在Kubeflow平臺中，GPU資源的管理和調(diào)度是通過GPU分配一定數(shù)量的GPU資源。GPU插件會根據(jù)任務的需求和系統(tǒng)中Kubernetes集群中，并提供API接口實現(xiàn)對資源的管理。當應的Pod，如果要實現(xiàn)任務的細粒度管理，可以使用GPU-Share的在的網(wǎng)絡狀態(tài)，以支撐策略對不同的集群網(wǎng)-基于實時資源狀態(tài)調(diào)度：根據(jù)異構(gòu)節(jié)點實時資源狀態(tài)，包括之外FPGA、NPU、ASIC等形態(tài)的算力也被廣泛應用于不同的使用場景。在混合異構(gòu)系統(tǒng)的調(diào)度中，由于CPU負責對計算機的硬件資缺的，GPU、FPGA等芯片都是作為CPU的加速器而存在。主流的型訓練在CPU上耗時長的問題，提升深度學習模型的訓練效率，同多CPU核心可用于處理應用程序，從而大大提高數(shù)據(jù)中心的效率，輯控制。度量單位一般的可以用TOPS來衡量其運算能力；并行計算能力是指專門為了處理如圖形圖像等數(shù)據(jù)類型統(tǒng)一的一種高效計計算能力主要針對近年來AI神經(jīng)網(wǎng)絡、機器學習類密集計算型業(yè)務交易的基礎，產(chǎn)業(yè)界也已經(jīng)開始對算力標識的整體架構(gòu)開展相關研大的計算效力，為多樣化AI應用場景提供高性能、高可靠的算力支中國移動智算中心基于移動云底座的IaaS能力，管理算力基礎推理池。中國移動將在小模型訓練池中，采用自研的容器基礎設施與調(diào)度，實現(xiàn)對智能算力的幾大關鍵能力。包括算力的（二）浪潮AIStation平臺實現(xiàn)異構(gòu)資源管理調(diào)度浪潮人工智能平臺提供統(tǒng)一的主流深度學習框架（Tensorflow、控，實現(xiàn)基礎資源服務管理,快速開展人工智能相關業(yè)務的開發(fā)和部關于異構(gòu)算力的接入和管理，AIStation人工智能開發(fā)平臺實現(xiàn)AIStation人工智能開發(fā)平臺可為用戶分配使用AIStation提供了插件化設計，能夠?qū)崿F(xiàn)包括GPU、寒武紀、昇關于異構(gòu)算力的調(diào)度，AIStation人工智能開發(fā)平臺調(diào)度系統(tǒng)提絡，同時支持按照接入交換機進行調(diào)度，盡量將任務調(diào)度在一個卡的使用率。提交任務時指定需要幾個GPU卡，每個GPU卡需急任務隊列屬性時，會將該緊急任務放到該緊急隊列，在緊急任務隊列的任務有最高的調(diào)度優(yōu)先級，調(diào)度器在處理完全部的緊急不同的用戶組，調(diào)度器會為每個用戶組創(chuàng)建對應的調(diào)度隊列，相同用戶組的用戶提交的訓練任務會進入同一隊列，調(diào)度器循環(huán)選），息，根據(jù)節(jié)點緩存數(shù)據(jù)集和作業(yè)所需數(shù)據(jù)集信息執(zhí)行作業(yè)調(diào)度，如果計數(shù)達到閾值后該等待任務仍然未得到足夠資源，則在同一資源組中，優(yōu)先調(diào)度這個等待任務。該特性保證在資源緊張的情（三）新華三傲飛平臺實現(xiàn)異構(gòu)資源管理調(diào)度H3C傲飛高性能計算管理平臺（AdvancedManagementPlatform用戶習慣的前提下，實現(xiàn)AI和HPC資源的靈活調(diào)配管理。實現(xiàn)了件\文件夾管理、統(tǒng)一計費、統(tǒng)一監(jiān)控告警，實現(xiàn)了AI和HPC業(yè)務傲飛平臺支持精細化的GPU管理，支持GPUMIG切分，支持vGPU和顯存分割。支持多種調(diào)度策略，包括FIFO、Gang、搶占、傲飛平臺基于兼容Kubernetes的基礎自研容器服務平臺為底集群環(huán)境和API，以運行各核心組件，實現(xiàn)資源調(diào)度和彈性伸縮、工作流編排、AI作業(yè)生命周期管理、各種AI制主要環(huán)節(jié)，支持AI數(shù)據(jù)集管理，AI模型開發(fā)、訓練、評測，以及管理。支持對于不同形態(tài)的算力資源進行約束限制，對用戶使用的用于供專門應用的集成ArtificialIntelligence用于創(chuàng)建機器學習和人工智能解決方案并提高[1]中國算力發(fā)展指數(shù)白皮書（2023年），/kxyj/qwfb/bps/202309/P020230914584614752938.pdf[2]中國綜合算力評價白皮書（2023年），/kxyj/qwfb/bps/202309/t20230906_461185.htm[3]浪潮AIStation人工智能開發(fā)平臺，/eportal/ui?pageId=2528603[4]新華三傲飛算力平臺，/cn/d_202308/1905504_473262_0.htm[5]中國移動NICC新型智算中心算力池化技術白皮書，/insight/insight_category/t