人工智能 計算設(shè)備調(diào)度與協(xié)同 第1部分：虛擬化與調(diào)度 編制說明

1本國家標準《人工智能計算設(shè)備調(diào)度與協(xié)同第1部分：虛擬化與調(diào)度》制定計劃下達，項目計劃號為20221793-T-469，由全國信息技術(shù)標準化技本標準由中國電子技術(shù)標準化研究院提出，主要參編單位包括華為技術(shù)有限公司、中國科學院軟件研究所、中國科學院計算技術(shù)研究所、北京騰訊云計算（北京）有限責任公司、浪潮電子信息產(chǎn)業(yè)股份有限公司、上海商湯智能科技有限公司、上海燧原科技有限公司、上海壁仞科技股份有限公司、上海天數(shù)智芯半導(dǎo)體有限公司、中國移動通信集團有限公司研究當前人工智能計算任務(wù)場景多樣，需要對計算設(shè)備資源合理利用及分針對上述問題，本標準對計算設(shè)備虛擬化技術(shù)提出基本要求，對虛擬化得到的計算資源的屬性、規(guī)格、必要功能、性能以及對外接口進行標準2化與調(diào)度》標準編制組成立，對該標準的立項達成共識，共同收集相關(guān)資作組多次召開標準研討會，針對產(chǎn)學研單位對標準文本提出的意見建議，分委會成員單位就《人工智能計算設(shè)備調(diào)度與協(xié)同第1部分：虛擬化與調(diào)度》的范圍和關(guān)鍵問題，進行廣泛討論，標準起草工作組聽取意見，并《人工智能計算設(shè)備調(diào)度與協(xié)同第1部分：虛擬化與調(diào)度》標準確立了人工智能計算設(shè)備虛擬化與調(diào)度系統(tǒng)的架構(gòu)，規(guī)定了技術(shù)要求、對應(yīng)該標準適用于人工智能計算設(shè)備虛擬化與調(diào)度系統(tǒng)的設(shè)計、研發(fā)、測3（6）附錄，包括附錄A：典型處理器的虛擬化參考架構(gòu)。OpenStackSpecifications虛擬化開源平臺，提供國際團體標準OpenStackSpecifications不專門針對AI計算，不能覆蓋深度神經(jīng)網(wǎng)絡(luò)相關(guān)操作及相關(guān)推理、訓(xùn)練控制過程。本標準專為人工智能領(lǐng)域計算研制，在虛擬化功能要求等方面，與OpenStackSpecifications保持一定兼容。InteloneAPI1.2Intel企標，定義了跨處理器（主要為oneAPI標準主要為IntelCPU服務(wù)，定義接口的顆粒度和選擇，以Intel指令4CPU-GPU）的編程接口集和調(diào)用作為第一參考。本標準為公共標準，且不著重針對CPU-GPU間計算任務(wù)的遷移GB/T42018-2022人工智能平臺計算資源技術(shù)規(guī)范側(cè)重定義AI應(yīng)用所需的物理計算資源的類型和基礎(chǔ)屬性，不涉及細粒度的虛擬化框架、接口要求以及性能指標與測試方法，不涉及調(diào)度要求，本文件可作為該標準的補充和細化以人工智能計算設(shè)備虛擬化與調(diào)度為關(guān)鍵問題，研究產(chǎn)業(yè)相關(guān)方共同需求，并對使用人工智能計算任務(wù)對虛擬化計算資源調(diào)用必要過程實施分析，明確人工智能計算設(shè)備虛擬化的功能要求、接口規(guī)范、測試方法；構(gòu)在研制過程中，本標準優(yōu)先考慮與其他公共或類似的虛擬化、設(shè)備調(diào)度功能與接口的兼容性，最大程度地降低重復(fù)人工智能計算設(shè)備虛擬化與調(diào)度標準的定義參考了國內(nèi)外主流技術(shù)設(shè)計和設(shè)備軟硬件實現(xiàn)方法。在試驗方面，標準定義了虛擬化與調(diào)度測試方法與指標。標準的參與企業(yè)包含國內(nèi)基本全部人工智能計算設(shè)備提供方和有代表性的使用方，當前已有人工智能計算設(shè)備企業(yè)和人工智能計算設(shè)備5企業(yè)和機構(gòu)，單獨一家企業(yè)自建生態(tài)及其困難，資金投入巨大，效果無法預(yù)期，生態(tài)建設(shè)矛盾突出，本標準將幫助人工智能計算設(shè)備虛擬化與調(diào)度人工智能計算設(shè)備的管理復(fù)雜性，降低用戶對人工智能計算設(shè)備的使用、維護難度；同時通過虛擬化計算資源、設(shè)備高效調(diào)度，提升用戶對計算資國際、國外尚未發(fā)布針對人工智能計算設(shè)備虛擬化與調(diào)度相關(guān)基礎(chǔ)通GB/T42018-2022《信息技術(shù)人工智能平臺資源供給》定義了各類人工智能物理計算資源的形態(tài)、組成、基礎(chǔ)技術(shù)參數(shù)，虛擬計算資源的基本特征，并針對各類計算設(shè)備形態(tài)，提出了測試方法GB/T42018－2022標準在內(nèi)容上與本標準無覆蓋關(guān)系，標準提出的人工智能計算虛擬計算資源各基礎(chǔ)能力被本標準細化，本標準重點細化了虛擬化及調(diào)度功能、接口、測試方法，本標準可以作為該標準的補充，相互配套使用。6T/CESA1228.1-2022《信息技術(shù)人工智能計算設(shè)備調(diào)度與協(xié)同第1部分：虛擬化與調(diào)度》定義了典型（CPU，GPU，NPU，F(xiàn)PGA）人工智能加速處理器的虛擬化方法和基礎(chǔ)調(diào)度模式T/CESA1228.1－2022標準僅定義典型人工智能加速處理器的虛擬化方法和基礎(chǔ)調(diào)度模式、過程層面規(guī)范，而非接口層面。本標準完成虛擬化和調(diào)度接口定義和測試方法規(guī)范，可相互配套使用。20221794-T-469《人工智能服務(wù)器系統(tǒng)性能測試規(guī)范》定義了人工智能服務(wù)器系統(tǒng)完成深度學習訓(xùn)練及推理任務(wù)的性實際吞吐率、能效、效率、彈性、承壓能力等）測試方法。人工智能服務(wù)器、人工智能加速模組等都可以作為物理計算設(shè)備完成虛擬化形成虛擬化計算實例，也可以不虛擬化直接使用計算設(shè)備（如一個計算任務(wù)與一臺計算設(shè)備直接一對一綁定等場景），在內(nèi)容上與本標準無覆蓋關(guān)系。標準研制過程中廣泛吸納相關(guān)方參與，標準發(fā)布后