聯(lián)通算力服務原生白皮書

<成果標題><成果標題>2023年5月中國聯(lián)通算力服務原生-1--2-版權聲明本報告版權屬于中國聯(lián)合網(wǎng)絡通信有限公司研究院，并受法應注明“來源：中國聯(lián)通研究院”。違反上述聲明者，本院將追究其相關法律責任。編寫單位：中國聯(lián)通研究院/下一代互聯(lián)網(wǎng)寬帶業(yè)務應用國家工程研究中心喆，合作單位：浪潮通信信息系統(tǒng)有限公司，英特爾，深圳市遇公司，飛騰信息技術有限公司-3-近年來，伴隨著數(shù)字經(jīng)濟的蓬勃發(fā)展，互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能同各行各業(yè)深度融合，產(chǎn)生的數(shù)據(jù)量和計算量呈指數(shù)爆發(fā)，對于目前海量、分散的應用場景，數(shù)據(jù)的處理與分析需要強有力的算力提供支撐，加速了“云、邊、端”為主的算力資源的高效協(xié)同，同時服務形態(tài)也由最初的云服務向算力服務演進，促進算力技術發(fā)展走向多架構并存的道路。異構算力廣泛應用帶來了軟件層面以及硬件、芯片層面新的技術問題，為算力資源的高效利用以及應用的快速發(fā)展提出了挑戰(zhàn)，亟需一套解決方案來屏蔽異構算力、異構代碼和異構運行環(huán)境差異所引入的軟硬件兼容問題，以便提高資源利用率，降低開發(fā)以及維護成本?；诖吮尘?，本白皮書提出了算力服務原生技術來解決上述挑戰(zhàn)。本白皮書首先分析了算力技術的發(fā)展趨勢及當前應用多樣化下異構算力發(fā)展面臨的挑戰(zhàn)，之后對算力服務原生的定義內(nèi)涵、總體架構、關鍵技術進行了分析，并就算力服務原生與云原生、算力網(wǎng)絡、人工智能的關系和當前業(yè)界的探索實踐進行詳細介紹，期望為算力服務產(chǎn)業(yè)發(fā)展起到拋轉引玉的作用，并通過發(fā)展算力服務原生技術，以實現(xiàn)“一套代碼全網(wǎng)通用”的目標，呼吁與業(yè)界合作共建、聯(lián)合推動算力服務原生統(tǒng)一的標準體系，并繁榮開源-4-1.算力服務原生產(chǎn)生背景 61.1.算力技術的發(fā)展趨勢 61.1.1.算力需求劇增，異構算力泛在部署 61.1.2.應用場景多樣，算力生態(tài)螺旋發(fā)展 7算力服務 81.2.算力服務原生概念辨析 102.算力服務原生總體架構及關鍵技術 122.1.算力服務原生總體架構 122.2.算力服務原生關鍵技術 142.2.1.代碼服務化 142.2.2.服務適配 152.2.3.應用適配 162.2.4.算力服務原生編程模型 162.2.5.異構算力運行時 172.2.6.異構算力池化 192.2.7.異構算力互聯(lián) 203.算力服務原生與周邊技術關系 223.1.算力服務原生與云原生的關系 223.2.算力服務原生與算力網(wǎng)絡的關系 233.3.算力服務原生與人工智能的關系 24-5-4.算力服務原生業(yè)界探索 264.1.算力服務原生在產(chǎn)業(yè)中應用 264.1.1.基于算力服務原生的算網(wǎng)資源調(diào)度 264.1.2.基于算力服務原生的算網(wǎng)能力開放 274.1.3.算力服務原生的典型應用場景 28中國聯(lián)通算力服務原生探索和實踐 294.3.算力服務原生業(yè)界發(fā)展情況 314.3.1.TensorLayerX 314.3.2.英特爾 324.3.3.遇賢微電子 334.3.4.飛騰 344.3.5.浪潮 344.3.6.NVIDIA 355.算力服務原生愿景與展望 37 39獻 40-6-1.算力服務原生產(chǎn)生背景1.1.算力技術的發(fā)展趨勢.算力需求劇增，異構算力泛在部署互聯(lián)網(wǎng)的高速發(fā)展使得萬物互聯(lián)成為可能，由此產(chǎn)生的數(shù)據(jù)量和計算量呈指數(shù)爆發(fā)，而海量數(shù)據(jù)的處理與分析需要強有力的算力提供支撐。當前，大模型、元宇宙等相關技術實現(xiàn)依靠超強算力支撐，這對現(xiàn)有的技術和未來的發(fā)展都提出了很大的挑戰(zhàn)。對于算力需求的日益劇增，需要云、邊、端算力實現(xiàn)高效協(xié)同。對于目前海量、分散的應用場景，僅由數(shù)據(jù)中心內(nèi)部或者終端的高效算力處理已無法滿足業(yè)務需求。近年來由于邊緣計算、分布式計算等新型計算業(yè)態(tài)的出現(xiàn)，新型網(wǎng)絡連接形態(tài)更好的實現(xiàn)了不同數(shù)據(jù)中心之間的連接，因此數(shù)據(jù)中心的云資源部署逐漸從傳統(tǒng)集約化為主的中心云方式，主要向中心云和邊緣計算之間的協(xié)同調(diào)度方式演進，而隨著未來移動互聯(lián)網(wǎng)的發(fā)展，正逐漸促進了包括終端側的泛在計算的協(xié)同和發(fā)展，形成了以“云、邊、端”為主的新型算力資源協(xié)同和發(fā)展，圍繞三者結合實現(xiàn)的泛在計算構建了不同層級的算力組成，能夠實現(xiàn)低時延、低成本等效果。并且結合大數(shù)據(jù)技術和智能算法，能夠實現(xiàn)在不同層級的算力滿足不同的場景需求，即，云計算滿足大體量數(shù)據(jù)分析和算法訓練，邊緣計算滿足敏捷接入和本地計算，而端側算力側重現(xiàn)場體驗和端側智能等要求。-7-圖1人工智能發(fā)展帶來泛在算力需求算力的需求促進了算力架構的多樣性和算力性能的不斷提升，在不同的應用場景中，異構算力協(xié)同處理發(fā)揮最大化的計算效力。尤其對于近年來新興發(fā)展起來的人工智能應用場景，其算力需求是貫穿云端到邊緣再到端側的泛在算力需求，如何使遍布在云邊端泛在部署的異構多樣算力資源滿足繁雜多樣的計算需求，驅使業(yè)務應用能平滑的在各級算力資源上進行流轉運行，充分利用巨量算力資源，是當今業(yè)務發(fā)展的關鍵點。1.1.2.應用場景多樣，算力生態(tài)螺旋發(fā)展算力最初的形態(tài)為通用CPU，隨著信息技術的發(fā)展，為滿足日益豐富化的應用場景，多類芯片相繼涌現(xiàn)，算力形態(tài)呈現(xiàn)螺旋式發(fā)展狀態(tài)。20世紀80年代隨著互聯(lián)網(wǎng)的誕生，各類網(wǎng)絡新媒體應用需求大幅涌現(xiàn)，加速了CPU的迭代演進，進入通用算力的蓬勃發(fā)展時期，CPU的運算速度由最初的5MHz達到了33MHz和66MHz。但當前CPU的架構已經(jīng)相當復雜，并且真正有效計算在CPU整體計算功耗中只占據(jù)10%左右，所以通用架構的-8-CPU性能不足，適合計算密度不高的使用場景。隨著AI、網(wǎng)絡虛擬化等場景的發(fā)展，通用CPU已經(jīng)無法滿足運算性能的需求，專用芯片逐漸進入大家的視野。ASIC技術使得芯片可以根據(jù)應用的需求進行定制。ASIC芯片集成各種功能模塊，是為了某種特定的需求而專門定制的芯片。所以ASIC與通用芯片相比，具有體積小、功耗低、計算性能高、計算效率高、芯片出貨量越大成本越低的優(yōu)勢。隨著深度學習，科學計算應用場景不斷擴大，算法多樣性等因素，針對特定算法和流程定制的ASIC無法滿足業(yè)務需求，同時CPU性能不足，英偉達(NVIDIA)推出了圖形處理器(GPU)，但由于GPU同樣為特定應用程序或任務而設計，價格仍舊高，且由于專用性，引入各類軟硬件的適配問題。2008年，提出通用GPU概念，減少了取值、譯碼開銷，具有很強的通用性，以NVIDIA為代表的GPU廠商，培養(yǎng)了非常好的GPU生態(tài)系統(tǒng)，為用戶提供了非常方便的開發(fā)環(huán)境。2003年芯片性能提升的趨勢已經(jīng)放緩，2015年之后，單一芯片的性能提升越來越難，摩爾定律逼近極限，工藝紅利逐漸消失。計算機體系架構領域低垂的果實早已被摘盡，專用算力雖然滿足不同場景中的應用需求，但帶來收益的同時也帶來系統(tǒng)“碎片化”的挑戰(zhàn)，各廠商不斷圍繞自身芯片架構構筑各自的軟件生態(tài)。隨著高性能計算、圖像處理、人工智能等應用場景的增加，芯片產(chǎn)業(yè)的發(fā)展等，未來將會是專用算力與通用算力并存的形態(tài)。當前，以應用通用算力為主的云計算技術已成為賦能業(yè)務數(shù)字化轉型的-9-關鍵，但隨著企業(yè)數(shù)字化程度不斷加深、用戶需求的日益增加、算力云邊端三級部署以及多樣化異構算力的蓬勃發(fā)展，促使用戶對算力感知、度量、利用率提升等方面需具備更高的要求，云服務也逐漸向算力服務演進。算力服務除通用計算外，還包括智算、超算、量子計算、個人電腦和移動終端等算力，為滿足多樣化需求下的異構算力融合使用訴求，算力服務以異構算力為算力設施供給，以算力網(wǎng)絡為連接，以多種計算技術為支撐，將異構算力統(tǒng)一輸出管理，并與人工智能、區(qū)塊鏈等技術交叉融合，將算力、存儲、網(wǎng)絡等資源統(tǒng)一封裝，通過服務形式(如API)進行使用。圖2服務形態(tài)演進，云服務到算力服務在向算力服務演進的過程中，算力服務的自治能力1需要具有低/無代碼開發(fā)功能，并能在多種模式(云上、云下、混合模式)下部署，以此降低代碼開發(fā)和應用部署門檻，使開發(fā)者聚焦業(yè)務自身。隨著云原生技術的不斷發(fā)展，為應用在多模式算力下的部署提供了支撐，但由于異構算力自身架構差異導致的底層指令不同，以及當前軟件工作模式與算力的量身定制等問題，仍無法1自治能力：通過自治算力服務框架的完全自動、自愈、自優(yōu)、自治的基礎設施，實現(xiàn)客戶對IT運維無感知、盡量少的投注精力在IT基礎設施、IT保持足夠的穩(wěn)健，足夠的魯棒，進而不需要去關注和等待。-10-真正實現(xiàn)基于異構算力部署應用，既需要軟件維度進行業(yè)務功能編寫，又需要在算力維度執(zhí)行轉換為機器指令后的業(yè)務邏輯，同時也需要網(wǎng)絡支撐資源間通信、用戶交互等。因此，要實現(xiàn)真正從代碼到應用都屏蔽資源架構的差異，不僅僅要求面向算力服務軟件的能力支持，同時面向算力服務基礎設施，需要對異構算力進行統(tǒng)一抽象。如需要對各種編程語言(Java、Python等)，各種工具平臺(PaddlePaddle、PyTorch等)等編寫的代碼進行兼容，提供統(tǒng)一的封裝方式，實現(xiàn)無差別接入；對異構算力進行統(tǒng)一化度量，解決軟件層面以及硬件、芯片層面新的技術問題；同時，應用異構互聯(lián)的網(wǎng)絡將硬件與硬件、硬件與軟件、軟件與用戶進行互聯(lián)互通，達到“一碼通用”2的低/無代碼軟硬件生態(tài)，這也正是算力服務原生希望實現(xiàn)的目標。1.2.算力服務原生概念辨析本白皮書所敘述算力服務原生技術的目標是：基于異構算力基礎設施，面向應用、模型、代碼在不同異構算力資源池間部署的使用場景，解決異構算力代碼不通用、算力服務化成本高等問題，提高算力在各類場景下的應用算力服務原生是指屏蔽異構代碼和異構運行環(huán)境間的差異，將一套應用代碼封裝為規(guī)范化的互聯(lián)網(wǎng)服務，并可部署至任意位置和任意類型的算力上，供用戶使用規(guī)范化互聯(lián)網(wǎng)接口隨時隨地調(diào)用和消費。在此理念下，算力服務2一碼通用：一套代碼，在不做任何修改或少量修改下，可以在任意算力下進行部署并對外提供服務。-11-原生應實現(xiàn)大規(guī)模異構計算資源的統(tǒng)一輸出，更加普適性地滿足不同量級或不同硬件架構下的算力需求。算力服務原生要統(tǒng)一算力輸出的服務化標準，促進算力服務標準化，避免軟件被固定形式的算力需求所捆綁，實現(xiàn)算力應用的標準化落地。面向算力服務軟件，算力服務原生將所有應用代碼進行服務化封裝，為用戶提供統(tǒng)一規(guī)范化的服務訪問接口和模式，使得所有應用代碼(及其依附的算力設施)能夠以服務的形式被用戶所訪問和使用，實現(xiàn)“代碼即服務”、“算力即服務”，簡化普通用戶使用和消費應用代碼和算力設施的操作和模面向算力服務設施，算力服務原生屏蔽應用異構算力引入的復雜軟硬件差異，實現(xiàn)同一應用同一套代碼、在無需改動的條件下，即可自動適配所有廠家的所有算力設備，應用在異構算力間無感知遷移，達到一套代碼，全網(wǎng)通用的目的。-12-2.算力服務原生總體架構及關鍵技術2.1.算力服務原生總體架構從應用對外提供服務所需的技術能力支撐維度，認為算力服務原生由軟件到硬件自頂向下可分為5層，即應用層、服務層、算力抽象層、異構算力池化層以及設備層。其中算力服務原生技術集中在：服務層、算力抽象層、異構算力池化層。圖3算力服務原生總體架構-13-(1)服務層服務層維度的算力服務原生，旨在達到代碼即服務，算力即服務的目的，所謂“代碼即服務”，就是指開發(fā)者開發(fā)出一套應用代碼之后，隨即變成可部署至任意位置的規(guī)范化互聯(lián)網(wǎng)服務，供用戶使用規(guī)范化互聯(lián)網(wǎng)接口隨時隨地調(diào)用和消費。由于服務化后的應用程序是依附在算力資源(設備)上運行并向外提供服務的，因此又達到了“算力即服務”的目的。(2)算力抽象層算力抽象層是由算力服務原生編程模型和異構算力運行時組成，其中算力服務原生編程模型基于原生算力統(tǒng)一API、原生編程模型范式以及編譯優(yōu)化部署工具，提供了一種統(tǒng)一的編程方式，開發(fā)者可以使用一種或多種高級語言進行應用開發(fā)，編譯器、庫和工具可以將程序轉換為特定硬件上的可執(zhí)行代碼，并利用硬件特性來實現(xiàn)高性能計算，實現(xiàn)編程語言對硬件透明化。異構算力運行時旨在解決傳統(tǒng)的計算設備之間由于架構、指令集、內(nèi)存模型等差異，引發(fā)不同計算設備之間的互操作性問題。異構算力運行時通過提供一種跨平臺的、高性能的計算環(huán)境，允許計算機程序在異構算力資源上平滑地流轉運行，使得開發(fā)人員可以輕松地利用異構算力，提高計算性能和(3)異構算力池化層算力資源池通過對底層異構硬件設備進行統(tǒng)一建模，使其不同類型的計算設備統(tǒng)一標準化，同時結合異構算力互聯(lián)能力，實現(xiàn)異構計算資源的一體池化管理，面對應用層不同的計算任務需求，提供高效、靈活的計算資源調(diào)-14-度，同時計算資源的彈性和可擴展能力為業(yè)務應對潮汐場景下的服務質(zhì)量保障提供了有效的應對途徑。2.2.算力服務原生關鍵技術為了實現(xiàn)算力服務原生架構的異構資源適配、動態(tài)調(diào)度、統(tǒng)一API接口、編程模型轉換、統(tǒng)一內(nèi)存、異構并行計算、應用服務跨平臺遷移等功能，如圖4所示，本章節(jié)從兩方面闡述算力服務原生涉及的關鍵技術：面向算力服務軟件，包括代碼服務化、服務適配、應用適配等關鍵技術；面向算力服務設施，包括編程模型、異構算力運行時、異構算力池化、異構算力互聯(lián)等關鍵技術。圖4算力服務原生需求與關鍵技術關系2.2.1.代碼服務化實現(xiàn)服務原生最基礎和關鍵的技術是如何以簡潔、規(guī)范、易用的方式將-15-任意應用程序代碼進行服務化封裝，并為用戶提供簡潔、規(guī)范、易用的服務訪問模式和工具。目前針對不同的編程語言基本都有相應的Web服務化框架和工具，但是編程和使用模式都非常復雜，且互不兼容，即使一個簡單應用的服務化封裝，也需要專業(yè)開發(fā)人員才能實現(xiàn)，達不到服務原生的效果。為了實現(xiàn)真正意義上的服務原生，即“代碼即服務”，需要解決以下技術問題：面向異構編程語言的高并發(fā)高性能微服務引擎，將任意編程語言開發(fā)的代碼進行服務化封裝；支持大規(guī)模高性能并發(fā)訪問；支持多協(xié)議多數(shù)據(jù)格式傳輸適配；極簡、規(guī)范化的接口代碼開發(fā)模式；極簡、規(guī)范化的接口訪問模式；異構開發(fā)和運行環(huán)境適配；支持一鍵式自動化服務化封裝。2.2.2.服務適配應用程序封裝成為統(tǒng)一規(guī)范化的服務之后，應該能夠調(diào)度和部署至云邊端等任意位置，以供用戶進行訪問和使用，因此要求服務化后的應用程序應該具有適配各種異構算力和網(wǎng)絡環(huán)境并在其中進行按需調(diào)度和部署的能力，需要解決的關鍵問題目前主要包括；云原生支持(源碼一鍵入云)：代碼服務化/算力服務化需要提供微服務和云原生支持，可將源碼形式的應用程序一鍵封裝成為微服務，然后調(diào)度至異構算力網(wǎng)絡中的任意位置進行部署和運行。在線算力服務：封裝成服務的代碼部署至不同的算力設施上之后，基于一鍵部署能力自動將算力封裝成為實時在線與用戶進行交互的服務，改變傳統(tǒng)命令行和離線任務式的算力提供和使用方式。-16-2.2.3.應用適配為了規(guī)范和簡化應用程序的服務化操作，在服務化過程中還需要考慮應用程序對不同底層應用框架和支撐模塊等的適配和規(guī)范化封裝等問題。例如，在AI應用領域，目前存在不同的AI模型開發(fā)框架，各自的編程接口、調(diào)用模式等都不一致，這樣就給模型的服務化帶來了困難和不便，需要針對不同的框架和模型開發(fā)不同的服務化模板。如果能夠針對某一類應用開發(fā)統(tǒng)一的服務化模板或框架，用于適配該領域所有底層應用開發(fā)框架，則可大大降低應用程序服務化的代價和開銷，提高應用程序開發(fā)和算力服務化部署的性能和效率。2.2.4.算力服務原生編程模型算力服務原生編程模型是一種專門為異構計算架構設計的編程模型，能夠讓開發(fā)者可以使用同樣的編程語言和工具來編寫程序，而無需考慮底層硬件的細節(jié)。傳統(tǒng)的編程模型往往難以充分利用異構計算平臺的硬件資源，因為不同類型的硬件資源需要不同的編程方式和優(yōu)化方法。而算力服務原生編程模型則提供了一種統(tǒng)一的編程方式來直接利用硬件的內(nèi)在特性，從而提高計算性能。在算力服務原生編程模型中，開發(fā)者可以使用一種或多種高級語言編寫程序，同時使用編譯器、庫和工具來優(yōu)化程序的執(zhí)行。這些編譯器、庫和工具可以將程序轉換為特定硬件上的可執(zhí)行代碼，并利用硬件特性來實現(xiàn)高性能計算，例如利用GPU的SIMD(單指令多數(shù)據(jù))能力，以及利用FPGA的-17-可編程邏輯和數(shù)據(jù)流架構等。算力服務原生編程模型通常擁有以下幾個特點：1)顯式并行性：算力服務原生編程模型通常要求程序員顯式地指定程序中的并行操作，以便更好地利用異構計算平臺的并行計算能力。2)內(nèi)存管理：由于異構計算平臺的內(nèi)存結構和訪問方式與傳統(tǒng)計算平臺有所不同，算力服務原生編程模型通常提供了更為細致的內(nèi)存管理機制，以便更好地管理計算平臺上的各種內(nèi)存資源。3)硬件特性的優(yōu)化：算力服務原生編程模型通常提供了專門的優(yōu)化方法和指令，以便更好地利用計算平臺的硬件特性，如向量化指令、異步執(zhí)行、共享內(nèi)存等。2.2.5.異構算力運行時運行時(Runtime)是指在程序運行的過程中提供環(huán)境支持和資源管理的軟件系統(tǒng),通常由操作系統(tǒng)、編程語言虛擬機或者運行時庫等組成，為程序提供例如內(nèi)存管理、線程調(diào)度、異常處理、I/O操作、虛擬化管理等功能和服務。傳統(tǒng)的計算設備之間存在著架構、指令集、內(nèi)存模型等差異，這導致了ComputeRuntime)通過提供一種跨平臺的、高性能的計算環(huán)境，允許計算機程序在異構算力資源上平滑地流轉運行，使得開發(fā)人員可以輕松地利用異構算力，提高計算性能和效率。異構算力的運行時需要具備以下幾個方面的設計要求：1)抽象化接口：異構算力資源具有不同的計算架構和指令集，因此需要設計抽象化的接口來屏蔽底層硬件的差異性。這可以通過提供統(tǒng)一的API接-18-口來實現(xiàn)，使得程序員可以使用相同的代碼和接口在不同的異構算力上運行。2)統(tǒng)一的內(nèi)存模型：不同的異構算力設備具有不同的內(nèi)存模型和訪問方式,因此需要設計一種統(tǒng)一的內(nèi)存模型和內(nèi)存管理機制，以便程序能夠在不同的異構算力設備上流暢地運行，并能夠共享數(shù)據(jù)和內(nèi)存。3)動態(tài)調(diào)度和任務分配：異構算力資源的不同計算設備之間存在差異，例如CPU的多核、GPU的流處理器、FPGA的可重構等，因此需要根據(jù)任務的需求和設備的特點動態(tài)地進行任務分配和調(diào)度，以提高計算效率和資源利4)靈活的編譯器和優(yōu)化器：異構算力資源上的計算任務可能需要進行不同的編譯和優(yōu)化，以適應不同的設備和應用場景。因此需要設計靈活的編譯器和優(yōu)化器，以提高程序的性能和效率。5)強大的調(diào)測工具：由于異構算力設備之間的差異性，程序在不同的設備上可能會出現(xiàn)不同的行為。因此需要提供強大的調(diào)測工具，以確保程序在不同的異構算力設備上都能夠正確運行。異構算力運行時通常包括以下組件:1)驅動程序:用于與計算設備的硬件交互，控制設備的運行狀態(tài)和資源分配等；2)運行時庫:提供跨平臺的計算環(huán)境，包括數(shù)據(jù)并行化、內(nèi)存管理、任務調(diào)度、錯誤處理等功能；3)編譯器和工具鏈:用于將代碼轉換為可在異構算力環(huán)境中執(zhí)行的格式，例如CUDA、OpenCL等。-19-2.2.6.異構算力池化異構算力池化技術是指將CPU、GPU等多種不同類型、不同指令集、不同制程架構的計算資源通過池化技術進行集中管理和調(diào)度，形成一個納管異構計算資源的統(tǒng)一資源池。異構算力池化技術可以為不同的計算任務提供高效、靈活、彈性和可擴展的計算資源，提高計算效率和性能。異構算力池化技術的實現(xiàn)包括以下幾個方面：1)計算資源池化異構算力池化技術需要將不同類型的計算設備匯聚到一個資源池中，形成一個統(tǒng)一的計算資源池。計算資源池化需要對不同類型的計算設備進行分類、管理和調(diào)度，以便能夠滿足不同計算任務的需求。2)異構算力統(tǒng)一度量算力資源需要一種共識，在標準規(guī)范的基礎上，量化異構算力資源以及多樣化業(yè)務需求，建立統(tǒng)一的描述語言，給算力資源賦予可度量、可計費的標準單位。因此算力池化技術支持通過特定API為上層系統(tǒng)提供度量所需的算力性能參數(shù)，實現(xiàn)異構算力的統(tǒng)一度量，為算力的分配、管理、運營等提供支撐。3)異構算力感知算力池化技術需要支持提供池化后的算力資源信息，包含實時收集系統(tǒng)內(nèi)各節(jié)點的異構算力資源的部署位置、算力資源數(shù)量、拓撲、運行健康變化信息、負載信息等，支持主動或被動請求方式由API將信息反饋到上層系統(tǒng)。資源信息感知能力、感知及時性、反饋及時性對上層系統(tǒng)決策實時性和準確-20-性至關重要。4)任務分配和調(diào)度異構算力池化技術需要將不同類型的計算任務分配到合適的計算設備上執(zhí)行，以獲得最優(yōu)的計算性能和效率。任務分配和調(diào)度需要根據(jù)不同的計算任務類型、計算設備類型、任務優(yōu)先級等因素進行決策，以實現(xiàn)最佳的計算資源利用和任務執(zhí)行效率。5)統(tǒng)一的控制平面異構算力池化技術需要提供一個統(tǒng)一的控制平面，以便用戶能夠方便地對計算資源池進行管理和調(diào)度?？刂破矫嫘枰峁τ嬎阗Y源池中的設備和任務進行監(jiān)控和管理的功能，同時也需要提供對資源池的配置和優(yōu)化的功能。2.2.7.異構算力互聯(lián)異構算力互聯(lián)支撐算力抽象層獲取異構資源池化層統(tǒng)一標準化計算資源，提升程序在異構算力資源上平滑地流轉的能力，使得開發(fā)人員可以輕松無感地利用異構算力池化層的計算資源。異構算力互聯(lián)需要網(wǎng)絡技術的支撐，尤其是在在大模型訓練、大規(guī)?？茖W計算等大型計算任務中，一方面基于底層高速彈性的芯片間互聯(lián)網(wǎng)絡，能夠避免網(wǎng)絡傳輸能力成為系統(tǒng)整體算力性能的瓶頸；另一方面，與算力服務原生深度融合的網(wǎng)絡感知、網(wǎng)絡調(diào)度技術等，能夠保證異構算力支持下的用戶業(yè)務端到端服務保障。異構算力互聯(lián)體現(xiàn)在以下幾個方面：1)算力高速連接異構設備彈性連接技術需要支持不同類型的計算硬件之間互聯(lián)，以便實-21-現(xiàn)設備間信息和數(shù)據(jù)的高速交互。異構算力芯片的高速互聯(lián)，為跨異構算力的大模型訓練等提供傳輸能力，彈性連接技術需要滿足芯片間的數(shù)據(jù)動態(tài)傳輸，同時需要支持多類多個計算設備的不定時進場和退場，以實現(xiàn)計算池資源變化的快速更新。2)網(wǎng)絡虛擬化以IPDK(InfrastructureProgrammerDevelopmentKit，基礎設施程序員開發(fā)工具包)等為代表的網(wǎng)絡虛擬化技術，通過對底層物理資源池抽象，實現(xiàn)基于軟件的網(wǎng)絡靈活調(diào)度和管理。以網(wǎng)絡虛擬化為支撐，算力服務原生能夠實現(xiàn)更加靈活高效的任務分配調(diào)度、多任務下的數(shù)據(jù)安全隔離、用戶服務質(zhì)量的差異化保障等。同時，借助DPU/IPU等可編程基礎設施，能夠將數(shù)據(jù)傳輸、IO任務等卸載到加速芯片中，能夠最大化釋放算力資源。3)網(wǎng)絡控制與轉發(fā)SRv6(SegmentRoutingIPv6，基于IPv6的段路由)、確定性網(wǎng)絡等技術打破算力與網(wǎng)絡的邊界。在云邊端三級架構中，用戶可通過任一網(wǎng)關接入網(wǎng)絡，以SRv6、確定性網(wǎng)絡等全新網(wǎng)絡技術為支撐，基于應用服務的需求，結合網(wǎng)絡和算力的實時狀態(tài)，選擇出適合的計算節(jié)點，進行相應的業(yè)務處理，從而解決對于當前網(wǎng)絡、算力、業(yè)務需求三者之間無法匹配的問題，同時以可編程芯片以及定制化轉發(fā)設備等為技術支撐，實現(xiàn)低成本的靈活組網(wǎng)，滿足用戶的業(yè)務體驗訴求。-22-3.算力服務原生與周邊技術關系算力服務原生與人工智能、云原生、算力網(wǎng)絡有著千絲萬縷的關系，三者共同作用，相輔相成，為用戶提供端到端服務的目標進行支撐，本章節(jié)將對這三者間關系從技術角度進行說明。圖5相關技術關系圖3.1.算力服務原生與云原生的關系算力服務原生是云原生向底層算力資源的延伸。虛擬化、容器化等技術Serverless技術為代表，云原生技術重新定義了PaaS，用戶無需關注虛擬機、資源分配、應用擴縮容邏輯等，從而將更多精力專注于核心業(yè)務代碼。進一步地，算力服務原生技術通過異構算力池化、異構算力運行時和統(tǒng)一編程模型等，提供算力即服務、代碼即服務等新型服務能力，大幅降低用戶跨異構-23-算力的應用開發(fā)和部署成本。算力服務原生增強了云原生的異構資源抽象能力。云原生技術為上層應用程序提供快速部署，彈性擴縮容和動態(tài)調(diào)度能力，但其對于xPU、ASIC、FPGA等異構算力的管理仍然存在一定瓶頸。算力服務原生技術通過資源池化、標準運行時和統(tǒng)一編程開發(fā)框架等技術，實現(xiàn)對異構算力的統(tǒng)一抽象，與虛擬化、容器化等技術相結合，能夠有效擴展云原生技術在異構算力下的服務管理、擴縮容能力、應用運維能力等，同時進一步提升算力基礎設施利用率。云原生作為算力服務原生的子集為算力服務賦能，其作為計算資源面向行業(yè)用戶的服務通道，為算力服務原生提供通用算力以及微服務等能力，將傳統(tǒng)的、有狀態(tài)的粗粒度應用程序組件拆分解耦，以分布式的形態(tài)部署到基于容器化的異構算力設施上，支持將微服務化后的細粒度組件部署到最適合的算力上，最大化異構算力資源服務能力。3.2.算力服務原生與算力網(wǎng)絡的關系算力服務原生支撐網(wǎng)絡技術實現(xiàn)以算強網(wǎng)。SDN與NFV相結合，提供了不依賴于專用硬件的動態(tài)靈活的網(wǎng)絡管理能力，以滿足算力網(wǎng)絡對網(wǎng)絡的協(xié)同性、靈活性、確定性等要求。在SDN+NFV架構下，借助算力服務原生技術，能夠進一步利用異構算力資源，將部分加解密、IO吞吐等網(wǎng)絡功能卸載到GPU、FPGA等異構化加速設備中，實現(xiàn)跨異構算力的高效靈活的網(wǎng)絡調(diào)度，滿足云邊端協(xié)同、算力路由等場景需求，同時減少由于網(wǎng)絡設備數(shù)量眾多、架構差異化導致的維護負擔。-24-算力服務原生支撐算力網(wǎng)絡實現(xiàn)泛在調(diào)度。對于海量泛在算網(wǎng)資源的統(tǒng)一納管和調(diào)度是算力網(wǎng)絡建設的前提，面向國內(nèi)外xPU、DSA、FPGA等異構算力芯片以及云邊端、智算、超算等多樣化算力供給方式，算力網(wǎng)絡需要以算力服務原生技術為中間層，向下屏蔽異構算力在指令集、開放框架的差異性，向上提供統(tǒng)一的管理、調(diào)度和開發(fā)接口，有效降低算力網(wǎng)絡對異構算力的納管和調(diào)度復雜度，減少應用遷移調(diào)度中的代碼重構工作量，在一定程度上保證應用跨異構調(diào)度后的整體服務質(zhì)量。算力服務原生是算力網(wǎng)絡的關鍵技術之一。算力服務原生依托算力網(wǎng)絡，能夠充分發(fā)揮其在釋放行業(yè)生產(chǎn)力、優(yōu)化基礎設施建設、提升異構資源利用率的優(yōu)勢，實現(xiàn)算力網(wǎng)絡中異構算力布局的合理規(guī)劃，有效改善當前國產(chǎn)化算力應用生態(tài)不完善、發(fā)展路徑孤立等問題。3.3.算力服務原生與人工智能的關系算力服務原生技術為人工智能大模型訓練提供算力基礎。隨著大模型的推廣應用，百度、華為、阿里、浪潮等頭部企業(yè)在人工智能，尤其是大模型領域紛紛發(fā)力。語言和多模態(tài)等相關領域AI模型的參數(shù)量和訓練數(shù)據(jù)量巨大，需要強大的算力支撐。基于算力服務原生技術，有利于相關模型訓練，可以高效地擴展到GPU集群所能允許的最大規(guī)模，提升訓練過程中對硬件的使用效率，加速模型訓練的迭代速度，同時有望實現(xiàn)單個數(shù)據(jù)中心內(nèi)的異構算力芯片融合協(xié)同，如GPU與NPU的異構訓練等。未來在芯片間高速互聯(lián)以及遠距RDMA等網(wǎng)絡技術的輔助下，算力服務原生技術與網(wǎng)絡能力深度融合，能-25-夠實現(xiàn)多個數(shù)據(jù)中心間通過數(shù)據(jù)并行或模型并行的方式協(xié)同完成單個大模型算力服務原生與網(wǎng)絡融合，支撐AI實現(xiàn)行業(yè)應用。行業(yè)應用對人工智能技術需求日益旺盛，同時為了滿足部分場景的高吞吐、低時延等業(yè)務保障，AI推理服務通常部署于工廠、園區(qū)、道路等終端用戶環(huán)境下，面臨著算力異構性強、容量有限、能耗約束等問題?；谒懔Ψ赵夹g，能夠提高現(xiàn)有AI算法框架對異構算力的兼容性，實現(xiàn)AI能力下沉到用戶端，提供更加具有時延和帶寬優(yōu)勢的服務，有利于AI能力的推廣。同時，算力服務原生與網(wǎng)絡技術相融合，通過算力任務卸載與帶寬分配、網(wǎng)絡選路、算力路由等技術相融合，在保障業(yè)務需求的基礎上實現(xiàn)負載均衡等性能優(yōu)化。人工智能技術能夠為算力服務原生提供賦能。人工智能技術能夠在用戶服務質(zhì)量感知、應用與異構算力的匹配、服務性能預測、資源的最優(yōu)調(diào)度、服務編排等方面為算力服務原生提供最優(yōu)解。-26-4.算力服務原生業(yè)界探索4.1.算力服務原生在產(chǎn)業(yè)中應用算力服務原生技術帶來算力資源的高效使用、計算資源的靈活調(diào)度、應用代碼的無差別遷移與執(zhí)行、高可靠的計算服務、內(nèi)生安全等能力。算力服務原生技術被應用于多樣化的使用場景中，致力于滿足業(yè)務日益增長的算力4.1.1.基于算力服務原生的算網(wǎng)資源調(diào)度算網(wǎng)調(diào)度是算網(wǎng)服務的核心功能之一，其向上承接用戶業(yè)務服務需求，向下管理各類算力、網(wǎng)絡、應用、安全等能力，通過業(yè)務經(jīng)驗、AI輔助智能化方法，為用戶提供最優(yōu)業(yè)務服務，同時進一步提升算網(wǎng)自身對于能耗、負載均衡、資源有效利用率等優(yōu)化指標。算力服務原生作為底層異構算力資源統(tǒng)一開放的關鍵技術，能夠有效解決算網(wǎng)調(diào)度在異構算力任務卸載、調(diào)度策略優(yōu)化、特定場景下的服務質(zhì)量改善等挑戰(zhàn)。算力服務原生技術有利于算網(wǎng)調(diào)度實現(xiàn)在云邊端異構算力的部署能力，支撐應用在異構算力下的平滑遷移，應用向邊端下沉，有效擴大了單業(yè)務場景下算網(wǎng)調(diào)度的可利用資源量，進一步提升了算網(wǎng)調(diào)度對于特有行業(yè)的賦能，用戶提供更加近距離的算力服務、平滑無感的服務遷移和更加低時延的應用體驗，降低局部網(wǎng)絡帶寬壓力。-27-4.1.2.基于算力服務原生的算網(wǎng)能力開放算力網(wǎng)絡通過開放能力體系向包括算力及網(wǎng)絡服務消費方、運營商自有業(yè)務需求方、第三方算網(wǎng)服務提供商等各算力網(wǎng)絡使用方，提供基于跨域網(wǎng)絡資源設施及各類異構算力(云、邊、端、網(wǎng)絡內(nèi)生)資源封裝而成的算網(wǎng)融合能力，具體包括算力網(wǎng)絡調(diào)度能力、網(wǎng)絡服務能力、計算服務能力、安全服務能力、存儲服務能力、智能計算服務能力、運維支撐服務能力、應用開發(fā)服務能力。算力服務原生主要作用于算力資源接入、算力資源生命周期管理、計算服務能力以及存儲服務能力，用以實現(xiàn)算力網(wǎng)絡內(nèi)的算力資源即取即用。算力網(wǎng)絡基于算力服務原生為用戶提供異構算力資源的統(tǒng)一抽象能力，新的異構算力節(jié)點通過第三方認證中心進行算力認證作為可信算力納入到算力資源池中，成為可被調(diào)度交易的算力資源，此算力資源具有唯一的算力節(jié)點標識符。而該算力節(jié)點標識符作為統(tǒng)一資源模型的唯一索引關鍵值，能夠匹配異構算力在整個算力網(wǎng)絡異構資源池的唯一性和可溯源性。該算力節(jié)點標識與該算力節(jié)點暴露的算力資源調(diào)度服務接口所對應的算力服務標識相關聯(lián)，其標識內(nèi)容涵蓋算力節(jié)點的來源、類型、位置、資源數(shù)量以及使用狀態(tài)等信息，便于算力網(wǎng)絡用戶通過算力標識直接尋址到需要的算力資源。-28-4.1.3.算力服務原生的典型應用場景 (1)AI模型訓練語言和多模態(tài)等相關領域AI模型的參數(shù)量和訓練數(shù)據(jù)量巨大，單個數(shù)據(jù)中心的單類型算力難以支撐其迭代優(yōu)化，以ChatGPT進行舉例，微軟提出的針對ChatGPT4.0版本的需求看，正常運行需要3650pf的算力，大概是17000片英偉達A100的算力3，所需的算力資源單個數(shù)據(jù)中心無法滿足?；谒懔Ψ赵夹g，一方面可以實現(xiàn)相關模型從測試環(huán)境向大型算力中心或跨算力中心的快速遷移部署，另一方面有望實現(xiàn)單個數(shù)據(jù)中心內(nèi)的異構算力芯片協(xié)同，如GPU與NPU的異構協(xié)同訓練等，提升異構算力資源利用率，支撐大型模型的高算力需求。 )元宇宙元宇宙基于虛擬世界和數(shù)字技術的創(chuàng)造和體驗，為給人們帶來全新的沉浸式體驗和社交互動方式，對算力和時延要求都非常高。以AR/VR為例，需GPU、TPU等多種算力協(xié)同以滿足算力要求，然而異構算力引入的軟件、硬件間的問題對于開發(fā)人員來講是一個挑戰(zhàn)。應用算力服務原生技術，通過其“一套代碼，全網(wǎng)通用”的能力，既能滿足應用的算力需求，又能降低開發(fā)以及維護成本，提升應用的通用性，同時未來在遠距RDMA等高速網(wǎng)絡的輔助下，能夠進一步降低時延，推動元宇宙技術的應用和發(fā)展。3數(shù)據(jù)來源：東方財富網(wǎng)，/news/20230501225539817916980-29- (3)自動駕駛車載錄像、傳感器等能夠感知海量的實時數(shù)據(jù)，并且隨著視頻AI、強化學習等技術的發(fā)展，單一車載算力難以滿足自動駕駛等具有極高時延要求的需求，因此需要將部分任務卸載到邊緣側以實現(xiàn)車路協(xié)同。由于車載算力與邊緣節(jié)點以及邊緣節(jié)點間的算力類型和應用平臺差異巨大，傳統(tǒng)的車路協(xié)同面臨著一定的應用適配和場景推廣問題。借助算力服務原生技術，有利于將部分車載應用或算力任務平滑卸載到最近距離和最低時延的邊緣算力節(jié)點中。針對自動駕駛等具有較高移動性的場景，算力服務原生技術能夠實現(xiàn)跨異構邊緣計算平臺的服務預拉起、更加貼近用戶的算力服務等能力，保證安全性和用戶體驗的連續(xù)性。 (4)智慧家庭服務智慧家庭服務是算力服務原生面向用戶的重要服務場景之一，隨著云游戲、視頻直播等新型個人服務場景的發(fā)展，有必要對家庭算力實現(xiàn)充分共享和復用。家庭算力一般分布于異構設備中，且算力類型、指令集架構、算力容量和軟件平臺等差異較大，借助算力服務原生技術，能夠實現(xiàn)對家庭算力的統(tǒng)一池化、應用的平滑遷移以及算力任務的靈活卸載，為用戶提供靈活組合的算力服務，充分提高家庭自有算力的利用率。4.2.中國聯(lián)通算力服務原生探索和實踐在面向AI的算力服務原生領域，中國聯(lián)通研究院構建了“CubeAI智立方”算力服務原生原型系統(tǒng)。自2019年以來，陸續(xù)研發(fā)了一系列面向算力服務原-30-生的功能模塊和平臺系統(tǒng)，初步實現(xiàn)“代碼即服務”、“模型即服務”(針對AI應用)和“算力即服務”等算力服務原生理念，并全部在OpenI啟智社區(qū)開源，形成了良好的開源生態(tài)和協(xié)作開發(fā)環(huán)境?！癈ubeAI智立方”系列面向算力服務原生的開源軟件主要包括：ServiceBoot云原生微服務引擎：用于將普通Python程序封裝成為可提供高并發(fā)函數(shù)式HTTP訪問的云原生微服務，特別適用于對AI模型推理程序進行服務化封裝和部署。CubePy微服務框架：基于ServiceBoot開發(fā)的云原生微服務應用基礎開發(fā)平臺和代碼腳手架工具，提供服務注冊與發(fā)現(xiàn)、統(tǒng)一數(shù)據(jù)配置、統(tǒng)一內(nèi)容服務、API網(wǎng)關、用戶認證授權、前端主門戶等微服務框架基礎組件及前后端微服務開發(fā)樣例程序。CubeAI智立方AI算力服務化平臺：基于CubePy和ServiceBoot開發(fā)集AI模型自動化服務封裝、發(fā)布、共享、部署和能力開放等功能于一體的支持算力服務原生的開源AI算力服務化平臺。CubeTools：CubeAI智立方模型和應用開發(fā)常用工具集，其中包括能夠適配國內(nèi)外主流AI框架和AI推理引擎(例如：PaddlePallde、MindSpore、ONNXRuntime和OpenVinoRuntime等)的通用推理服務組件。CubeAI模型示范庫：首個支持“服務原生”、“模型即服務”和“源碼一鍵入云”的AI模型應用示范庫，其中所有模型能夠以源代碼方式一鍵自動發(fā)布至CubeAI智立方平臺進行共享和部署，也可使用CubeAIModelDeployer等工具一鍵部署至任意云邊端位置。-31-CubeAIModelDeployer：CubeAI模型獨立部署工具，用于在將CubeAI模型示范庫中的AI模型一鍵自動服務化打包并部署運行。4.3.算力服務原生業(yè)界發(fā)展情況CPU、GPU等芯片成為算力的主要形態(tài)，隨著應用場景的多樣化，算力需求指數(shù)級增長，同時伴隨著摩爾定律極限的逼近，以及算力服務原生技術進入大家視野，各芯片廠商意識到單一的提升芯片性能，不再是滿足用戶算力需求的唯一方式，需進行其他方面的探索。廠商在本文提及的算力服務原生技術實現(xiàn)中進行了一些研究工作，自頂向下涵蓋軟件維度、硬件抽象維度以及軟硬件適配等方面，接下來將以下面幾個廠商和產(chǎn)品為例，進行說明。4.3.1.TensorLayerXTensorLayerX開發(fā)框架托管于啟智社區(qū)，由TensorLayerX開源團隊進行開發(fā)和維護，在打破軟件層以及芯片硬件層問題方面進行了探索，旨在打造一套通用的與平臺無關的一種開發(fā)框架，實現(xiàn)跨平臺、跨硬件、兼容多后端等功能。屏蔽機器學習平臺差異：采用為工業(yè)界用戶的需求提供一套應用標準的方式，讓用戶能夠在一套標準下一通百通，并提供配套的部署框架自動化地應用，實現(xiàn)使用相同的代碼在不同的硬件環(huán)境中進行開發(fā)與執(zhí)行，提升對資源的利用。統(tǒng)一開發(fā)接口：采用深度學習統(tǒng)一開發(fā)接口的方式，支持一行代碼快速切換計算后端、跨平臺的模型抽象對象、并行高性能的統(tǒng)一數(shù)據(jù)集加載和數(shù)-32-據(jù)處理，避免同一模型跨平臺遷移需進行代碼變更的問題，滿足用戶在不同平臺上使用同一套代碼進行開發(fā)，降低人員開發(fā)成本。豐富的生態(tài)應用：采用提供一系列的各類開箱即用的方法，如TLXZoo算法庫，方便開發(fā)者復用。TensorLayerX同時是一系列開源產(chǎn)品、開源社區(qū)、開源活動組成的深度學習開源平臺，從多方面構成了TensorLayerX的開源生4.3.2.英特爾英特爾公司在應用跨平臺統(tǒng)一開發(fā)和異構算力編譯方面進行了探索?；趹迷诙鄻铀懔Σ⒋妗⒍嗳蝿詹⑿泻投鄻有匀蝿帐褂脠鼍靶枨?，英特爾公司提出oneAPI編譯規(guī)范，在完整的軟件開發(fā)過程提供支持?？缙脚_部署能力方面，oneAPI提供直接編程和基于API編程兩種使用模式，均可實現(xiàn)同一套應用代碼在異構算力上執(zhí)行，oneAPI通過統(tǒng)一編程語言提供對于數(shù)據(jù)的并行性處理和異構設備的編程支持，開發(fā)人員無需為每一種不同的異構計算器件分別編寫相應的專屬代碼，從而提高了代碼的跨架構可移植性和可部署性，也避免了代碼與特定硬件的專屬編程模式的鎖定關系。性能調(diào)優(yōu)維度，英特爾發(fā)布增強版本的VTuneProfiler和Advisor性能調(diào)試工具。其中VTune工具面向基于CPU、GPU和FPGA算力運行程序性能優(yōu)化，支持多種語言。Advisor工具支持利用向量化并行性并提高效率，為非線程化應用添加有效的線程化功能。-33-開發(fā)環(huán)境能力提供維度，oneAPI基于源代碼遷移開源工具SYCLomatic，幫助開發(fā)人員將CUDA編寫的現(xiàn)有代碼遷移到SYCL編程語言，以便于能在更多的硬件平臺和設備上運行。4.3.3.遇賢微電子遇賢微電子在芯片研究方面進行探索，開發(fā)了超多核(160核)高性能CPU，同時具備AI原生、異構算力統(tǒng)一軟硬件生態(tài)、內(nèi)生安全可信等特點。多樣性通用算力方面，為實現(xiàn)數(shù)據(jù)將在最合適的地方，被最恰當類型的處理器，以最合適的算力來處理。以Arm為代表的RISC通用架構處理器、以及具備特定定制化加速功能的ASIC和FPGA芯片等在場景多樣化計算時代具備明顯的優(yōu)勢。AI場景算力服務原生方面，提出CPU和GPU深度耦合思想，進一步提高AI的處理能力。在新的架構中允許CPU和GPU同時處理內(nèi)存中的相同數(shù)據(jù)(零拷貝)，從而節(jié)省功耗、提高性能并簡化流程。異構算力下統(tǒng)一軟硬件生態(tài)方面，遇賢微電子Arm架構CPU引入若干抽象層級，如對芯片封裝、PINMAP等物理形態(tài)進行抽象，實現(xiàn)同一架構多廠家的芯片能夠支持單板層面的兼容。算力服務原生的安全可信方面，遇賢微電子Arm架構CPU采用以硬件保護軟件的新型安全防護技術，如基于硬件的控制流完整性保護技術、基于體系架構支持的系統(tǒng)安全策略技術、多指令集架構兼容的處理器機密計算技術等。把芯片與硬件加入系統(tǒng)安全防護體系，提供硬件主動防御，彌補以往“用軟件保護軟件”的軟肋。-34-4.3.4.飛騰飛騰在打破算力服務原生技術中異構算力帶來的生態(tài)壁壘方面進行了探索，涵蓋打造基礎軟硬件生態(tài)、聯(lián)合主流技術進行算力優(yōu)化等研究。AI基礎硬件的生態(tài)適配方面。通過飛騰CPU+AI加速卡的異構形式覆蓋云、邊、端場景，滿足客戶的多種算力、算法、功耗需求。與國內(nèi)20多家AI加速卡廠60多款產(chǎn)品完成適配,聯(lián)合打造多種技術解決方案。并與20多家服務器廠商，10多家嵌入式廠商，打造百余款AI產(chǎn)品，滿足不同場景的硬件算力需求。AI算法及基礎軟件的生態(tài)適配方面。完成與60+種AI算法和平臺類軟件廠家完成適配，算法涵蓋視覺、NLP、ASR等AI主流技術，支持國內(nèi)外主流深度學習框架，并且適配了云、邊、端操作系統(tǒng)，實現(xiàn)云、邊、端側算力的獨立運行或協(xié)同調(diào)度。算力優(yōu)化維度，飛騰根據(jù)自身架構特點，與業(yè)界頭部的GPU虛擬化、網(wǎng)絡池化、調(diào)度器、集群管理、智能運維等軟件技術公司合作，形成多種云邊端方案，增強產(chǎn)品在原生技術上的易用性。同時加大飛騰安全芯片與技術的融合，打造可靠的原生安全機制技術。4.3.5.浪潮浪潮在面向智算中心等算力基礎設施使能和面向算力網(wǎng)絡的新型服務模式進行了探索。為充分發(fā)揮智算中心底層異構算力資源，降低用戶開發(fā)成本，-35-推出了人工智能開發(fā)資源平臺AIStation，在資源的池化管理、應用的容器化部署和業(yè)務的可視化開發(fā)方面均進行實踐。在算力兼容方面，支持CPU、GPU、FPGA等多種異構資源池，并兼容寒武紀、壁仞等國產(chǎn)化AI芯片。引用GPU資源單卡復用、細粒度的顯存隔離分配以及超分擴展等GPU共享調(diào)度策略，實現(xiàn)提升集群整體資源利用率能力?；趦?yōu)化原生k8s調(diào)度機制，包括多維資源親和性調(diào)度策略、根據(jù)實時服務請求流量的水平自動擴縮等，優(yōu)化資源碎片問題，實現(xiàn)資源的即用即有；在應用開發(fā)方面，通過高可用、無侵入式架構設計、精細化監(jiān)控、容器化平臺兼容PaddlePaddle、TensorFlow等主流開發(fā)工具和分布式訓練框架等設計，幫助開發(fā)人員聚焦模型開發(fā)，為算法工程師提供一站式全流程的AI開發(fā)平臺，縮短模型迭代周期。4.3.6.NVIDIANVIDIA在專用GPU向GPGPU的演進方面進行了探索，具有多個系列產(chǎn)品，用于計算機圖形學、機器學習、科學計算、數(shù)據(jù)中心和高性能計算等領域的圖形處理器。相較于專用GPU，GPGPU的架構更為通用，可以處理各種各樣的計算任務，同時也可以在多個平臺上進行部署和使用。NVIDIA的GPGPU主要有以下4個特點：并行計算能力：GPGP