中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書

2023年6月中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書版權(quán)聲明本報(bào)告版權(quán)屬于中國聯(lián)合網(wǎng)絡(luò)通信有限公司研究院，并受法應(yīng)注明“來源：中國聯(lián)通研究院”。違反上述聲明者，本院將追究其相關(guān)法律責(zé)任。中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書 (一)AI計(jì)算基礎(chǔ)設(shè)施是人工智能快速發(fā)展的實(shí)現(xiàn)基礎(chǔ) 3(二)人工智能產(chǎn)業(yè)對AI計(jì)算基礎(chǔ)設(shè)施的算力需求激增 4極鼓勵(lì)發(fā)展新型AI計(jì)算基礎(chǔ)設(shè)施 5 (一)運(yùn)營商建設(shè)新型AI計(jì)算基礎(chǔ)設(shè)施的需求 5(二)新一代AI計(jì)算基礎(chǔ)設(shè)施的功能架構(gòu)簡介 6 (一)高性能計(jì)算能力 91.處理器性能 92.并行協(xié)同策略 103.分布式通信 11(二)異構(gòu)并行計(jì)算能力 13(三)安全可信能力 14(四)資源彈性調(diào)度能力 16(五)綠色低碳計(jì)算能力 18 參考文獻(xiàn) 21縮略語 23中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-1-前言人工智能是當(dāng)今世界發(fā)展的重要領(lǐng)域之一，對推動人類科技經(jīng)濟(jì)發(fā)展起著加速作用。人工智能產(chǎn)業(yè)化落地也是推動我國戰(zhàn)略新興產(chǎn)業(yè)實(shí)現(xiàn)融合集成、促進(jìn)我國科技高水平自立自強(qiáng)、提振數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展的重要推動力。隨著新技術(shù)的不斷演進(jìn)，人工智能發(fā)展呈現(xiàn)出應(yīng)用場景多元化拓展、數(shù)據(jù)體量爆發(fā)式增長、算法模型參數(shù)量指數(shù)級增加的發(fā)展態(tài)勢，這對支持大規(guī)模AI計(jì)算的基礎(chǔ)設(shè)施提出更高的性能要求。高性能的AI計(jì)算基礎(chǔ)設(shè)施應(yīng)、多任務(wù)的算法模型訓(xùn)練與推理部署，滿足高并發(fā)、高彈性、高精度的計(jì)算需求；具備兼容異構(gòu)底層硬件的生態(tài)對接能力以實(shí)現(xiàn)上層應(yīng)用和底層硬件的解耦；還需提供安全可信的計(jì)算環(huán)境以保障數(shù)據(jù)隱私；并且能夠合理地分配計(jì)算資源以實(shí)現(xiàn)綠中國聯(lián)通作為數(shù)字信息基礎(chǔ)設(shè)施運(yùn)營服務(wù)國家隊(duì)，攜手產(chǎn)業(yè)鏈凝聚共識，突破AI計(jì)算基礎(chǔ)設(shè)施的發(fā)展瓶頸，為AI服務(wù)于千行百業(yè)提供靈活高效的計(jì)算基座發(fā)布此《中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書》。白皮書分析了當(dāng)前AI計(jì)算基礎(chǔ)設(shè)施的發(fā)展趨勢以及規(guī)?；渴鹈媾R的挑戰(zhàn)，系統(tǒng)性地介紹了AI計(jì)算基呼吁產(chǎn)業(yè)鏈攜手共建標(biāo)準(zhǔn)化的、開放的AI算力生態(tài)，加快輸出具有中國經(jīng)驗(yàn)的標(biāo)準(zhǔn)化體系。中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-2-編寫組成員(排名不分先后)：中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-3-AI算基礎(chǔ)設(shè)施的發(fā)展簡介 (一)AI計(jì)算基礎(chǔ)設(shè)施是人工智能快速發(fā)展的實(shí)現(xiàn)基礎(chǔ)算力是生產(chǎn)力，體現(xiàn)為數(shù)據(jù)處理與算法訓(xùn)練的速度與規(guī)模[1]。作為人工智能三大基礎(chǔ)要素之一，算力是決定AI產(chǎn)業(yè)變革的關(guān)算能力不足而無法突破技術(shù)瓶頸的案例，例如深度學(xué)習(xí)早在上世紀(jì)現(xiàn)階段AI基礎(chǔ)設(shè)施的概念已不僅僅是承載計(jì)算的硬件設(shè)備，其中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-4- (二)人工智能產(chǎn)業(yè)對AI計(jì)算基礎(chǔ)設(shè)施的算力需求激增化激增，具體表現(xiàn)在以下三個(gè)方面：一是AI場景的復(fù)雜多樣化提升(IDC)測算，我國人工智能行業(yè)應(yīng)用不斷深入，已有58%的企業(yè)I中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-5-力的需求迫切增長。 (三)國家產(chǎn)業(yè)政策積極鼓勵(lì)發(fā)展新型AI計(jì)算基礎(chǔ)設(shè)施中共中央、國務(wù)院印發(fā)了《擴(kuò)大內(nèi)需戰(zhàn)略規(guī)劃綱要(2022－2035礎(chǔ)技術(shù)供給。由此可見，數(shù)字經(jīng)濟(jì)時(shí)代，作為產(chǎn)業(yè)智能化底座的AI我國算力總規(guī)模達(dá)到180EFlops[5]，全球占比約33%，保持50%以年的45%[6]，預(yù)計(jì)未來新增算二、運(yùn)營商應(yīng)積極布局新一代AI計(jì)算基礎(chǔ)設(shè)施 (一)運(yùn)營商建設(shè)新型AI計(jì)算基礎(chǔ)設(shè)施的需求OpenAIGPT和自中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-6-算，GPT-3訓(xùn)練一次的成本約為140萬美元，對于一些更大的大型LLM元之間。面對大模型發(fā)展帶來的算力需求，建設(shè)面向AI的新一代計(jì)算基礎(chǔ)設(shè)施成為關(guān)鍵的一環(huán)。 (二)新一代AI計(jì)算基礎(chǔ)設(shè)施的功能架構(gòu)簡介中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-7-以及AI-SaaS層，總體架構(gòu)如圖1所示。圖1新一代AI計(jì)算基礎(chǔ)設(shè)施功能架構(gòu)AI-IaaS層主要包括異構(gòu)AI算力資源、云化管理和網(wǎng)絡(luò)互聯(lián)功中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-8-HPCC大帶寬、超低時(shí)延和高穩(wěn)定性的底層AI芯片、向上承載算法模型，是執(zhí)行計(jì)算任務(wù)的關(guān)鍵部分，等多種計(jì)算框架，實(shí)現(xiàn)計(jì)算統(tǒng)一的標(biāo)準(zhǔn)接口和工具包,集成算法的封各類應(yīng)用的開發(fā)和管理界面等，用戶在AI-SaaS層也可以對底層AIIaaS還包括面向人工智能應(yīng)用的在線開行訓(xùn)練功能的基礎(chǔ)上引入自動機(jī)器學(xué)習(xí)和遷移學(xué)習(xí)等技術(shù)解決模型中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-9-三、新一代AI計(jì)算基礎(chǔ)設(shè)施發(fā)展的關(guān)鍵技術(shù)突破點(diǎn)ng (HeterogeneousComputing)、安全可信能力(SecuredandTrusted)、資源彈性調(diào)度能力(ElasticResourceScheduling)以及低碳綠色計(jì)算能力(GreenComputing)。 1.處理器性能現(xiàn)階段主流方案都采用AI加速芯片來處理深度學(xué)習(xí)的模型訓(xùn)練更高的FLOPS(每秒浮點(diǎn)數(shù)運(yùn)算次數(shù))，從而提升深度學(xué)習(xí)模型的度和精度[8]。NPU采用“數(shù)據(jù)驅(qū)動并行計(jì)算”的架構(gòu)，專中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-10-制約，大力推動國內(nèi)高性能AI2.并行協(xié)同策略傳統(tǒng)的ParameterServer架構(gòu)到更高效的All-Reduce和中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-11-分為多個(gè)微批次，并在模型并行的每一層中再進(jìn)行數(shù)據(jù)并行。。3.分布式通信 據(jù)通訊由單獨(dú)的參數(shù)面交換設(shè)備組網(wǎng)互聯(lián)，數(shù)據(jù)不需要經(jīng)服務(wù)器中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-12-頸，大大提升了訓(xùn)練過程中的通訊效率。圖2新一代AI計(jì)算基礎(chǔ)設(shè)施通信架構(gòu)中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-13- 占據(jù)95%以上市場份額[9]。在智能算力市場幾乎被英偉達(dá)壟斷的宏異構(gòu)并行能力指的是AI-PaaS平臺可以兼容不同品牌和型號的I資源池內(nèi)創(chuàng)建任務(wù)，跨品牌的資源無法實(shí)現(xiàn)并行計(jì)算。AI算子庫、aS中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-14-步調(diào)等，使得模型參數(shù)與計(jì)算框架指令可在異構(gòu)AI芯片之間進(jìn)行傳關(guān)鍵技術(shù)環(huán)節(jié)的標(biāo)準(zhǔn)體系，使AI芯片生態(tài)各層級之間相互解耦并遵 I中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-15-情況下訓(xùn)練一個(gè)全局模型。圖3聯(lián)邦學(xué)習(xí)架構(gòu)圖然如獲取方能通過交互數(shù)據(jù)中包含的梯度信息反向計(jì)算還原樣本數(shù)據(jù)： 中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-16- 到IAI全與可信。 (四)資源彈性調(diào)度能力。中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-17-資源(如圖4所示)，這樣可以有效的避免算力與任務(wù)不匹配而導(dǎo)致圖4不同計(jì)算任務(wù)匹配差異化的虛擬資源IGPU的共享，此類場景適用于計(jì)算量在虛擬化能力的基礎(chǔ)上，對AI芯片計(jì)算資源的合理編排也是新一代AI計(jì)算基礎(chǔ)設(shè)施中必不可少的能力，例如根據(jù)任務(wù)規(guī)模自動評中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-18-設(shè)計(jì)任務(wù)排隊(duì)機(jī)制等都是運(yùn)營商在面向用戶提供公共AI基礎(chǔ)設(shè)施服務(wù)時(shí)需要進(jìn)行精細(xì)化管理的內(nèi)容。 心的綠色低碳節(jié)能方案主要采用液冷或風(fēng)冷配套設(shè)施來對服務(wù)器進(jìn)心的能源消耗，從根本上來講還是需要降低IT系統(tǒng)本身的單位任務(wù)AI計(jì)算基礎(chǔ)設(shè)施SaaS層需要集成綠色低碳管理系統(tǒng)，該系統(tǒng)的能耗優(yōu)化算法和任務(wù)排隊(duì)機(jī)制，提升AI基礎(chǔ)設(shè)施的整體利用率，B中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-19-基礎(chǔ)設(shè)施產(chǎn)業(yè)體系。電信運(yùn)營商在構(gòu)建新一代AI計(jì)算基礎(chǔ)設(shè)施商業(yè)平臺時(shí)，一是可以發(fā)電信運(yùn)營商也可以以“搭臺唱戲”的角色匯聚其他的AI計(jì)算服務(wù)商中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-20-AI應(yīng)用。新算法賦能服務(wù)的模式，基于新型AI計(jì)算基礎(chǔ)設(shè)施提供彈性的智能中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-21-運(yùn)營商需要在構(gòu)建新一代AI計(jì)算基礎(chǔ)設(shè)施方面找到著力點(diǎn)，聯(lián)合產(chǎn)才帶來創(chuàng)新力量，培育規(guī)模化的AI應(yīng)用市場，推動我國成為人工智參考文獻(xiàn)[1]令才科技.算力升級為企業(yè)數(shù)字化轉(zhuǎn)型提供新動能[EB/OL].[2022-10-27]./p/577727395.[2]中經(jīng)產(chǎn)業(yè)信息研究網(wǎng).《中國人工智能市場深度調(diào)研及投資策略分析報(bào)告》[EB/OL].[2022-09-02]./cyzx/365.htm[3]崔爽.智算為人工智能夯實(shí)“算力底座”[N].科技日報(bào),2022-09-19.[4]AIandcompute[EB/OL].[2018-05-16]./resear中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-22-ch/ai-and-compute.[5]國家互聯(lián)網(wǎng)信息辦公室.《數(shù)字中國發(fā)展報(bào)告(2022年)》[EB/OL].[2023-04-27]./2023-05/2_2/c1686402318492248.htm._[6]中國信息通信研究院.《中國算力發(fā)展指數(shù)白皮書(2021)》[EB/OL].[2021-09]./kxyj/qwfb/bps/202109/P020210918521091309950.pdf.[7]劉高暢,楊然.ChatGPT需要多少算力[EB/OL].[2023-02-13]./a/660436264_100224.李嘉偉,等.人工智能芯片測評研究現(xiàn)狀及未來研究趨勢[J].新型工業(yè)化,2021,11(10):82-84,87.[9]中國算力大會.中國算力白皮書(2022年)[R/OL].[2022-07].httpswwwzsdhorgcndctechachievementshtml.[10]吳彥霖,邱碩,柳亞男等.基于聯(lián)邦學(xué)習(xí)的安全與隱私保護(hù)技術(shù)研究[J].電腦知識與技術(shù),2022,18(36):71-74.中國聯(lián)通新一代AI計(jì)算基礎(chǔ)設(shè)施白皮書-23-縮略語ALUineLearningCPUCentralProcessingUnitECNFLOPSSecondGPUGraphicsProcessingUnitGPTGenerativePre-trainedTransformerHEHPCCnIaaSInfrastructureasaServiceIPvn-24-LLMLargeLanguageModelNCCL庫TPUTensor