高質(zhì)量大模型基礎設施研究報告（2024年）

CAICT中國信通院集智專題報告高質(zhì)量大模型基礎設施研究報告(2024年)中國信息通信研究院人工智能研究所2025年1月版權(quán)聲明本報告版權(quán)屬于中國信息通信研究院，并受法律保護。轉(zhuǎn)載、摘編或利用其它方式使用本報告文字或者觀點的，應注明“來源：中國信息通信研究院”。違反上述聲明者，本院將追究其相關(guān)法律責任。網(wǎng)絡、開發(fā)工具鏈和運維管理，系統(tǒng)梳理了大提出的新需求，剖析基礎設施發(fā)展的關(guān)鍵技術(shù)指標。同時，通過分析業(yè)界典型實踐案例，為模型的規(guī)?；瘧锰峁┯辛χ?。本報告力求為相 1 4 6 7 15 23 27 33 35 1 2 7 20 24 30 25 261一、大模型基礎設施概述大模型技術(shù)作為人工智能領域的突破性進展，正迅速推動各行各業(yè)的智能化轉(zhuǎn)型。隨著參數(shù)量的增長，大模型展現(xiàn)出強大的理解能力和復雜數(shù)據(jù)處理能力，在金融、醫(yī)療、政務等行業(yè)的應用日益廣泛。然而，參數(shù)量的增加也給大模型落地帶來了巨大的挑戰(zhàn)，提高大模型基礎設施能力，滿足大模型全生命周期對基礎設施的新需求成為首要(一)大模型基礎設施概念與特性大模型基礎設施是指支持大規(guī)模人工智能模型(如大語言模型、多模態(tài)大模型等)訓練、部署和應用的硬件和軟件資源的集合，它包括高性能計算、海量數(shù)據(jù)存儲、高速網(wǎng)絡連接資源，以及相應的軟件框架和工具鏈，旨在為大模型的開發(fā)、訓練和推理提供高效、可靠和可擴展的支撐環(huán)境。大模型基礎設施整體架構(gòu)如圖1所示。模型部署推理模型評估模型壓縮模型部署推理適配數(shù)據(jù)回流模型測試推理加速Al計算平臺計算硬件CPU高性能A芯片Al數(shù)據(jù)湖存儲硬件高密高性能存儲高密大容量存儲軟件定義網(wǎng)絡網(wǎng)絡硬件模型訓練微調(diào)數(shù)據(jù)準備數(shù)據(jù)采集數(shù)據(jù)處理數(shù)據(jù)分析大模型基礎設施各層級運維監(jiān)控運營管理模型推理分布式框架Al開發(fā)軟件資源配置告警管理監(jiān)控管理數(shù)據(jù)加速來源：中國信息通信研究院2大模型全生命周期要求大模型基礎設施具備高可用、高性能、可擴展、可評價等特性。大模型基礎設施能力如圖2所示。2個主要用途2個主要用途建設規(guī)劃需求分析5項基礎能力可評價可擴展高性能(1)高可用：穩(wěn)定的大模型業(yè)務支撐能力高可用是指在提高大模型基礎設施平均無故障運行時間(MeanTimeBetweenFailures,MTBF)的同時考慮更短的平均故障定位時間(MeanTimetoIdentify,MTTD)和平均故障恢復時間(MeanTimeToRecovery,MTTR),綜合考慮存儲、運維、開發(fā)軟件等維度?？捎枚仁侵复竽Ｐ突A設施集群在一定時間內(nèi)提供正常服務的時間占總時間的比例，通常用百分比表示。數(shù)據(jù)顯示，當前集群可用卡訓練任務集群算力可用度在30%～40%之間，英偉達Megatron-LM和微軟MT-NLG10000+卡訓練任務的集群算力可用度在40%～50%3基礎設施發(fā)生故障后修復所需的平均時間，關(guān)力利用率（HardwareFLOPsUtilizati2Jiang,Ziheng,etal."MegaScale:ScalinglargelanguagemodelUSENIXSymposiumonNetworkedSystemsDesignandImpleme4（二）大模型基礎設施現(xiàn)狀技術(shù)方面，AI存儲能力提升，進一步提高基礎設施可用度。橡5據(jù)存取速度，華為、清華大學MADSys實驗室聯(lián)合開發(fā)的高密高性能AI存儲獲得MLPerfStorage基準評測第一名，為大頭紛紛加大在大模型基礎設施方面的投入，均已形成涵蓋“AI計算平臺+AI開發(fā)平臺+大模型”的全產(chǎn)業(yè)生態(tài)。如百度智能），清潔、可靠的能源解決方案。2024年6月德國發(fā)布《人工智能計算 3車碧瑤等."運營商大模型硬件基礎設施創(chuàng)新及RDMA流量控制技術(shù)研究."信息通信技術(shù)與政策002(2024):050.6國家創(chuàng)新要素供給，指導智能基礎設施有序布二、大模型基礎設施挑戰(zhàn)4顯示，算力規(guī)模增加的同時，集群可用度明顯下降。大模型全生4D.Narayanan,etal,"EfficientLarge-ScaleLanguageModelTrainingonGPUClustersUsingMegatronInternationalConferenceforHighPerformanceComputing,NetwLouis,MO,USA,2021,pp.1-14.高質(zhì)量大模型基礎設施研究報告(2024年)7大模型基礎設施架構(gòu)大模型基礎設施架構(gòu)大模型全生命周期軟件工具鏈網(wǎng)絡萬卡集群啟動前設備狀態(tài)檢查、海量器件運行過程中的故障發(fā)現(xiàn)與恢復海量原始數(shù)據(jù)跨地域、跨模推理長記憶、降低輸出幻覺、式歸集、高速數(shù)據(jù)讀寫推理實時性高分布式并行訓練通信開銷多源異構(gòu)算力納管、AI任務需求高峰與低谷間的算力利用排布圖3大模型全生命周期對大模型基礎設施的關(guān)鍵需求(一)計算資源分配粗放，利用率低成為新難題大模型參數(shù)由千億向萬億發(fā)展，算力需求驟增。以GPT-4為例，其具有1.8萬億參數(shù)，訓練數(shù)據(jù)約13萬億個Token,訓練算力約2.15×1025FLOPS,相當于在2.5萬張A100加速卡上運行90～100天5。大模型對計算資源的需求日益擴增，要求計算資源分配高效合理。訓練任務排布不合理，資源碎片化嚴重。一是多用戶環(huán)境中，不同用戶的資源需求和使用模式互不相同，部分用戶側(cè)重大規(guī)模訓練任務，部分用戶僅運行小規(guī)模微調(diào)、推理任務。不同用戶的任務只通過可用資源總量進行限制，極易導致資源分配混亂，導致資源碎片化。二是大模型整節(jié)點訓練任務比例逐漸提升，但仍存在分布式訓練任務、開發(fā)微調(diào)、推理服務等多任務場景混合的調(diào)度場景，優(yōu)先保證大模型8面，業(yè)務在進行模型部署時會綁定固定的算力資源，可能出現(xiàn)多個AI推理任務搶占一張推理卡的情況，而其他推理卡還有空余資源，圍繞AI計算芯片設計的算力調(diào)度系統(tǒng)存在資源超額申請前算力調(diào)度多將AI計算芯片作為影響任務性能表現(xiàn)的略了基礎設施中的CPU、內(nèi)存、網(wǎng)絡等其他維度資源的影響。為保（二）海量數(shù)據(jù)處理低效，數(shù)據(jù)存儲成為新瓶頸數(shù)據(jù)總量和質(zhì)量決定了大模型能力的上限。根據(jù)“尺度定律（ScalingLaw）”，增加訓練數(shù)據(jù)量，大模型訓練效果會越來越好，Gemini等多模態(tài)大模型發(fā)展帶動訓練數(shù)據(jù)需求十倍、百倍級增長。海量數(shù)據(jù)的準備效率和數(shù)據(jù)在全流程間的流轉(zhuǎn)效率是影響大模型端到端生產(chǎn)成本的核心要素，AI存儲是解決數(shù)據(jù)歸集時間長、數(shù)據(jù)處9難。鄭緯民院士論文顯示6，任一模態(tài)數(shù)據(jù)集可能包含數(shù)億甚至數(shù)百億小文件，存儲100億小文件需管理7TB元訓練階段檢查點（Checkpoint）文件讀寫效率低。為提高大模型例6，需保存近12TB的模型參數(shù)到檢查點文件中，在未經(jīng)優(yōu)外部知識庫的引入要求AI存儲具備高效的高維數(shù)據(jù)處理能力和復雜（三）并行計算規(guī)模攀升，網(wǎng)絡通信成為新阻礙向擴展（ScaleOut）和縱向擴展（ScaleUp）網(wǎng)絡提出極大挑戰(zhàn)。縱向擴展互聯(lián)層面，網(wǎng)絡需承載數(shù)據(jù)并行（DataParallel，DP）和流水練通信特征不規(guī)整、上下行ECMP（EqualCostMultiPath）選路不均網(wǎng)絡規(guī)劃需綜合考慮AI服務器的端口需求和存儲需求。以樣本面網(wǎng)絡為例，其關(guān)聯(lián)計算區(qū)和存儲區(qū)。模型訓練時，一是AI計算節(jié)點從存儲區(qū)加載AI模型，讀取訓練數(shù)據(jù)集。大模型訓練過程中訓練取。二是AI計算節(jié)點通過樣本網(wǎng)絡將檢查點文件和訓練模型寫入存（四）模型參數(shù)急劇增長，開發(fā)效率成為新約束大模型訓練資源需求普遍較大。大模型參數(shù)規(guī)模大，與判別式AI模型相比，模型訓練時計算和存儲需求顯著增加，依賴分布式技捷地進行模型訓練、調(diào)優(yōu)、配置和管理大規(guī)模并模型微調(diào)、提示工程等增量環(huán)節(jié)帶來開發(fā)工具新需求。一方面，數(shù)數(shù)量，該技術(shù)需要開發(fā)平臺能夠靈活地處理模型參數(shù)的調(diào)整和優(yōu)化。另一方面，提示工程需輸入提示引導模型生成特定輸出，要求時至少需要6張V100GPU才能有效運行。高昂的計算和存儲成本芯片+Pytorch框架”體系已成為大模型訓練的事實標準和默認規(guī)則。中使用占比超過80%，在HuggingFace開源社區(qū)中，85%的大模型（五）基礎設施故障率高，運維能力成為新挑戰(zhàn)運維需要深度協(xié)同AI業(yè)務。隨著智算集群規(guī)模擴大，集群運維管控訓練作業(yè)中斷頻繁，業(yè)界超萬卡集群持續(xù)穩(wěn)定運行時間較短。Meta斷達419次，其中78%已確認或懷疑是硬件問題導致。Meta的自動重啟約70次。另一方面，大模型基礎設施故障種類多、復雜系三、大模型基礎設施關(guān)鍵技術(shù)（一）高效算力管理調(diào)度技術(shù)源消耗并提高了資源利用率，尤其適用于快速部署和擴適配不同品牌和型號的AI加速卡，但異構(gòu)并行計算實現(xiàn)難度較大。技術(shù)正在加速演進，通過建立“轉(zhuǎn)譯”機制等手段，拉齊各異構(gòu)AI芯（二）高性能大模型存儲技術(shù)KV-cache技術(shù)實現(xiàn)長記憶存儲，助力大模型推理降本增效。一顯著增加，通過KV-cache緩存機制，可以有效降低模型長序基于高性能長記憶存儲技術(shù)構(gòu)建的多級KV-cache緩存機制，實現(xiàn)從持久化的KV-cache“長記憶”中調(diào)取前期已執(zhí)行過的計算結(jié)跳直達，消除CPU處理瓶頸，極大地提升了數(shù)據(jù)從存儲到加速卡的傳輸效率，在檢查點狀態(tài)數(shù)據(jù)保存、訓練數(shù)據(jù)加載以及KV-cache加間和高性能讀寫能力的并行文件系統(tǒng)，在提高AI芯片訓練推理的同時，實現(xiàn)數(shù)據(jù)在所有存儲節(jié)點上均衡分布。同時TB/s級帶寬和億級IOPS支持能力，可實現(xiàn)萬卡集群數(shù)據(jù)供數(shù)據(jù)庫高可用保障，消除單點故障引發(fā)重新建（三）高通量大規(guī)模網(wǎng)絡技術(shù)協(xié)議定義了一套全新的層次架構(gòu)，從鏈路層到傳輸層，不存在ARP議，由RoCE規(guī)范在以太網(wǎng)上實現(xiàn)了RDMA功能，其主要優(yōu)勢在于延遲較低，可提高網(wǎng)絡利用率；同時其可避開TCP協(xié)議并采用硬件以針對AI訓練場景下的流量特點，將搜集到的整網(wǎng)信息作行轉(zhuǎn)發(fā)，從而避免多條流選擇同一路徑而導致?lián)砣?。企業(yè)利用DPU排等機制還原原始流量，可實現(xiàn)整網(wǎng)吞吐達到90%以上。參數(shù)面、存儲面/樣本面、業(yè)務面、帶外管理面網(wǎng)絡互聯(lián)，助力絡、存儲、AI開發(fā)軟件和運維的多系統(tǒng)協(xié)調(diào)。訓練前，訓練數(shù)據(jù)集及訓練模型需通過存儲面網(wǎng)絡導入存儲系統(tǒng)，AI開發(fā)平臺需通過業(yè)務面網(wǎng)絡和帶內(nèi)管理網(wǎng)絡下發(fā)訓練任務，訓練任務鏡像、AI模型、訓練數(shù)據(jù)集需通過樣本面網(wǎng)絡加載到計算區(qū)的AI計算節(jié)點中。訓練文件到AI計算節(jié)點。訓練完成后，模型通過樣本網(wǎng)絡寫入系統(tǒng)，通核心交換機管理面網(wǎng)絡參數(shù)面網(wǎng)絡業(yè)務面網(wǎng)絡樣本面網(wǎng)絡寫寫運維管理區(qū)通算區(qū)AlGPU計算集群Al存儲區(qū)疆疆槽專線/互聯(lián)網(wǎng)接入Al訓練平臺任務調(diào)度來源：昇騰社區(qū)圖4大模型基礎設施網(wǎng)絡互聯(lián)訓練加速技術(shù)涌現(xiàn)，有效支撐大規(guī)模高效構(gòu)建。一是對計算資源優(yōu)化，能夠通過減少計算和存儲需求，提升模型效率，如PyTorch支持的混合精度訓練、Adafactor、FlashAttention等技術(shù)，目前，谷歌、微軟、騰訊、螞蟻等頭部企業(yè)廣泛采用混合精度訓練等技術(shù)減少顯存占用并提升訓練速度。二是計算優(yōu)化策略，能夠有效提升模型的執(zhí)行效率，如DeepSpeed支持的算子融合、梯度積累技術(shù)等技術(shù)，能夠在資源有限的情況下，通過優(yōu)化計算策略，加速計算過程。三是收斂性優(yōu)化，能夠通過提高模型的收斂速度，提升模型訓練效率，提高模型的泛化能力。目前，主流的深度學習訓練框架均支持收斂性優(yōu)化技術(shù)，如DeepSpeed、PyTorch、JAX域任務。二是參數(shù)高效微調(diào)（PEFT）技術(shù)，能夠顯著節(jié)省訓練時間可實現(xiàn)壓縮流程自動化，商湯的神經(jīng)網(wǎng)絡量化工具PPQ通過圖優(yōu)化該領域，如騰訊推出的一念LLM同時支持英偉達GPU和華螞蟻的GLake通過對鍵值對緩存實現(xiàn)透明管理和存算解耦，進一步（五）高容錯大模型運維技術(shù)如芯片算力測試、帶寬測試、HBM測試、功耗測試、HCC卡異常、掉卡、網(wǎng)絡流量異常等進行完善的修復，從而大幅提高運維工作的自動化和智四、高質(zhì)量大模型基礎設施評價指標和性能層面，聚焦計算、存儲、網(wǎng)絡、開發(fā)工具鏈及運維等維度建立大模型基礎設施評價指標，以技術(shù)能力指標和量化的性能指標對大模型基礎設施能力進行全面評價，以幫助企業(yè)構(gòu)建適合業(yè)務需求的高質(zhì)量大模型基礎設施。大模型基礎設施評價體系需綜合考慮大模型的技術(shù)能力和性能能力，如圖5所示?；A設施可用度基礎設施可用度平均故障時間-平均無故障運行時間十總體-單機群日均故障率基礎設施能源效率標稱算力算力利用率存儲容量存儲性能-片間互聯(lián)帶寬節(jié)點互聯(lián)帶寬網(wǎng)絡數(shù)據(jù)吞吐率并行策略支持能力片間傳輸時延模型算力利用率訓練平均吞吐資源可視化能力模型壓縮比-模型壓縮精度損失-開發(fā)推理速度提升比故障隔離能力推理時延故障恢復能力推理吞吐平均故障定位時間平均故障恢復時間支持大模型訓練種類及序列計算一集群擴容能力算力切分能力高密與線性擴展能力存儲-長記憶能力數(shù)據(jù)編織能力資源調(diào)度能力運維十故障檢測能力開發(fā)十斷點續(xù)訓能力檢查點I/O加速能力網(wǎng)絡一互聯(lián)規(guī)模來源：中國信息通信研究院（二）指標定義來源：中國信息通信研究院大模型基礎設施集群在一定時間內(nèi)提供正常服務的平均無故障從開始運行到發(fā)生首次故障的平均時間，簡稱MTTF平均無故障基礎設施能硬件算力利模型的實際計算需求與其理論最大計算能力之間的芯片片間互集群節(jié)點間網(wǎng)絡數(shù)據(jù)吞模型算力利模型訓練過程中實際使用的吞吐量與其理論可用吞訓練平均吞吐模型壓縮精平均故障定平均故障恢發(fā)生故障后修復所需的平均時間，簡稱MTTR（Mean來源：中國信息通信研究院五、高質(zhì)量大模型基礎設施典型實踐（一）案例一：Meta大模型基礎設施實踐新的兩個大模型計算集群技術(shù)細節(jié)。每個集群均配備了24576個NVIDIATensorCoreH100GPU,與既有集群相比在計算、存儲、網(wǎng)絡、開發(fā)軟件方面均進行了全面優(yōu)化，系統(tǒng)架構(gòu)如圖6所示。計算方面，一是改進了任務列表(jobscheduler),針對內(nèi)部作業(yè)調(diào)度器的網(wǎng)絡拓撲感知功能進行多次優(yōu)化調(diào)整，不僅提升了延遲性能，還大幅減少了網(wǎng)絡上層的流量負擔。二是結(jié)合NVIDIA集體通信庫改進，優(yōu)化網(wǎng)絡路由策略，實現(xiàn)了網(wǎng)絡資源的最佳利用。任務調(diào)度優(yōu)化實現(xiàn)了任務等待時間減少，集群性能提升85%。經(jīng)過一系列優(yōu)化措施，Meta大型集群達到了預期的性能水平。NETWORK架構(gòu)。兩種解決方案均支持400Gbps端點連接。Meta通過網(wǎng)絡、軟件和模型架構(gòu)協(xié)同設計，成功在RoCE和InfiniBand集群上運行了大），訓練期間未遇到任何網(wǎng)絡瓶頸問題。由此可見，RoCE和IB組網(wǎng)的API，并結(jié)合了針對閃存介質(zhì)優(yōu)化的Meta“Tectonic決方案，實現(xiàn)數(shù)千個GPU同步保存和加載檢查網(wǎng)絡文件系統(tǒng)，支持書簽GPU交互式調(diào)試，實現(xiàn)代碼更改即時對所機架數(shù)量減少以及功率效率之間的平衡，同時借助OCP服務器的模塊化設計，對存儲層進行靈活擴展，提高日常維護的容軟件方面，Meta利用MAIProf識別大模型訓練過程中的性能瓶的Python函數(shù)調(diào)用進行全過程跟蹤，發(fā)現(xiàn)性能異常是因為可配置參和多張量優(yōu)化器進行優(yōu)化，實現(xiàn)了性能優(yōu)化。Meta通過訓練框架優(yōu)（二）案例二：螞蟻集團大模型基礎設施實踐集群調(diào)度、大模型訓練、大模型推理、訓推任務管理等，整體架構(gòu)如大大模型百靈大模型-千億規(guī)模參數(shù)高效訓推一體規(guī)模參數(shù)的百靈大模型基于算力經(jīng)濟模型的集群調(diào)度續(xù)評估的能力算存運均衡配置數(shù)據(jù)中心布局模訓練的算力利用率可達·百靈大模型訓練周均有效訓練時長占比99%具備從數(shù)據(jù)中心破強度感知、全同資源和單個工作負載等多個維度，對算力效用水平和碳排放量進行持·萬卡異構(gòu)集群，支撐千億·干億參數(shù)橫型干卡級別規(guī)來源：螞蟻集團計算方面，一是全局的編排調(diào)度，將數(shù)據(jù)處理和模型訓練協(xié)同調(diào)度，減少數(shù)據(jù)搬遷的成本，盡量做到算力和數(shù)據(jù)的同步，減少算力等待數(shù)據(jù)的情況。二是智算混部，通過共享搶占、動態(tài)混部、vGPU強化等技術(shù)，提升算力的利用效率，滿足不同業(yè)務場景對于智能算力的需求。三是建立基于算力經(jīng)濟模型的算力調(diào)度體系，通過業(yè)務經(jīng)濟模型來評估算力資源的產(chǎn)出，使高性能卡向高優(yōu)先級的作業(yè)傾斜，以算力效率和損失決定搶占優(yōu)先級，讓算力分配始終處于高位的同時，以最經(jīng)濟的方式調(diào)度算力，使算力能夠發(fā)揮出最強效用。存儲方面，利用KV-cache技術(shù)解決大模型推理顯存容量瓶頸與訪存密集問題。一是提出并實現(xiàn)全新的KV-cache顯存虛擬-物理映射分配，實現(xiàn)了注意力機制計算過程與顯存分配的解耦，使注意力機制核心模塊的開發(fā)-調(diào)試效率從周縮短到小時，最多可減少71%的顯存占用。二是提出并實現(xiàn)對于KV-cache），軟件方面，采用分布式訓練加速技術(shù)，利用其自研的PyTorch試結(jié)果顯示，在Hopper架構(gòu)硬件上可平均提速運維方面，一是基于DLRover實現(xiàn)分布式訓練容錯。針對大模即可實現(xiàn)訓練任務的自動恢復。二是基于螞蟻自研的無痛升級技術(shù)，效，其中訓練的算力利用率達到了62%，有效訓練時長占比達到了99%，推理的TTFT降低了69倍，推理QPS提高了7.（三）案例三：某科技公司大模型基礎設施實踐寫耗時久，千卡以上集群平均每天故障1次，斷點恢復時間高達15存儲方面，該公司對存儲進行系統(tǒng)級優(yōu)化。一是采用AI數(shù)據(jù)湖EB級容災擴展能力，同時提升檢查點讀寫能力，斷點續(xù)訓恢復時長從15min縮短到1min。二是利用全局文件系統(tǒng)，實現(xiàn)全局統(tǒng)一數(shù)據(jù)種軟硬件故障自動分析和分級處理，80多種常見故障的自愈時間在行訓練算法優(yōu)化提升10%，算力集群可用度提升20%。2024年初基語言理解、數(shù)學能力超過GPT-4Turbo，多模態(tài)理解達到GPT-4V的六、總結(jié)