ODCC-2024 跨集群訓練（Region Scale AI）技術(shù)需求報告

[編號ODCC-2024-05008]開放數(shù)據(jù)中心標準推進委員會2024.08發(fā)布OCCH2024-05003版權(quán)聲明轉(zhuǎn)載、摘編或利用其它方式使用ODCC成果中的文字或者觀點的，應注明OCCH2024-05003編寫組 1 1 3 4（一）單數(shù)據(jù)中心物理資源受限 4 5 6 6 7 11 13 14（三）從對稱傳輸?shù)讲粚ΨQ傳輸 （二）跨域集合通信算子，完成數(shù)據(jù)并行過程 19 202.可靠擁塞檢測，精準識別擁塞報文，從而做出正確的調(diào)整 3.快速擁塞感知，及時做出擁塞控制響應，避免擁塞導致性 OCCH2024-05003AI模型的發(fā)展正在以驚人的速度推進，預計在未來五年內(nèi)，其參數(shù)數(shù)量將達到數(shù)萬億級別。為了滿足如此龐大的計算需求，AI集群正在不斷升級。然而，單一AI集群受到電力供應等物理因素題，難以承載大規(guī)模的AI訓練任務。為應對這些AI集群建設(shè)的需求，通過整合跨地理位置的計算資源（例如跨數(shù)據(jù)OCCH2024-05003OCCH2024-05003跨集群訓練（RegionScaleAI)技術(shù)需求報告一、大模型發(fā)展迅猛，AI集群規(guī)模日益擴大2022年11月，OpenAI推出了ChatGPT，這款應用迅速成為歷史上增長最快的消費軟件，僅在兩個月內(nèi)就吸引了超過1億用戶。并能夠準確理解語言的復雜性。ChatGPT的問世被視為生成式AI模型利用自注意力機制，能夠更有效地處理長序列數(shù)據(jù)，并解決了RNN在長距離依賴關(guān)系處理上的局限性。這種架構(gòu)允許模型在訓練架構(gòu)的GPT系列模型，通過大規(guī)模的數(shù)據(jù)和參數(shù)訓練，展示了強大1OCCH2024-05003模型的開發(fā)，推動了生成式AI技術(shù)的迅猛發(fā)展。以O(shè)penAI、Meta過增加模型的規(guī)模和復雜度以獲得更好的性能。如圖2所示。以尚未發(fā)布，但OpenAI表示其性能遠超GPT-4，預計使用了30萬億2（二）大模型需要大規(guī)模集群的支撐模型規(guī)模的增加意味著訓練這些模型所需的計算能力也在顯著增長。粗略地說，計算需求可以用公式F=6PD來表示，其中F代表計算能力需求增加了10000倍。AI集群作為算力基礎(chǔ)設(shè)施，通過將多個計算機節(jié)點/訓練加速卡連接起來，形成協(xié)同工作的計算環(huán)境，盡管用于人工智能訓練的加速器也在不斷發(fā)展，例如Nvidia最群的規(guī)模從數(shù)千個加速器增加到數(shù)萬個，甚至3二、單集群訓練在大模型時代面臨挑戰(zhàn)（一）單數(shù)據(jù)中心物理資源受限將AI集群建設(shè)在單個數(shù)據(jù)中心內(nèi)會受到物4OCCH2024-05003隨著未來集群規(guī)模達到十萬卡級別，AI集群的電力需求將超過程工作。一個大型AI集群的建設(shè)從規(guī)劃到投入使在快速變化的AI領(lǐng)域，計算需求可能在短時間內(nèi)劇增，而單個數(shù)據(jù)（二）單點算力資源碎片化響整體運營成本。整合集群中的碎片算力來承載云上大規(guī)模A5OCCH2024-05003些集群分布零散且規(guī)模較小，難以單獨應對大規(guī)模AI訓練的三、RegionScaleAI成為未來發(fā)展的新趨勢RegionscaleAI指的是在一定距離范圍內(nèi)，如Region級別，整個機房、單個地理位置，而是通過跨地理位置，如跨DC，或跨AZ集群進行訓練。如圖5所示。6聯(lián)合多個AI集群：利用多個分布在不同位置的AI集群的計算的訓練卡的訓練任務，這意味著可以處理非常龐大和復雜的AI模型提高資源利用率：通過整合和優(yōu)化分布在不同區(qū)域的計算資源，Ultra跨多個數(shù)據(jù)中心進行分布式聯(lián)合訓練。Gemini團隊在其文章《AFamilyofHighlyCapableMultimodal加速器由高速芯片間互連進行通信，但在GeminiUltra這樣大規(guī)模接起來，聯(lián)合完成訓練。（二）業(yè)界研究給RegionScaleAI帶來啟示7OCCH2024-05003“Singularity”框架。如圖6所示。這一框架旨在支持全球范圍（Planet-scale）內(nèi)AI任務調(diào)度，支持任務的可搶占、可遷移和彈性伸縮。Singularity框架通過將單個的高效遷移和彈性伸縮。8OCCH2024-05003group）來實現(xiàn)高效的訓練。如圖7所示，在每個分區(qū)組內(nèi)，兩個訓練卡共同持有模型狀態(tài)的完整副本，而在每個復制組（replicationgroup）中的訓練卡則持有模型狀態(tài)的相同部分。這種模型切分布放DeepSpeed，主要針對同構(gòu)數(shù)據(jù)中心的部署情況進行設(shè)計，對計算資9OCCH2024-05003決方案，如圖8所示，通過將IP和光網(wǎng)絡(luò)層的功能融合，簡化了網(wǎng)OCCH2024-05003絡(luò)信號調(diào)制為不同波長的光信號，再通過無源的合分波光纖/設(shè)備將多路400G彩光信號復用到一條光纖中，再通過可插拔模塊化的開圖9RON技術(shù)方案四、RegionScaleAI對計算與網(wǎng)絡(luò)提出新的需求（一）從帶寬無收斂組網(wǎng)到帶寬有收斂組網(wǎng)采用無收斂的組網(wǎng)方式，以保證能夠高效地傳輸AI模型參數(shù)數(shù)據(jù)。這是因為AI參數(shù)同步過程往往涉及大規(guī)模的數(shù)據(jù)傳輸，對網(wǎng)絡(luò)帶寬節(jié)點需要與另一集群中的訓練節(jié)點進行參數(shù)同步，這就要求AI流量OCCH2024-05003AI流量。這意味著，跨集群訓練過程中，網(wǎng)絡(luò)帶寬將會有收斂點。圖10帶寬收斂網(wǎng)絡(luò)（二）從短距離傳輸?shù)介L距離傳輸AI流量由單集群的數(shù)據(jù)中心內(nèi)傳輸，擴展到跨集群的數(shù)據(jù)中心間傳輸時，傳輸距離顯著增加，這對AI訓練性能帶來了影響，主要OCCH2024-05003圖11影響吞吐的因素無論是TCP還是RoCEv2協(xié)議，都遵循BDP理論，需要將報文填滿的負載均衡策略可能失效。在單集群環(huán)境中，參數(shù)面通常采用leaf-spine這樣的兩層clos拓撲，流量沖突主要集中在特定單一的位OCCH2024-05003（三）從對稱傳輸?shù)讲粚ΨQ傳輸置為16。在這種配置下，模型被均勻地切OCCH2024-05003且，DP和TP都通過集合通信AllReduce操作在相應的GPU之間進行數(shù)據(jù)交換。常見的AllReduce算子實現(xiàn)包括Half-doubling算法和圖12DP/PP/TP三維并行模型切分圖13AllReduce算子實現(xiàn)這種訓練卡數(shù)量的差異導致集合通信的雙邊不對等關(guān)系。如圖1示，AllReduceHalf-doubling算法中，紅色通信代表跨域長距傳輸，OCCH2024-05003圖14集合通信雙邊不對等—AllReduceHD布放和調(diào)度方案，將模型均勻切分到訓練卡上，性能較弱的訓練卡圖15集合通信雙邊不對等—AllReduceRingOCCH2024-05003五、RegionScaleAI技術(shù)展望（一）基于算力感知的模型布放和算力調(diào)度度策略。例如，在流水并行模式中，所有PP平面都使用相OCCH2024-05003（二）跨域集合通信算子，完成數(shù)據(jù)并行過程的AllReduce操作中。首先，將AllReduce集合通信算子采用分段處文提到的Half-doubling類型的算法，存在跨域全量卡同時互發(fā)數(shù)據(jù)OCCH2024-05003圖16HD算法跨域全量卡數(shù)據(jù)傳輸OCCH2024-05003（三）高吞吐長距確定性傳輸互聯(lián)帶寬是長距傳輸基