AI 工作負載需要什么樣的數(shù)據(jù)中心網(wǎng)絡(luò)

為了處理不斷增長的AI工作負載，AI集群網(wǎng)絡(luò)必須提供前所未有的吞吐量、極低的延遲，并支持微數(shù)據(jù)突發(fā)等新的流量模式。更具挑戰(zhàn)性的是，傳統(tǒng)依賴硬件擴容提升網(wǎng)絡(luò)效能的路徑已難以滿足當前需求。AI特有的高強度與指數(shù)級擴展特性，正驅(qū)動著數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的全面革新。當前，業(yè)界仍在探索未來AI優(yōu)化網(wǎng)絡(luò)的具體形態(tài)，仍有許多懸而未決的問題。其中最重要的是：以太網(wǎng)在前端和后端網(wǎng)絡(luò)中將扮演什么角色，以及數(shù)據(jù)中心運營商將以多快的速度采用下一代以太網(wǎng)和協(xié)議。集群內(nèi)部為了探究AI工作負載對數(shù)據(jù)中心網(wǎng)絡(luò)的影響，我們需要了解其背后的運作機制。AI處理大致可分為兩個階段：訓(xùn)練：這一階段聚焦于用海量數(shù)據(jù)“哺育”AI模型。模型通過對輸入與輸出間復(fù)雜模式及關(guān)聯(lián)的深度剖析，逐步精進預(yù)測能力，實現(xiàn)高度準確性。推理：在此階段，AI模型將訓(xùn)練應(yīng)用于實踐。模型接收到數(shù)據(jù)輸入，隨即展開分類或預(yù)測操作，輸出決策或答案。這兩個階段都需要大量計算資源，體現(xiàn)為專有且成本高昂的處理器單元，包括但不限于CPU、GPU、FPGA，以及其他定制化加速器。特別是對于AI推理而言，連接所有這些xPU（以及服務(wù)器和存儲）的網(wǎng)絡(luò)必須提供極高的帶寬、極低的延遲，并確保無數(shù)據(jù)包丟失。目前，這些嚴苛要求已迫使超大規(guī)模數(shù)據(jù)中心逼近技術(shù)與效率的瓶頸。考慮到AI模型復(fù)雜度每三年增長1000倍的速度，僅僅通過擴大數(shù)據(jù)中心規(guī)模已無法滿足這些需求。因此，數(shù)據(jù)中心運營商需要從根本上重新設(shè)計和構(gòu)建其網(wǎng)絡(luò)架構(gòu)，以應(yīng)對AI工作負載帶來的挑戰(zhàn)。AIFabric要求如今，運營商正在為AI工作負載投入大量的xPU。他們最終需要多少xPU，以及連接xPU的網(wǎng)絡(luò)規(guī)模，將取決于未來的AI應(yīng)用場景。但可以預(yù)見的是，需要一種能夠支持數(shù)萬個xPU和萬億級密集參數(shù)的網(wǎng)絡(luò)架構(gòu)。對于AI訓(xùn)練而言，運營商在常規(guī)的硬件更新周期內(nèi)應(yīng)該能較好地支持工作負載，未來幾年這將推動前端網(wǎng)絡(luò)達到800Gbps甚至更高。然而，推理則是另一回事。在這方面，他們需要可擴展的后端基礎(chǔ)設(shè)施，能夠連接數(shù)千個xPU并實現(xiàn)以下幾點：大規(guī)模：與訓(xùn)練相比，AI推理每個加速器可以產(chǎn)生5倍以上的流量，并且需要5倍以上的網(wǎng)絡(luò)帶寬。后端網(wǎng)絡(luò)還必須能夠支持數(shù)千個并行同步作業(yè)以及更多數(shù)據(jù)和計算密集型工作負載。

極低的延遲：對于實時AI推理，每一毫秒都至關(guān)重要。這些工作負載必須通過大量節(jié)點進行，并且此流程中的任何延遲都可能會阻礙可擴展性或?qū)е鲁瑫r。根據(jù)應(yīng)用的不同，此類延遲可能會導(dǎo)致糟糕的用戶體驗、昂貴的制造錯誤或更糟糕的結(jié)果。

無數(shù)據(jù)包丟失：在數(shù)據(jù)中心運行的AI應(yīng)用程序?qū)?shù)據(jù)包丟失高度敏感，這會增加延遲并降低網(wǎng)絡(luò)的可預(yù)測性。因此，AI集群網(wǎng)絡(luò)必須是無損的。這些后端網(wǎng)絡(luò)要求已經(jīng)開始影響人工智能用戶體驗。據(jù)Meta稱，AI工作負載大約三分之一的時間都花在等待網(wǎng)絡(luò)上。

沒有單一的“正確”答案面對這些極端需求，數(shù)據(jù)中心運營商和支持他們的供應(yīng)商應(yīng)該如何應(yīng)對？為了維持當前的AI工作負載以及未來的工作負載，最佳的基礎(chǔ)設(shè)施方法是什么？這仍然是一個懸而未決的問題。即使在新建的后端數(shù)據(jù)中心基礎(chǔ)設(shè)施中，也有著巨大的差異，谷歌、微軟和亞馬遜都采取了不同的路徑。然而，根據(jù)運營商的反饋及其投資的接口類型，我們對情況有了更清晰的認識。Dell'OroGroup預(yù)測，在用于數(shù)據(jù)攝取的前端網(wǎng)絡(luò)中，到2027年，三分之一的以太網(wǎng)端口將達到800Gbps或更高。在后端網(wǎng)絡(luò)中，運營商迫切需要提高吞吐量和降低延遲，發(fā)展速度更快。到2027年，幾乎所有后端端口都將達到800G及以上，帶寬將以三位數(shù)的速度增長。盡管大多數(shù)運營商將繼續(xù)在前端網(wǎng)絡(luò)中使用以太網(wǎng)，但后端基礎(chǔ)設(shè)施將會有所不同。根據(jù)所支持的AI應(yīng)用程序，部分運營商可能會傾向于使用像InfiniBand這樣的無損技術(shù)。另一些則可能偏好標準化以太網(wǎng)的熟悉度和經(jīng)濟性，并結(jié)合諸如RoCEv2協(xié)議等技術(shù)，以實現(xiàn)無損和低延遲的數(shù)據(jù)流。還有一些運營商會同時使用InfiniBand和以太網(wǎng)。目前而言，并沒有單一的“正確”答案。除了價格和部署規(guī)模等考慮因素之外，數(shù)據(jù)中心運營商還需基于預(yù)期支持的AI工作負載，考慮多個因素，包括：帶寬和延遲要求模型訓(xùn)練是在內(nèi)部進行還是外包標準化與專有技術(shù)的選擇

對所考慮技術(shù)的未來路線圖的適應(yīng)程度展望未來盡管未來尚存變數(shù)，但為AI集群開發(fā)連接解決方案的供應(yīng)商不得不在緊迫的時間線內(nèi)奮力推進。在市場需求的推動下，400G以太網(wǎng)的部署正在增加，供應(yīng)商也在盡可能快地生產(chǎn)800G芯片組，并且1.6Tbps以太網(wǎng)標準的工作也在推進中。與此同時，嚴格的測試將變得更加重要，并需要針對AI基礎(chǔ)設(shè)施的速度和規(guī)模設(shè)計新的測試和仿真工具。供應(yīng)商將需要驗證新型以太網(wǎng)產(chǎn)品的能力，進行高速定時和同步測試，確保多供應(yīng)商組件的互操作性等。考慮到為