亞太區(qū)智算中心液冷應(yīng)用現(xiàn)狀與技術(shù)演進(jìn)白皮書

）：曹維兵、柴學(xué)、陳剛、陳淼、陳天鵬、丁海峰、杜華銳、段振、馮立波、李巍、劉衛(wèi)民、劉昕、陸干、陸景瑩、雒志明、王藝歐、王海峰、喬興波、喬在2024年最后一個月，我們可以來簡單的發(fā)展，并致力于與AI相關(guān)基礎(chǔ)設(shè)施的研究與創(chuàng)新。2023年12月，中國電信方法論的新一代AI智算基礎(chǔ)設(shè)施建設(shè)指南，從“能源彈性、制冷彈性、氣流優(yōu)開始關(guān)注以亞太地區(qū)為代表的國際智算基礎(chǔ)設(shè)施發(fā)展情況，特別是液冷技術(shù)在AIDC的應(yīng)用情況和趨勢。針對亞太地區(qū)國家眾多的情況，在國情不同、芯片發(fā)識素材，并通過CTG專家團(tuán)隊(duì)和深知社研究員團(tuán)隊(duì)精心梳理和編寫，最終形成本次白皮書的訪談和編制過程中，CTG和深知社得到了ASHRAE亞太地區(qū)各個國家分會組織的鼎力支持。不僅僅是最終的這本白皮書本身，整個白皮書調(diào) 11.1GPU芯片快速發(fā)展帶來的能耗與散熱挑戰(zhàn) 11.2規(guī)模部署給機(jī)柜散熱帶來新的挑戰(zhàn) 21.3智算中心用電規(guī)模及能效的挑戰(zhàn) 31.4智算中心水資源利用率WUE的挑戰(zhàn) 51.5液冷技術(shù)應(yīng)用的機(jī)遇與挑戰(zhàn) 5 82.1亞太地區(qū)數(shù)據(jù)中心產(chǎn)業(yè)現(xiàn)狀及重點(diǎn)地區(qū)分析 82.2亞太地區(qū)智算中心發(fā)展遇到的氣候挑戰(zhàn) 112.3亞太地區(qū)智算中心液冷應(yīng)用現(xiàn)狀與發(fā)展趨勢 14 3.1液冷通用架構(gòu) 193.2熱捕獲 193.3熱交換 263.4冷源 283.5液冷架構(gòu)分類 34 4.1風(fēng)液融合是智算中心液冷應(yīng)用的必由之路 374.2常見的風(fēng)液融合架構(gòu) 374.3不同風(fēng)液融合架構(gòu)下WUE、PUE、TCO對比分析 444.4架構(gòu)選擇建議 45 485.1大型智算中心的液冷架構(gòu) 485.2中小型智算中心的液冷架構(gòu) 51 6.1數(shù)據(jù)中心產(chǎn)品預(yù)制化發(fā)展的趨勢與價值 556.2冷源預(yù)制化方案 556.3一體化液冷機(jī)柜及液冷微模塊 586.4冷板式液冷集裝箱 60 7.1冷凍水系統(tǒng)的液冷改造 637.2直膨式空調(diào)系統(tǒng) 65 8.1冷板系統(tǒng)可靠性驗(yàn)證 688.2冷板液冷服務(wù)器適配性驗(yàn)證 698.3冷板液冷系統(tǒng)運(yùn)維界面劃分 708.4冷板液冷系統(tǒng)的運(yùn)行與維護(hù) 70 9.1數(shù)據(jù)中心制冷技術(shù)的演進(jìn)分析 739.2未來熱門的液冷技術(shù)應(yīng)用前瞻 74 85 87第一章、智算產(chǎn)業(yè)發(fā)展與液冷技術(shù)應(yīng)用的機(jī)遇與挑戰(zhàn)按照這個數(shù)據(jù)我們來推演一下，訓(xùn)練一個GPT只有足夠便宜的算力成本，才能推動智算行業(yè)按照英偉達(dá)最新的計(jì)劃，采用最新芯片架構(gòu)的GB200算力模組，模組的散），供電和散熱等基礎(chǔ)設(shè)施提出了顛覆式的挑戰(zhàn)。因此在Blackwell系列開始大規(guī)模部署開始，從芯片到服務(wù)器再到數(shù)據(jù)中心的散熱技術(shù)需要快速迭代，以適配AI。在AI集群中進(jìn)行分布式訓(xùn)練時，通信是必要環(huán)節(jié)，同時也是相比于單機(jī)訓(xùn)練AI大模型的訓(xùn)練是以GPU的大規(guī)模集群為基礎(chǔ)來實(shí)現(xiàn)的。在模型集群構(gòu)成的算力的大小也不是簡單的用GPU單卡算力乘以卡數(shù)量就能獲得。集有效運(yùn)行時間：網(wǎng)絡(luò)可靠性決定GPU集群有效運(yùn)行時間。長時訓(xùn)練網(wǎng)絡(luò)不延和有效運(yùn)行時間共同決定的。為實(shí)現(xiàn)GPU大規(guī)模部署從而產(chǎn)生更高的算力，用戶往往需要采用先進(jìn)的GPU專用組網(wǎng)體系，并盡量縮短網(wǎng)絡(luò)布線距離，來減少傳輸延時和降低網(wǎng)絡(luò)成本（網(wǎng)絡(luò)層級、通信線纜距離），因此也要將更多的但這也會導(dǎo)致GPU服務(wù)器機(jī)柜由于部署了更多的設(shè)備，其功率密度不斷走高，以目前市場最為先進(jìn)的GB200整機(jī)柜產(chǎn)品NVL72為例，其一架機(jī)柜的），絡(luò)交換機(jī)、CPU節(jié)點(diǎn)、光收發(fā)器和許多其他輔助產(chǎn)品，加起來用電功率占IT總位能耗比PUE將成為制約智算中心建設(shè)的關(guān)鍵。而其中制冷系統(tǒng)的能耗占比為數(shù)據(jù)中心水資源利用率（WUE見名詞解釋）是衡量數(shù)據(jù)中心IT工作量以亞太地區(qū)典型市場新加坡為例，2021年，新加坡用水量較大的數(shù)據(jù)中心數(shù)據(jù)，新加坡公共事業(yè)局（PUB）提出，幫助新建和現(xiàn)有數(shù)據(jù)中心降低WUE優(yōu)化冷卻塔的耗水量：冷卻塔在降低WUE方面具有巨相關(guān)技術(shù)的用水水平及方案組合，會在本白據(jù)中心增長的主要推動力。而由于技術(shù)的需要，高性能的GPU芯片會帶來更高液冷技術(shù)前景雖然廣闊，但實(shí)現(xiàn)的過程仍然充滿挑戰(zhàn)。在數(shù)據(jù)中心發(fā)展的第二章、亞太地區(qū)智算中心的發(fā)展根據(jù)咨詢機(jī)構(gòu)CUSHMAN&WAKEFIELD的市場調(diào)研報告《AsiaPacificData）；長最快的是馬來西亞（2.1GW）、中國周邊地區(qū)（見圖2-1）。例如印西和相模原地區(qū)，土地成本明顯更低，電力供應(yīng)久產(chǎn)權(quán)專用數(shù)據(jù)中心，該數(shù)據(jù)中心將于2027坡總IT容量為1347MW，其中已經(jīng)投運(yùn)的有965MW占比71.64%；在建的有成為了亞太地區(qū)最熱門的數(shù)據(jù)中心投資區(qū)域。據(jù)《第一數(shù)據(jù)：FirstBigData》發(fā)根據(jù)OMDIA的研究報告，馬來西亞數(shù)據(jù)中心最多的三個地區(qū)為：吉隆坡、度在23-34℃之間，濕度介于70%到95%之間。1月是一年中最冷的月份，平均而即將大規(guī)劃商用化部署的面向AI業(yè)務(wù)的智算中心更多的會采用冷板式液冷的方式。當(dāng)前全球規(guī)?；渴鹄浒迨揭豪涞臄?shù)據(jù)中心并不多，我們以特斯拉xAIColossus數(shù)據(jù)中心為例，來了解智算中心液冷規(guī)?；渴鸬奶厮估瓁AIColossus集群的液冷技術(shù)采用液冷整機(jī)柜設(shè)計(jì)，每個機(jī)柜含一臺柜內(nèi)擺放的8臺服務(wù)器都有液冷出入水口，通過支岔路水管Monif圖2-9）服務(wù)器風(fēng)扇從前部吸入冷空氣，從后區(qū)是馬來西亞。近兩年，以秦淮數(shù)據(jù)海外公司BridgeDataCenter和萬國數(shù)據(jù)為2025年開始，隨著英偉達(dá)GB200NVL液冷整機(jī)柜業(yè)務(wù)的大量部署，亞其中，中國電信臨港算力中心就是其中的優(yōu)秀案例。作為上海“東西兩翼”大模型公司等企業(yè)機(jī)構(gòu)在AI計(jì)算、深度學(xué)習(xí)、訓(xùn)練推理等研究中提供了澎湃的供冷、機(jī)房氣流組織優(yōu)化的“兩彈一優(yōu)”，實(shí)現(xiàn)多元算力組合快速交付（見圖2-11）。彈性供電方面，通過機(jī)柜設(shè)備的“小母線+彈性方艙”配電系統(tǒng)，一艙練效率可達(dá)單集群的95%以上，完成5家大模型訓(xùn)練性能測試，支撐星辰115B等基礎(chǔ)大模型平穩(wěn)訓(xùn)練，集群可用率達(dá)到90%以上。第三章、液冷主流技術(shù)路線及架構(gòu)分析3.1液冷通用架構(gòu)液冷的熱捕獲指的是使用液體從IT組件中帶走熱量。根據(jù)熱捕獲的方式不在發(fā)熱元件（通常為CPU/GPU等大功耗部件）上的冷板（通常為銅鋁等導(dǎo)熱金屬構(gòu)成的封閉腔體）將熱量帶走，這種散熱形式會導(dǎo)致?lián)Q熱效率大幅下降，同時也可能造成泄漏，損壞服務(wù)器。推薦選擇25%對于相變冷板液冷，需要特別關(guān)注當(dāng)?shù)氐沫h(huán)保法規(guī)和工作壓力。推薦選擇然后進(jìn)入CDU中散熱，整個過程中冷卻液不會發(fā)生相變。實(shí)物圖和原理圖如下種沸點(diǎn)，例如從55℃到200℃以上。低沸點(diǎn)（例如55℃)用于兩相浸沒，而高噴淋式液冷是用低溫冷卻液直接噴淋IT組件的發(fā)熱元件，吸熱后的高溫冷三種熱捕獲技術(shù)都有各自的優(yōu)缺點(diǎn)及適用場景，我們從以下這些維度進(jìn)行液冷的熱交換主要通過CDU（CoolantDistributionUnit）即冷量分配單元來除了以上三項(xiàng)關(guān)鍵功能，還需要關(guān)注CDU的類型，可以從以下兩個方面具），），面積小并且價格便宜。缺點(diǎn)是WUE高、運(yùn)閉的系統(tǒng)，所以水質(zhì)比較好，不需要增加板換，WUE也會低于開式冷卻塔。缺該系統(tǒng)的常用配置是在風(fēng)冷冷水機(jī)的基礎(chǔ)上配置一套干冷器或者絕熱冷卻該方案不使用水作為載冷劑，二是直接向CDU輸送制冷劑，對應(yīng)的CDU類利用機(jī)房現(xiàn)有的精密空調(diào)作為液冷系統(tǒng)的冷源時，對應(yīng)的CDU類型為L2A式和浸沒式為主，可以歸納為下表中的8種架構(gòu)，見表3-9：以上每種架構(gòu)都有各自適用的場景，可以根據(jù)下表3-10選擇合適的液冷架第四章、風(fēng)液混合制冷架構(gòu)的特點(diǎn)分析共用同一套冷源，可以將該架構(gòu)分為風(fēng)液同源架構(gòu)和風(fēng)風(fēng)液同源架構(gòu)按照冷源和風(fēng)冷部分的不同組合，可以分為冷卻塔+動態(tài)雙冷源架構(gòu)、冷水主機(jī)+冷凍水末端架構(gòu)、磁懸浮相變系），為了提升能效，可以對該架構(gòu)的細(xì)節(jié)進(jìn)行優(yōu)化，如下圖4-4所示：室外側(cè)使用冷卻塔+集成板換的水冷冷機(jī)，室內(nèi)側(cè)風(fēng)冷部分使用水冷DX空調(diào)，由冷卻塔到CDU和末端空調(diào)，這樣可以減少換熱次數(shù)從而帶來更高的能效。同時也和冷其生命周期內(nèi)的具體部署情況。不同業(yè)務(wù)類型的服務(wù)器有不同的風(fēng)液比，例如風(fēng)冷和液冷，提供100%的制冷量。并且冷源可以與二次側(cè)末端一起調(diào)節(jié)，交付周期大幅縮減。但是間接蒸發(fā)冷機(jī)組對建筑的層數(shù)有要求，一般不超過4綜合前文所述的內(nèi)容，冷板式液冷的風(fēng)液融合架構(gòu)可以參考下圖4-10進(jìn)行第五章、典型智算中心液冷應(yīng)用場景的選擇分析本章會以大型智算中心和中小型智算中心為例來闡述如何進(jìn)行進(jìn)行液冷架計(jì)算支持的領(lǐng)域。除了AI領(lǐng)域外，還廣泛應(yīng)用于物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等新興領(lǐng)冷具有更高的兼容性和成熟度，因此可以作習(xí)等先進(jìn)算法，專注于處理大規(guī)模、復(fù)雜的數(shù)因此架構(gòu)相對簡單一些，冷源選用冷卻塔即可。推薦采第六章、液冷系統(tǒng)的預(yù)制化傳統(tǒng)數(shù)據(jù)中心不僅建設(shè)周期長，初期投資成本大，而立，規(guī)劃和建設(shè)分離，拼湊式建設(shè)模式給后期運(yùn)維管理也對此弊端，數(shù)據(jù)中心預(yù)制化、模塊化逐漸從數(shù)據(jù)中心的到電力/水力模塊、微模塊、IT模塊等模塊化解決方案再到模塊化數(shù)據(jù)中心?在預(yù)制化、全模塊化設(shè)計(jì)下，將各個子系統(tǒng)預(yù)集成在模塊大大降低現(xiàn)場管理難度及施工風(fēng)險，有效提升數(shù)據(jù)中心可心具備快速部署、彈性擴(kuò)容、運(yùn)維簡單、高效節(jié)能等優(yōu)類型一和類型二拼接方式為獨(dú)立式，類型三拼接方塊+板式換熱器模塊+管路切換模塊+水泵模塊，此模式的缺點(diǎn)是維護(hù)空間相對比源架構(gòu)動態(tài)雙冷源系統(tǒng)（見圖6-5）中有較好對于間接蒸發(fā)冷卻一體化冷源（見圖6-6）是目前一體化液冷冷機(jī)柜產(chǎn)品按照液冷形式可分為冷板式液冷機(jī)柜及單相浸念，高集成、高標(biāo)準(zhǔn)設(shè)計(jì)，整合IT機(jī)柜、配電單元、封閉組件、制冷單元、布線、綜合運(yùn)維等功能獨(dú)立的單元，由機(jī)柜、Manifold管路、液冷服務(wù)器、液冷快速連接器以及插框式CDU構(gòu)成。單柜內(nèi)全部組件在工廠預(yù)制安裝、調(diào)試，可），行控制。一次CDU供液采用集中供液方案，滿足集中換熱的同時又可單獨(dú)于運(yùn)腐蝕、漏液等潛在風(fēng)險，機(jī)柜側(cè)管路可采用高分子材微模塊產(chǎn)品制冷系統(tǒng)采用冷板式液冷，滿足高散熱量方案。主要由集裝箱結(jié)構(gòu)系統(tǒng)、供配電系統(tǒng)、制冷系統(tǒng)（液冷系統(tǒng)+輔助風(fēng)冷系的戶外環(huán)境運(yùn)行條件，具備經(jīng)濟(jì)靈活、快速部署定制化設(shè)計(jì)。以某品牌45尺冷板式集裝箱為例進(jìn)行構(gòu)成剖析，此款產(chǎn)品尺寸用環(huán)形管路，減小二次側(cè)管路因泄露造成的故第七章、傳統(tǒng)風(fēng)冷數(shù)據(jù)中心的液冷改造在當(dāng)前節(jié)點(diǎn)，很多傳統(tǒng)數(shù)據(jù)中心都有液冷改造的需根據(jù)這個條件可以將改造分為利舊原有冷源和套管路供新增的液冷系統(tǒng)使用，并和原有的風(fēng)冷量傳遞給機(jī)房內(nèi)的空氣，然后再由原有的風(fēng)冷空調(diào)將熱量排到室外。CDU使用該方案采用分體式冷水機(jī)，它可以用原有的精密空調(diào)進(jìn)行改造，并與CDU第八章、典型智算中心液冷系統(tǒng)運(yùn)行挑戰(zhàn)3.系統(tǒng)設(shè)備功能測試階段測試各子系統(tǒng)和設(shè)備功能是否滿足設(shè)計(jì)和運(yùn)行要求。4.系統(tǒng)聯(lián)調(diào)及故障模擬階段驗(yàn)證系統(tǒng)是否能夠在不同的機(jī)房設(shè)計(jì)負(fù)載率工況1.在冷板液冷機(jī)房模塊內(nèi)的所有液冷機(jī)柜布置相應(yīng)設(shè)計(jì)功率的液冷假負(fù)載和2.通過開啟風(fēng)液冷假負(fù)載，使得測試機(jī)房模塊通道內(nèi)的風(fēng)液冷熱負(fù)荷達(dá)到4.通過模擬冷卻塔、冷量分配單交付模式（1）為解耦交付，液冷機(jī)柜與液冷服務(wù)器之間遵循用戶或行業(yè)統(tǒng)根據(jù)不同的液冷系統(tǒng)交付模式，確定相應(yīng)的運(yùn)維界面，通過制定并執(zhí)行IT目前大部分冷板液冷系統(tǒng)未能有類似于冷凍水風(fēng)冷空調(diào)系統(tǒng)配置蓄冷罐一2)通過液冷系統(tǒng)關(guān)鍵設(shè)備的預(yù)防性維護(hù)，較早發(fā)現(xiàn)并閉環(huán)設(shè)備4)液冷系統(tǒng)宜按照分布式系統(tǒng)設(shè)計(jì)，減小故障的影響范圍。1)液冷服務(wù)器上架前確認(rèn)其內(nèi)部冷板材料性能進(jìn)行檢查，針對已明確有材料劣化風(fēng)4)液冷系統(tǒng)應(yīng)安排月度水質(zhì)檢測，及時發(fā)現(xiàn)并控制冷卻工質(zhì)的品質(zhì)。5)水質(zhì)不滿足運(yùn)維要求時，及時安排在線配置補(bǔ)水小車，補(bǔ)水小車自帶水箱和水泵，通過CDU管路，直接注入CDU水箱中完成補(bǔ)水，可實(shí)現(xiàn)CDU內(nèi)補(bǔ)液與外補(bǔ)液同時補(bǔ)液。對外置補(bǔ)水小車的水2)液冷服務(wù)器漏液、高溫等告警同步推送至機(jī)房第九章、智算中心新技術(shù)展望密度，因此依靠重力即可維持工作流體的流動該技術(shù)目前有兩條技術(shù)路線：單相浸沒+兩作為先進(jìn)的液體冷卻系統(tǒng)，得到了美國能源部COOLERCHIPS計(jì)劃500萬美元的相冷板改為單相冷