2024算力中心冷板式液冷發(fā)展研究報告

算力中心冷板式液冷發(fā)展研究報告(2024年)目錄一、算力中心冷板式液冷發(fā)展必然性. 1（一）政策背景：綠色發(fā)展備受關注，能耗要求日趨嚴格 1（二）發(fā)展環(huán)境：單機功率密度提升，散熱問題愈發(fā)顯著 2（三）標準走勢：標準制定不斷完善，行業(yè)發(fā)展持續(xù)規(guī)范 4（四）產業(yè)現(xiàn)狀：系統(tǒng)節(jié)能潛力顯著，技術迭代創(chuàng)新發(fā)展 5二、算力中心冷板式液冷技術分析. 6（一）冷板式液冷解決方案 6（二）冷板式液冷關鍵技術要素 10（三）冷板式液冷技術優(yōu)勢 16三、算力中心冷板式液冷典型應用案例. 25（一）基于英特爾?架構的超聚變冷板式液冷解決方案 25（二）基于英特爾?架構的京東云綠色算力中心高密度算力方案 27四、趨勢與展望. 29圖目錄圖1冷板式液冷整體鏈路圖 7圖2一次側冷卻水余熱回收示意圖 圖3一次側冷凍水并聯(lián)余熱回收示意圖 圖4一次側冷凍水串聯(lián)余熱回收示意圖 12圖5二次側并聯(lián)余熱回收示意圖 13圖6冷卻液分類圖 15圖72019-2023年我國算力中心耗電量（億千瓦時） 20圖8某大型冷板式液冷算力中心項目效果圖 26圖9液冷服務器部署示意圖 28圖10液冷服務器實際部署圖 29算力中心冷板式液冷發(fā)展研究報告（2024算力中心冷板式液冷發(fā)展研究報告（2024年）PAGEPAGE17一、算力中心冷板式液冷發(fā)展必然性當前，人工智能、大數(shù)據(jù)等新一代信息技術迎來創(chuàng)新發(fā)展，數(shù)字經濟已成為當前主要經濟形態(tài)，數(shù)字化轉型持續(xù)驅動生產方式、生活方式和治理方式發(fā)生深刻變革。算力中心作為數(shù)據(jù)傳輸、產生、匯聚、融合的重要場所，是各個行業(yè)信息系統(tǒng)運行的物理載體，在“新基建”等利好政策的加持下，產業(yè)始終保持著良好增長態(tài)勢。隨著“東數(shù)西算工程的縱深推進以及《數(shù)字中國建設整體布局規(guī)劃》中數(shù)字中國建設目標的不斷升級，我國算力中心產業(yè)發(fā)展步入新階段，催生出新一輪算力中心建設高潮。尤其是“雙碳目標發(fā)布后，為進一步推動算力中心整體低碳化發(fā)展，促進算力中心機房的快速、高效散熱，滿足國家對算力中心綠色、節(jié)能等建設需求，液冷技術（一）政策背景：綠色發(fā)展備受關注，能耗要求日趨嚴格算力中心行業(yè)的高耗能和碳排放問題引起諸多關注。近年來，我國算力中心在實現(xiàn)規(guī)?；?、集約化的同時，算力中心耗電量也在不斷攀升，設備部署呈現(xiàn)出“高密度、高耗能、異構化”等發(fā)展特點。在“雙碳”戰(zhàn)略目標和全球能源治理改革的宏觀形式下，加快推動算202110約束推動重點領域節(jié)能降碳的若干意見》首次提到將數(shù)據(jù)中心行業(yè)納入重點推進節(jié)能降碳領域。此外，為助力綠色低碳轉型，國家和各地政府多次出臺倡導節(jié)能減排的相關政策文件，在能耗總量限制的基礎上推進綠色節(jié)能的算力中心建設。算力中心綠色低碳發(fā)展持續(xù)深化，主管部門對電能利用效率（PUE）PUEPUE值越接近于1，則代表算力中心的綠色化程度越高。近年來，各級主管部門對算力中PUE20217（2021-20232023PUE1.320221動建設全國一體化算力網(wǎng)絡國家樞紐節(jié)點的系列復函中指出，國家PUE分別控制在1.25、1.2以下。20234202361.4，20251.3PUE與此同時，國家持續(xù)鼓勵算力中心在研發(fā)、測試和應用中，采用液冷相關技術，加大算力中心行業(yè)節(jié)能技術創(chuàng)新力度，提升能源利用（二）發(fā)展環(huán)境：單機功率密度提升，散熱問題愈發(fā)顯著我國算力中心規(guī)模保持高速增長，建設大型及以上算力中心成為主流模式。隨著各行業(yè)數(shù)字化轉型升級進度加快，全社會數(shù)據(jù)總量呈爆發(fā)式增長，人工智能、大數(shù)據(jù)、5G、IoT、AIGC等技術催生海量多樣數(shù)據(jù)，極大的推動了數(shù)據(jù)存儲、計算、傳輸、應用需求，2023810230EFLOPS1。大型以上算力中心機架數(shù)量占算力中心總機架規(guī)模比重逐年上漲。由此可見，高功耗、高密度的大型、超大型算力中心仍然作為未來高算力需求進一步推動算力中心單機功率密度提升，大型算力中心的單機架功率密度已接近8kW，少數(shù)超大型算力中心的單機架功率密度已達20kW。當下，我國大型算力中心的建設加速及以ChatGPT為代表的新人工智能時代的到來，人工智能的應用需求日益凸顯，處理大規(guī)模數(shù)據(jù)和復雜計算任務的高算力需求也不斷增加。一方面，為了滿足這些需求，算力中心需要提高單機架的計算能力，而通過增加處理器核數(shù)、內存容量和存儲空間等方式提升單機功率密度是實現(xiàn)高算力需求的一種常用的策略。另一方面，受限于算力中心建設面積、環(huán)境保護規(guī)定和算力中心服務器承載能力等因素，提升算力中心單機柜功率密度成為有效疏解不斷上漲的高算力需求算力中心正在面臨散熱的挑戰(zhàn)，液冷技術成為新型制冷解決方案。高功率的服務器和IT設備產生的熱量不斷增加，而算力中心的散熱能力有限。因此，算力中心需要采用先進的散熱技術，解決機柜間空氣流動限制、散熱設備容量不足、空間和布線限制等散熱難1來源：中國信息通信研究院題，以確保服務器和IT設備的正常運行。當前，液冷技術通過冷卻液體替代傳統(tǒng)空氣散熱，降低服務器等設備溫度實現(xiàn)自然散熱，提升散熱效果，已逐步成為一種新型制冷解決方案。液冷技術主要分為冷板式液冷、浸沒式液冷和噴淋式液冷技術等技術類型，其中冷板式液冷技術作為成熟度最高、應用最廣泛的液冷散熱方案，更適用于高性能計算、高密度的算力中心領域，有利于促進算力中心綠色低碳發(fā)展、降低算力中心PUE。（三）標準走勢：標準制定不斷完善，行業(yè)發(fā)展持續(xù)規(guī)范政策引導算力中心液冷技術落地提速。近年來，發(fā)改委、工信信部《新型數(shù)據(jù)中心發(fā)展三年行動計劃（2021-2023年5G施綠色高質量發(fā)展實施方案》等相關政策明確提出推進算力中心液冷技術研發(fā)、采用液冷等節(jié)能技術模式。在國家、地方政府及行業(yè)政策引領下，算力中心應用液冷技術進入大規(guī)模的普及和建設階段。算力中心冷板式液冷技術標準制定步入“新常態(tài)”，行業(yè)朝向規(guī)范化發(fā)展。算力中心液冷技術作為一項新的“革命”技術，當前我國針對液冷技術的研究仍處于起步階段，其液冷服務器的設計、運維、安防等方面的行業(yè)標準較為空缺，業(yè)界尚未形成統(tǒng)一的技術標準，增高了產業(yè)發(fā)展壁壘。得益于政策的支持與引導，液冷產業(yè)標準規(guī)范化迎來了快速發(fā)展，算力中心冷板式、浸沒式、噴淋式液冷服務器系統(tǒng)技術、冷卻液技術和測試方法等行業(yè)標準如雨后春筍般出臺。特別是冷板式液冷技術標準制定逐步朝向常態(tài)化、規(guī)范化邁進。中國信息通信研究院云計算與大數(shù)據(jù)研究所依托ODCC（開放數(shù)據(jù)中心委員會）“冰河”項目組，與業(yè)界聯(lián)合起草發(fā)布的《數(shù)據(jù)中心冷板式液冷服務器系統(tǒng)技術要求和測試方法》行業(yè)標準，規(guī)定了算力中心冷板式液冷服務器系統(tǒng)的服務器、CDU和其他相關技術要求和測試方法，并適用于服務器的設施、部署、運維、測試等環(huán)節(jié)技術指導，為進一步推進冷板式液冷方案的可靠、高效和便捷夯實了堅實的基礎。（四）產業(yè)現(xiàn)狀：系統(tǒng)節(jié)能潛力顯著，技術迭代創(chuàng)新發(fā)展國外在算力中心液冷技術和產品方面起步較早，目前冷板式液冷市場主要以歐美公司為主，其中美國公司占比超過60%，是冷板式液冷多種技術路線的主要發(fā)展區(qū)域。我國液冷技術起步稍晚于國外，但起步后發(fā)展迅速，冷板式液冷技術是我國最早采用的液冷方式，相較于其他模式液冷方案，冷板式液冷在可靠性、可維護性、技術成熟度方面更為突出，且更符合算力中心機房改造程度、適應性等特征，廣受算力中心運營商的青睞，目前其相關產品在市場上占比較高。基于冷板式液冷在技術、生態(tài)、應用方面的發(fā)展基礎，眾冷板式液冷生態(tài)伙伴持續(xù)加速節(jié)能技術迭代創(chuàng)新。在服務器方面，打造整機柜服務器解決方案，實現(xiàn)高效節(jié)能、快速部署、便捷運維等方面的全新升級；在散熱材料方面，采用導熱性能更佳的新一代散熱材料，更高效地將熱量從IT設備傳導到冷卻介質中；在控制系統(tǒng)方面，引入智能控制和自適應調節(jié)技術，實現(xiàn)對冷卻系統(tǒng)的實時監(jiān)測和調控，提升冷卻系統(tǒng)的穩(wěn)定性；在能源利用方面，采用能耗較低的冷卻介質以及余熱回收等方式，減少能源的消耗。積極推動算力中心不斷實現(xiàn)能效優(yōu)化和低碳轉型。多家企業(yè)紛紛推出冷板式液冷相關技術和產品，并在算力中心行業(yè)內有了一定規(guī)模的應用案例。超聚變冷板式液冷服務器解決方案通過先進的集中供電、總線盲插和原生液冷技術，實現(xiàn)節(jié)點、機PUE1.06TUV南德制冷PUE能效認證及全球首個TUV超過5萬節(jié)點，成功應用于互聯(lián)網(wǎng)、高校、政企、金融等領域，成為商用液冷新標桿。互聯(lián)網(wǎng)廠商冷板液冷整機柜服務器在河北某算力中心大規(guī)模部署，其服務器通過模塊化設計、一體化交付、高效IT二、算力中心冷板式液冷技術分析（一）冷板式液冷解決方案冷板式液冷方案概述2遞給封閉在循環(huán)管路中的冷卻液體，冷卻液帶走熱量，并將其傳遞2通常是銅、鋁等高導熱金屬構成的封閉腔體冷板式液冷技術利用冷卻液作為熱量傳輸?shù)拿浇椋瑢崃坑蔁釁^(qū)傳遞到遠端后再進行冷卻。在該技術中，冷卻液與被冷卻對象分離，不與電子器件進行直接接觸，而是通過液冷板等高效熱傳導部件將被冷卻對象的熱量傳遞到冷卻液中，因此冷板式液冷技術又稱為間接液冷技術。冷卻液的導熱性能比空氣更好，能夠更快地吸收和轉移熱量，與傳統(tǒng)的風冷技術相比，冷板式液冷具有更高的散熱效率。此外，冷板式液冷還可以減少算力中心的噪音和灰塵污染，提高算力中心的整體環(huán)境品質。冷板式液冷系統(tǒng)設計冷板式液冷系統(tǒng)可以分為一次側（室外）循環(huán)和二次側循環(huán)（室內）兩部分。其中，二次側循環(huán)主要通過冷卻液溫度的升降實現(xiàn)熱量轉移，而一次側的熱量轉移主要是通過水溫的升降實現(xiàn)。來源：中國信通院云計算與大數(shù)據(jù)研究所圖1冷板式液冷整體鏈路圖一次側系統(tǒng)主要由室外散熱單元、一次側水泵、定壓補水裝置和管路等部件構成。一次側冷源可采用機械制冷系統(tǒng)和自然冷卻系統(tǒng)，以響應二次側末端不同的溫度需求。機械制冷系統(tǒng)包括風冷冷12℃-18℃冷卻是在室外氣象條件允許的情況下，利用室外空氣的冷量而不需機械制冷的冷卻過程，自然冷卻系統(tǒng)可采用開式冷卻塔、閉式冷卻塔和干冷器等設備實現(xiàn)，可提供30℃以上的冷卻水。冷板式液冷一次側冷源形式需結合二次側末端水溫需求和項目地室外環(huán)境情況確二次側系統(tǒng)主要由換熱冷板、熱交換單元和循環(huán)管路、冷源等部件構成。二次側液體回路是指從冷量分配單元到機架，通過循環(huán)IT來自二次側冷卻回路的熱量通過熱交換單元的板式換熱器傳遞到一換熱冷板常作為電子設備的底座或頂板，通過空氣、水或其他冷卻介質在通道中的強迫對流，帶走服務器中的耗散熱。從而有效降低算力中心的PUE值。冷板材質一般由高導熱系數(shù)的材料（如銅板）構成，冷板表面接近等溫，可帶走大量的集中熱量，從而有效降低算力中心的PUE值。由于冷板在工作過程中不直接接觸發(fā)熱元器件，因此避免了冷卻介質對電子元器件的污染，提高了算力中心設施的使用壽命。冷量分配單元（CoolantDistributionUnit，CDU）可以看作室內機與室外機的連接點，由板式換熱器、電動比例閥、二次側循環(huán)泵、膨脹罐、安全閥、進出水管專用接頭、控制器及其面板等部件組成。具有流量分配、壓力控制、防凝露等作用。借助板式換熱器，室內機與室外機發(fā)生間壁式換熱，工質不做混合。高溫冷卻液攜帶的熱量在冷量分配單元高效傳遞給室外機模塊中的冷卻水，再通過室外機部分的系統(tǒng)循環(huán)將熱量最終釋放到自然環(huán)境中。降溫后的冷卻液由內置循環(huán)泵驅動進入服務器，使冷卻液循環(huán)往復，源源不斷地帶走服務器熱量。此外，冷量分配單元能夠監(jiān)視環(huán)境露點并調節(jié)供水給機架的溫度，冷量分配單元一般將輔助水回路的供應溫度提高到2℃分液單元是將冷卻液分配到各個需要散熱設備的部件，主要可分為豎直和水平兩種形式。豎直分液單元將冷卻液分流至水平分液單元，保證了不同高度的水平分液單元分得的液體流量相差較小。水平分液單元再將冷卻液平均分配到末端液冷冷板上。分液單元通過豎直和水平分液單元將低溫冷卻液均勻的分配給每一個分液單元，從而防止不同路徑的芯片散熱冷板出現(xiàn)欠流或者過流情況，減少因循環(huán)管路是連接換熱冷板、冷量分配單元和室外冷源的必要部件。按連接方式不同，可分為直連式異程式和環(huán)路式同程式兩種。循環(huán)管路的可靠性主要取決于連接處的材料，在實際連接中，管路、（二）冷板式液冷關鍵技術要素余熱回收技術算力中心余熱回收技術將算力中心信息和通信設備運行過程中產生的大量余熱進行回收，用于供暖及生活熱水等需求。余熱回收作為綜合節(jié)能措施及清潔能源得到了業(yè)界的廣泛關注。國家發(fā)改委印發(fā)的《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》提出推動數(shù)據(jù)中心采用液冷、余熱回收利用等節(jié)能技術模式。北京市經信局印發(fā)的《北京市數(shù)據(jù)中心統(tǒng)籌發(fā)展實施方案（2021-2023年中心統(tǒng)籌建設的指導意見》以及江蘇省工信廳頒布的《江蘇省新型數(shù)據(jù)中心統(tǒng)籌發(fā)展實施意見》等紛紛提出加快包括液冷在內的綠色技術產品創(chuàng)新應用，鼓勵數(shù)據(jù)中心采用余熱回收利用措施?？傮w來看，不管是國家層面還是地方層面都開始重點關注對算力中心的余熱利用。根據(jù)余熱利用點位置和系統(tǒng)設置的不同,冷板式液冷系統(tǒng)余熱回收系統(tǒng)的設計形式也不同，可分別在一次側和二次側回路進行余熱回收。一次側的余熱回收包括冷卻水余熱回收、冷凍水并聯(lián)余熱回收、冷凍水串聯(lián)余熱回收。除了跟一次側進行串并聯(lián)之外，還可以設置二次側并聯(lián)余熱回收。一次側冷卻水余熱回收系統(tǒng)是在冷卻水側，一般在自然冷源換熱器后，串聯(lián)余熱回收換熱器，冷卻塔中的低溫水經過冷水機組與冷凍水換熱后升溫，再通過熱回收換熱器將熱量傳遞給熱回收管網(wǎng)，熱泵機組對回收的低品位熱源進行提升，達到供熱的溫度要求。該方案回收的熱量相對較少。來源：中國信通院云計算與大數(shù)據(jù)研究所圖2一次側冷卻水余熱回收示意圖一次側冷凍水并聯(lián)余熱回收系統(tǒng)在算力中心的冷凍水系統(tǒng)中設置余熱回收系統(tǒng)，將余熱回收換熱器與自然冷卻換熱器并聯(lián)，同時在熱回收換熱器側增加循環(huán)水泵,用于控制冷卻量和回收量。該方案中余熱回收后的冷凍水和自然冷卻后的冷凍水進行混合后，共同為機房提供冷凍水，對并聯(lián)兩側的水力及溫度控制要求較高。來源：中國信通院云計算與大數(shù)據(jù)研究所圖3一次側冷凍水并聯(lián)余熱回收示意圖一次側冷凍水串聯(lián)余熱回收系統(tǒng)也是在算力中心的冷凍水系統(tǒng)中設置余熱回收系統(tǒng)，將熱回收換熱器與自然冷源換熱器在冷凍水側進行串聯(lián)，熱回收換熱器直接與冷凍水換熱后，進入熱泵機組進行提升利用。該系統(tǒng)容易受到室外溫度波動影響，使得熱回收換熱器冷凍水出口溫度產生波動，但是由于之后串聯(lián)自然冷源換熱器，可以進一步控制自然散熱量,從而對其波動進行調節(jié)，確保最終的出水溫度滿足機房供冷的溫度需求，控制系統(tǒng)相對簡單。來源：中國信通院云計算與大數(shù)據(jù)研究所圖4一次側冷凍水串聯(lián)余熱回收示意圖二次側并聯(lián)余熱回收系統(tǒng)除了跟一次側進行串并聯(lián)之外，也在液冷的二次側取熱，CDU與熱回收的換熱器進行并聯(lián)。運行熱回收工況時開啟熱回收旁路，兩條路由分別獨立運行，水力平衡表現(xiàn)較好，工程改造難度較低。該方案直接與二次側的冷卻液進行熱交換，減少了板換的多次溫降，相較其他方案換熱效率更高，回收的熱品位也更高。來源：中國信通院云計算與大數(shù)據(jù)研究所圖5二次側并聯(lián)余熱回收示意圖冷卻液的選擇冷板式液冷技術的冷卻液在冷板管路中流動，不與主板和芯片等電子器件直接接觸，在滿足冷卻性能的前提下，可以只考慮冷卻液與循環(huán)管路和冷板之間的兼容性和可靠性。但在實際操作中需要定期檢查冷卻液，確保冷卻工質的品質穩(wěn)定可靠，以降低在長期工作環(huán)境下腐蝕、加速老化、滲透等風險。在冷卻液的選擇上，冷板式液冷系統(tǒng)二次側冷卻回路中常用的冷卻液包括水基冷卻液和非水基冷卻液。水基冷卻液具有良好的傳熱性能，分為純水液和配方液。純水液以純水為溶劑，不添加任何其他材料或只依據(jù)防凍需求添加一定比例的乙二醇或丙二醇防凍劑，純水液通過維持超低電導率環(huán)境抑制浸潤材料的腐蝕和微生物的滋生。配方液以純水為溶劑，依據(jù)防凍需求添加一定比例防凍劑,并添加緩蝕劑、殺生劑等添加劑，配方液通過添加劑降低浸潤材料的腐蝕風險和抑制細菌生長。由于這些添加劑會降低水的熱傳導性能，也存在因消耗而失去作用的問題，使用時需要定期取樣監(jiān)測冷卻液品質。非水基冷卻液主要分為碳氫及有機硅類以及碳氟化合物類，使用時需在浸潤材料兼容性上進行嚴格審查和測試。碳氫及有機硅類冷卻液常溫下呈黏稠狀,因此這一類被業(yè)內統(tǒng)稱為“油類冷卻液”,常見的油類冷卻液可以分為天然礦物油、合成油、有機硅油等，普遍具有沸點高不易揮發(fā)、不腐蝕金屬、環(huán)境友好、毒性低等共性,且成本較低，但由于具有閃點,使用中有可燃助燃風險。油類冷卻液因其粘度、粘性和易吸濕水解等問題一般不作為冷板式液冷的冷卻液。碳氟類冷卻液是將碳氫化合物中所含的一部分或全部氫換為氟而得到的一類有機化合物,根據(jù)碳氟化合物的組成成分和結構不同,可分為氯氟烴(CFC)、氫代氯氟烴(HCFC)、氫氟烴(HFC)、全氟碳化合物(PFC)、氫氟醚(HFE)等，普遍具有良好的電絕緣性和綜合傳熱性能,可以實現(xiàn)無閃點不可燃，且惰性較強,不易與其它物質反應,是良好的兼容材料。依據(jù)冷板式液冷系統(tǒng)中的冷卻液在吸收或釋放熱量過程中是否產生氣液相轉化，分為單相冷板式液冷和兩相冷板式液冷。單相冷板式液冷通過冷卻液在冷板內吸熱，降低芯片溫度，不允許出現(xiàn)汽化現(xiàn)象，水基冷卻液憑借其具備的高沸點及良好的傳熱性能，成為單相冷板式液冷的理想冷卻液。兩相冷板式液冷通過冷卻液在冷板內吸熱，冷卻液發(fā)生氣液相轉化，通常會選用較低沸點、適宜沸程的碳氟冷卻液,以便于吸熱汽化和散熱液化循環(huán)。來源：中國信通院云計算與大數(shù)據(jù)研究所圖6冷卻液分類圖液冷化改造技術當前應用于人工智能、物聯(lián)網(wǎng)、超級計算等計算密集型應用場IT務器設備功耗和發(fā)熱量也大幅增加，算力中心功率密度越來越高。傳統(tǒng)的風冷散熱方式已經無法滿足算力中心及時性的散熱需求，對算力中心進行液冷化改造，能夠在原有基礎上實現(xiàn)更高效的散熱以發(fā)揮滿載性能，同時也有助于進一步提升單機架功率密度實現(xiàn)更高計冷板式液冷技術能夠有效降低算力中心PUE，相比于浸沒式液冷，冷板式液冷對現(xiàn)有服務器芯片組件及附屬部件改動量較小，可操作性更強，且對于當前的算力中心整體架構及后續(xù)維護影響不大，運維模式、機房承重與傳統(tǒng)風冷場景基本一致，是目前成熟度較高、應用更為廣泛的液冷散熱方案。算力中心機柜液冷化改造的主要工作在于對原有機柜及服務器的冷板式改造，改造內容包括配電、布CDU堵塞等監(jiān)控系統(tǒng)。整體機房液冷化改造的主要工作在于部署高密度液冷機柜、鋪設室內外液冷管道、安裝冷卻液體流量分配單元（火墻、存儲等風冷產品的風冷機柜。在此基礎上，進行算力中心供電、消防、門禁、監(jiān)控等基礎算力中心環(huán)境改造，從而打造集液冷、但冷板式液冷改造也面臨著諸多挑戰(zhàn)，一是冷卻液在流動過程中如果壓力過大，會增加漏液風險，而且會對工作人員和設備造成潛在風險。二是算力中心液冷化改造涉及樓體、空間改造、系統(tǒng)改造等多個環(huán)節(jié)，改造周期長，產業(yè)鏈協(xié)同性較弱。三是要考慮一定的改造成本。（三）冷板式液冷技術優(yōu)勢高密度：高密度節(jié)點部署有效提升單機柜計算能力隨著人工智能、大數(shù)據(jù)分析、虛擬化和高性能計算等技術的迅速發(fā)展，算力中心對計算能力的要求越來越高。然而，受限于算力中心建筑面積和環(huán)保規(guī)定，算力中心有限的承載能力成為限制算力中心算力提升的主要問題。而提高單機柜功率密度成為調和這一矛2022CPU功耗已突350WGPU700W，AI到50kW/柜3。目前，自然風冷的算力中心單柜密度一般只支持8-10kW。單純依靠傳統(tǒng)空氣冷卻技術已無法滿足高密度計算節(jié)點的散熱需求。因此，通過采用新的制冷技術來提高節(jié)點部署密度，以提冷板式液冷系統(tǒng)是一種有效提高機架功率密度的制冷技術。冷板式液冷技術通過將液冷板與服務器節(jié)點緊密結合，將熱量直接帶走，實現(xiàn)高效散熱，從而實現(xiàn)更高的功率密度。除了高效的散熱性能外，冷板式液冷技術還具有更小的占地面積。由于液冷板與服務器節(jié)點的緊密結合，可以節(jié)省更多的空間，使得算力中心可以在有限的空間內部署更多的節(jié)點，從而進一步提高計算能力密度。冷板式液冷技術的應用使算力中心的計算能力得到了飛躍性的提升。例如，某算力中心引入了冷板式液冷系統(tǒng)，將其應用于高密度計算節(jié)8-10kW，而33kW，可128CPU66kW點部署方案，使算力中心的計算能力提升數(shù)倍，滿足了高性能計算的需求。因此，在云計算中的計算資源虛擬化、大數(shù)據(jù)的存算分離高效能：熱源側液體冷卻大幅提高服務器散熱效率3來源：ODCC《冷板式液冷服務器可靠性白皮書》受制于空氣傳熱特性，風冷技術的散熱效率有限。由于空氣的導熱系數(shù)較低且容易受環(huán)境溫度影響，風冷系統(tǒng)在高溫環(huán)境下散熱效果會受到明顯影響。此外，風冷系統(tǒng)的散熱能力還會受到風速和空氣流通狀況的限制。相對而言，液冷技術由于其較高的傳熱效率和更穩(wěn)定的散熱性能，在高功率密度和高溫環(huán)境下表現(xiàn)更出色，因此越來越多的算力中心開始轉向液冷散熱技術，以滿足日益增長的計算需求。冷板式液冷技術用冷卻液替代空氣成為換熱介質，將冷卻液直接導向發(fā)熱芯片模塊，通過間接接觸換熱，將發(fā)熱芯片產熱導出，降低芯片模塊的溫度，提高其散熱效率與計算性能。液體的比熱容遠高于氣體，單位溫度變化所需吸收/放出的熱量遠大于空氣，使散熱效率得到極大提升。以水為例，其每單位體積所傳輸?shù)臒崃考瓷?500熱問題。此外，由液冷代替風冷，去除了風機的應用，降低了整個冷卻系統(tǒng)的設備運行能耗。某典型節(jié)點采用CPU、內存冷板覆蓋，80%PUE1.15PUEIBMSuperMUC超算307286016核。充分利用冷板式制冷特點，實現(xiàn)全年自然冷卻，為業(yè)界的綠色HPC（High-performancecomputing）系統(tǒng)標桿。國內，中科院使用冷板式液冷服務器建設了“地球系統(tǒng)數(shù)值模擬裝置原型系統(tǒng)”，不但有效降低了PUE的值，而且也大幅度降低了能源消耗，在一定程度上提升了計算性能。高可靠：科學合理場景設計確保系統(tǒng)可靠穩(wěn)定運行液冷系統(tǒng)內部的冷卻液體是維持其正常運行的關鍵因素之一，專業(yè)的防漏設計和運行管理對于冷板式液冷系統(tǒng)的穩(wěn)定性具有十分重要的意義。經過多年的發(fā)展和改進，冷板式液冷技術可靠性已得到了很好的保障，防漏液設計、漏液全監(jiān)控、故障管理等安全防護措施能夠多角度、全方位防范故障風險，確保系統(tǒng)設備在安全穩(wěn)定的環(huán)境下運行，保護環(huán)境及人員安全。冷板式液冷系統(tǒng)采用三級防漏液設計，通過節(jié)點、機柜和機房三級防漏液設計，確保零漏液事故發(fā)生。節(jié)點底座全密封，能夠導流和及時疏導漏液，防止漏液影響其他節(jié)點；機柜采用快接頭漏液噴射設計，配備自動控制制冷液的電磁閥；機房采用雙環(huán)路設計，保證單個機柜漏液隔離后不會影響其他機柜的正常運行。冷板式液冷系統(tǒng)可以實現(xiàn)漏液全監(jiān)控。整機柜具備三級漏液檢測能力，實現(xiàn)漏液的精細化告警。節(jié)點使用水浸繩套管檢測漏液，并通過漏液檢測板上報BMC（BoardManagementController）分流器裝有光電式漏液傳感器，分別在進水和出水處，通過RMU（RingMainUint）監(jiān)控告警上報網(wǎng)管平臺；風液換熱器（液冷門）通過浮子監(jiān)控冷硬水位，通過RMU通過AIAI術，冷板式液冷系統(tǒng)具備故障預測、診斷和自愈能力，從救火式運維過渡到運籌帷幄。案例表明，通過以上技術，可提前7-30天預測風險硬盤，實現(xiàn)高達93%準確率的診斷率，實現(xiàn)預診愈一體化，降低50%宕機率4。低能耗：創(chuàng)新節(jié)能技術引導算力中心綠色低碳發(fā)展算力中心耗電量巨大，節(jié)能存在較大優(yōu)化空間。算力中心耗電2021年全國算力中心的耗電總量為2022年我國算力中心能耗總量1300同比增長16%2030年，能耗總量將達到約3800180016001400120010008006004002000

1500 1300 1116 939 8242019 2020 2021 2022 2023來源：中國信息通信研究院圖72019-2023年我國算力中心耗電量（億千瓦時）算力中心作為耗電大戶，只有一小部分電能是供給IT負荷，其主要能耗來自于散熱系統(tǒng)。通過冷板式液冷技術取代風扇、空調等不間斷耗電的風冷方式，能夠大大降低整個算力中心的能源消耗，極大降低PUE值。冷板式液冷技術通過利用冷量分配、精確控溫、4來源：ODCC《冷板式液冷服務器可靠性白皮書》溫水冷卻及余熱回收等一系列節(jié)能技術，顯著降低算力中心的用電量，實現(xiàn)能源的高效利用。冷板式液冷技術通過冷量分配單元將低溫冷卻液直接供給發(fā)熱元器件，冷卻液快速高效地吸收服務器產生的熱量，有效縮短了傳熱路徑，提高系統(tǒng)冷卻效率。相較于傳統(tǒng)的空氣冷卻系統(tǒng)，冷板式液冷系統(tǒng)減少了對空氣進行大范圍冷卻的需求，能夠實現(xiàn)對溫度的精確控制從而大大降低算力中心的冷卻能耗。此外，冷板式液冷技55-60℃并且，由于其回水溫度可達55℃以上，熱品質較高，可采用余熱回收技術對熱能進行再利用。溫水液冷減少制冷系統(tǒng)的散熱負荷，余熱回收降低總功耗水平，二者協(xié)同可大幅降低算力中心的能源消耗。除制冷系統(tǒng)自身的能耗降低外，采用冷板式液冷散熱有利于進一步降低芯片溫度，芯片溫度降低帶來更高的可靠性和更低的能耗，整機5%。易維護：一體化服務器機柜實現(xiàn)自動智能極簡運維隨著技術的發(fā)展和需求的增長，算力中心的規(guī)模越來越大，應用和系統(tǒng)環(huán)境也變得越來越復雜，需要更多的人力和技術支持來保障算力中心的穩(wěn)定性和安全性。冷板式液冷一體化機柜憑借部署快速、運維方便等優(yōu)勢受到市場的廣泛認可。通過一體化設計，液冷整機柜服務器的零線纜自動化運維、高效部件更換、快速整機柜交付、高效管路設計以及智能運維能力等特性，使得維護變得更便捷，部署更加快速，運維更高效，同時減少了維護成本和人工投入。這些優(yōu)勢使得液冷整機柜服務器成為算力中心可靠運行和未來發(fā)展的理想選擇。液冷整機柜服務器通過液冷水路、供電和交換網(wǎng)絡三總線全盲插設計，實現(xiàn)零線纜自動化運維，大大簡化了維護過程，降低了故障風險。液冷整機柜在生產線上進行安裝、測試和調試后，可直接交付至客戶機房，實現(xiàn)現(xiàn)場零安裝，交付周期縮短至數(shù)天。二次側管路采用模塊化設計，工廠完成組件化預制，現(xiàn)場交付時無需進行焊接和沖洗，效率可50%，大大加快了部署和啟用的速度。另外，U網(wǎng)管集成以及智能管理等特性，在簡化運維流程的同時提升了運維效率。某算力中心液冷水路方案采用盲插快接頭設計，服務器節(jié)點的冷板進出水與機柜manifold使用盲插快接頭連接，供電方案采用+48VBusbar設計，通過機柜Busbarcablecablecable現(xiàn)水路、供電、交換網(wǎng)絡三總線全盲插設計，支持即插即用，簡化易改造：靈活可操作性優(yōu)勢助力老舊機房改造升級面對當下日益收緊的能耗要求和政策，傳統(tǒng)的算力中心面臨著巨大的挑戰(zhàn)。為了滿足能源節(jié)約和環(huán)境保護的需求，算力中心運營商必須采取行之有效的措施。其中，風-液改造以其顯著的經濟性、高效的能源利用和出色的性能表現(xiàn)，成為引人矚目的解決方案，為算力中心運營商提供了一條切實可行的路徑，以適應當下的能耗要求和環(huán)保挑戰(zhàn)。通過將部分或全部服務器的散熱方式從傳統(tǒng)的風冷技術轉變?yōu)镻UE值，從而減少總能耗。此舉不僅有助于滿足能耗要求，還能提高服務器的散熱效率，提高計算能力，同時降低風扇噪音和空氣流動所帶來的問題，提升服務器的穩(wěn)定性和可靠性。然而，風-液改造也需要克服一系列挑戰(zhàn)，包括液冷系統(tǒng)設計和維護成本，適應現(xiàn)有基礎設施改造，以及應對潛在液體泄漏等風險。因此，在實施風-液改造時，算力中心運營商需要全面考慮技術、經濟和安全等方面的因素，以目前算力中心所采用的液冷技術主要分為冷板式液冷、噴淋式液冷和浸沒式液冷三種。噴淋式液冷將冷卻介質以噴淋的形式釋放到服務器的熱源上，通過蒸發(fā)吸收熱量來實現(xiàn)散熱。浸沒式液冷是將整個服務器或服務器組件完全浸入液冷劑中，通過直接接觸來散熱。噴淋式和浸沒式液冷技術相較于冷板式液冷，在極高功率密度的情況下可以實現(xiàn)更高的散熱效率。然而，噴淋式和浸沒式液冷技術在實施和維護上相對復雜，涉及更多的安全和環(huán)境考慮，同時也需要更多的成本投入。相較于直接接觸式液冷技術，冷板式液冷的優(yōu)勢在于更好的材料兼容性及簡便的改裝方式。首先，冷板式液冷技術對發(fā)熱器件具有更好的材料兼容性。在冷板式液冷系統(tǒng)中，冷卻液只在冷板管路中流動，不直接接觸服務器主板和發(fā)熱器件，因此不需要對主板和發(fā)熱器件進行特殊的材料設計。在選擇冷卻液時，只需考慮冷卻液與循環(huán)管路和冷板之間的兼容性。這使得冷板式液冷技術更加靈活適用于各類服務器設備，無需進行大規(guī)模的硬件改動。例如，美國服務器制造商Supermicro就采用冷板式液冷技術進行改造，在其服務器上實現(xiàn)了高效的散熱和能耗降低。相比之下，浸沒式液冷技術要求服務器主板和發(fā)熱器件必須能夠在液冷劑中完全浸泡，對材料的選擇更為嚴苛，并且需要特殊設計，導致了制造成本的增加和技術復雜性的提升。其次，冷板式液冷技術改裝簡便。該技術不改變服務器主板的原有形態(tài)，而是在保留現(xiàn)有主板的基礎上進行改裝。這種改裝方式不僅拆卸簡單、安裝方便，而且在技術、產業(yè)以及規(guī)?；a上具有更好的可行性。由于其不需要對主板進行重大修改或替換，不僅使得冷板式液冷技術的安裝和維護更加簡單和方便，同時也降低了技術和產業(yè)規(guī)?；a的難度。相比之下，浸沒式液冷技術通常需要設計專門的液冷主板，以適應其完全浸泡的特性，這無疑增加了技術和制造成本。依托以上優(yōu)勢，冷板式液冷技術在實際應用中更為便捷和經濟，成為老舊機房風-液改造升級的首選技術。以阿里巴巴為例，該集團在“杭州五區(qū)的老舊機房改造升級項目中采用了冷板式液冷技術對舊有的空氣冷卻系統(tǒng)進行改造，以適應新的高密度計算需求。通過冷板式液冷技術的靈活可操作性，阿里巴巴實現(xiàn)了算力中心的高效運行。改造后的算力中心能夠實現(xiàn)更高的計算能力，計算節(jié)點密度510kW50kW。30%三、算力中心冷板式液冷典型應用案例超聚變、京東、英特爾等企業(yè)紛紛致力于推動綠色算力中心的發(fā)展，積極構建快速、高效、節(jié)能的冷板式液冷商用方案，并落地了一批算力中心應用具體案例。（一）基于英特爾?架構的超聚變冷板式液冷解決方案超聚變數(shù)字技術有限公司經過10年可靠性積累，170余項可靠性測試，已經成功在國內外交付商用液冷服務器50000+臺，商用案例涉及互聯(lián)網(wǎng)、高校、政企、超算、金融等領域。打造整創(chuàng)新架構整機柜液冷服務器?；诘谌⑻貭?至強?可擴展處理器打造創(chuàng)新架構整機柜液冷服務器，整機柜使用機柜“上走電下走水”架構，原生液冷設計實現(xiàn)天然可靠性保障，支持100%液冷散熱，PUE達1.10以下，優(yōu)于國家對大型算力中心樞紐節(jié)點要求；整機柜支持高密部署，可支持144個CPU，同時機房免冷機部署，空間利用率再提升20%；業(yè)界首創(chuàng)液、網(wǎng)、電三總線盲插，機柜內0線纜部署，支持機房向機器人運維演進，配套超聚變智能運維管理軟件，業(yè)務上線效率提升10倍以上。智能運維軟件配合英特爾智慧節(jié)能方案，實現(xiàn)芯片級節(jié)能減碳。英特爾智慧節(jié)能方案依托英特爾?人工智能方案和服務器平臺技術，采用智能遙測(Intelligent、基于Chronos可擴展平臺的能效控制、基于容器運行時接口的資源管理器（CRI-RM）動態(tài)資源管理策略等，實現(xiàn)對英特爾?至強?可擴展處理器的各種運行指標的智能遙測，并在提供可視化監(jiān)視支持的同時，將遙測數(shù)據(jù)輸入到閉環(huán)控制邏輯之中，在操作系統(tǒng)層面、處理器能效級別、處理器能級狀態(tài)進行細粒度控制，進而針對不同場景實現(xiàn)能效優(yōu)化。第四代英特爾?至強可擴展處理器采用CPU內置加速器的創(chuàng)新方式，大幅推動算力與能效雙維度增長，具備可持續(xù)發(fā)展特性，內置的能耗優(yōu)化模式（piizderd可以很方便地在BIOS（BasicInputOutputSystem）20%5%。通過架構創(chuàng)新和整機工程技術創(chuàng)新打造最佳的商用液冷方案。超聚變致力為客戶提供綠色節(jié)能算力，為東數(shù)西算主要樞紐節(jié)點提供優(yōu)質方案。以國內某液冷算力中心工程為例，該項目實際布署超聚變液冷節(jié)點超萬個，一舉成為全球最大液冷集群。經統(tǒng)計，該項目CostofOwnership）30%100%，來源：中國信通院云計算與大數(shù)據(jù)研究所圖8某大型冷板式液冷算力中心項目效果圖（二）基于英特爾?架構的京東云綠色算力中心高密度算力方案業(yè)務