電信運(yùn)營(yíng)商液冷技術(shù)白皮書

電運(yùn)商冷術(shù)皮書Liqudoolinghnoogyhitepapr（2023年）2前 言2前言我國(guó)數(shù)字經(jīng)濟(jì)蓬勃發(fā)展AI智算需求高速增長(zhǎng)新型數(shù)智化應(yīng)用日新月異高密高算力等多樣性算力基礎(chǔ)設(shè)施持續(xù)發(fā)展推動(dòng)液冷新需求同時(shí)“雙碳”宏觀形勢(shì)下，政府部門對(duì)數(shù)據(jù)中心PUE(電能利用效率)監(jiān)管日益趨嚴(yán)。液冷技術(shù)的出現(xiàn)改善了傳統(tǒng)風(fēng)冷的散熱形式更能滿足高密機(jī)柜芯片級(jí)精確制冷更節(jié)能更節(jié)地噪聲低液冷技術(shù)在國(guó)內(nèi)外發(fā)展已有十余年但當(dāng)前生態(tài)不完善各家產(chǎn)品形態(tài)各異產(chǎn)品規(guī)范化程度較低機(jī)柜與服務(wù)器深度耦合尚無(wú)統(tǒng)一接口標(biāo)準(zhǔn)難以標(biāo)準(zhǔn)化規(guī)?；茝V應(yīng)用推廣液冷技術(shù)需要集思廣益、凝聚共識(shí)，完善液冷產(chǎn)業(yè)標(biāo)準(zhǔn)化和生態(tài)建設(shè)、促進(jìn)液冷技術(shù)有序發(fā)展開辟數(shù)據(jù)中心液冷行業(yè)高質(zhì)量發(fā)展道路。作為建設(shè)網(wǎng)絡(luò)強(qiáng)國(guó)數(shù)字中國(guó)智慧社會(huì)的國(guó)家隊(duì)與主力軍中國(guó)移動(dòng)中國(guó)電信、中國(guó)聯(lián)通全面貫徹落實(shí)新發(fā)展理念，服務(wù)新發(fā)展格局，凝聚行業(yè)合力發(fā)揮規(guī)模優(yōu)勢(shì)共同聯(lián)合產(chǎn)學(xué)研用上下游強(qiáng)化技術(shù)攻關(guān)共同推進(jìn)液冷基礎(chǔ)設(shè)施側(cè)與主設(shè)備側(cè)的解耦探索機(jī)柜與服務(wù)器間接口的統(tǒng)一及標(biāo)準(zhǔn)化旨在構(gòu)筑技術(shù)領(lǐng)先開放共享自主可控成本最優(yōu)合作共贏“新生態(tài)推進(jìn)冷板式液冷形成擁有原創(chuàng)技術(shù)、接口標(biāo)準(zhǔn)統(tǒng)一、產(chǎn)業(yè)生態(tài)完善、規(guī)模應(yīng)用的發(fā)展態(tài)勢(shì)推進(jìn)浸沒式液冷形成標(biāo)準(zhǔn)統(tǒng)一化產(chǎn)品國(guó)產(chǎn)化實(shí)施工程化推廣規(guī)?；陌l(fā)展格局推動(dòng)建立并完善數(shù)據(jù)中心液冷技術(shù)生態(tài)系統(tǒng)持續(xù)降低數(shù)據(jù)中心能耗強(qiáng)度和碳排放強(qiáng)度，促進(jìn)經(jīng)濟(jì)社會(huì)綠色轉(zhuǎn)型，助力盡早實(shí)現(xiàn)碳達(dá)峰、碳中和目標(biāo)。目錄發(fā)回顧 1臨 1高高力礎(chǔ)推動(dòng)冷需求 1政對(duì)據(jù)心監(jiān)管益 1展 2國(guó)外展 2當(dāng)液技術(shù) 3內(nèi) 3中移動(dòng) 3中電信 5中聯(lián)通 7業(yè) 8產(chǎn)鏈 8產(chǎn)鏈 8產(chǎn)鏈 8展 9目藍(lán)圖 9年 9術(shù) 10態(tài) 11技方案 11板液冷 11服器機(jī)解耦 11DU形式 13供模塊 14冷液 14沒液冷 161系方案 1612冷 172推計(jì)劃 19定 19冷式 19單浸式 19試 19冷式 19單浸式 19模 19展倡議 20縮略列表 21參考獻(xiàn) 22發(fā)展回顧面臨形勢(shì)密高算力基礎(chǔ)設(shè)施推動(dòng)液冷新需密高算力基礎(chǔ)設(shè)施推動(dòng)液冷新需我國(guó)數(shù)字經(jīng)濟(jì)正在轉(zhuǎn)向深化應(yīng)用規(guī)范發(fā)展普惠共享的新階段當(dāng)前新型應(yīng)用日新月異A智算紛紛提前布局高密高算力等多樣性算力基礎(chǔ)設(shè)施持續(xù)發(fā)展作為建設(shè)網(wǎng)絡(luò)強(qiáng)國(guó)數(shù)字中國(guó)智慧社會(huì)的國(guó)家隊(duì)與主力軍中國(guó)移動(dòng)、中國(guó)電信、中國(guó)聯(lián)通積極推動(dòng)智算等高算力建設(shè)，推進(jìn)人工智能、元宇宙圖形渲染等計(jì)算密集型業(yè)務(wù)發(fā)展。計(jì)算型節(jié)點(diǎn)、AI訓(xùn)練、超算等高算力業(yè)務(wù)需求持續(xù)推升芯片性能功率與服務(wù)器功率不斷提高液冷技術(shù)利用液體較高的比熱容和換熱能力可以支撐更高功率散熱，正在逐步成為新型制冷需求。為促進(jìn)液冷技術(shù)發(fā)展推進(jìn)國(guó)家地方及行業(yè)推出相關(guān)政策引導(dǎo)液冷技術(shù)地應(yīng)用。2021年5月發(fā)改委、工信部等部門聯(lián)合發(fā)布的《全國(guó)一體化大數(shù)據(jù)心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案》中要求“推動(dòng)數(shù)據(jù)中心采用液冷、機(jī)柜模塊化余熱回收利用等節(jié)能技術(shù)模式2021年7月工信《新型數(shù)據(jù)中心發(fā)展年行動(dòng)計(jì)（20212023年要求加強(qiáng)核心技術(shù)研發(fā)鼓勵(lì)企業(yè)加大技術(shù)研投入，開展新型數(shù)據(jù)中心預(yù)制化、液冷等設(shè)施層，專用服務(wù)器、存儲(chǔ)陣列等層，總線級(jí)超融合網(wǎng)絡(luò)等網(wǎng)絡(luò)層的技術(shù)研發(fā)。2021年1月發(fā)改委《貫徹落碳達(dá)峰碳中和目標(biāo)要求推動(dòng)數(shù)據(jù)中心和5G等新型基礎(chǔ)設(shè)施綠色高質(zhì)量發(fā)展施方案》明確支持采用液冷等方式。府對(duì)數(shù)據(jù)中心能效監(jiān)管日益趨府對(duì)數(shù)據(jù)中心能效監(jiān)管日益趨數(shù)據(jù)中心是數(shù)據(jù)流接收處理存儲(chǔ)與轉(zhuǎn)發(fā)的“中樞大腦為激活數(shù)據(jù)要潛能不斷做強(qiáng)做優(yōu)做大數(shù)字經(jīng)濟(jì)發(fā)展我國(guó)正加快構(gòu)建新型數(shù)據(jù)中心基礎(chǔ)設(shè)體系同時(shí)在雙碳”宏觀形勢(shì)下政府部門近年陸續(xù)出臺(tái)多項(xiàng)文件對(duì)數(shù)據(jù)心P電能利用效率)監(jiān)管要求不斷提高、達(dá)標(biāo)時(shí)間不斷提前。2021年7月工信部印《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)（20212023年（工信部通信〔2021〕76號(hào)），明確到2023年底，新建大型及以上數(shù)據(jù)中PE降低到1.3以下，嚴(yán)寒寒冷地區(qū)力爭(zhēng)降低到1.25以內(nèi)。2021年1月發(fā)委印發(fā)《貫徹落實(shí)碳達(dá)峰碳中和目標(biāo)要求推動(dòng)數(shù)據(jù)中心和5G等新型基礎(chǔ)設(shè)綠色高質(zhì)量發(fā)展實(shí)施方案》（發(fā)改高技〔2021〕1742號(hào)），明確到2025年新建大型超大型數(shù)據(jù)中心PE降到1.3以下國(guó)家樞紐節(jié)點(diǎn)降至1.25以下年1月發(fā)改委同意啟動(dòng)建設(shè)全國(guó)一體化算力網(wǎng)絡(luò)國(guó)家樞紐節(jié)點(diǎn)的系列復(fù)函中明確要求國(guó)家算力東、西部樞紐節(jié)點(diǎn)數(shù)據(jù)中心PE分別控制在1.25、1.2以下。液冷技術(shù)通過冷卻液體替代傳統(tǒng)空氣散熱液體與服務(wù)器高效熱交換提效率，挖潛自然冷源，降低P，逐步成為一種新型制冷解決方案。發(fā)展現(xiàn)1.發(fā)展現(xiàn)內(nèi)外發(fā)展歷程我國(guó)液冷技術(shù)起步稍晚于國(guó)外但起步后發(fā)展迅速后期與國(guó)外發(fā)展進(jìn)程本同步，并且在液冷規(guī)模試點(diǎn)應(yīng)用方面積累了豐富經(jīng)驗(yàn)。前液冷技術(shù)液冷技術(shù)主要包括冷板式液冷浸沒式液冷和噴淋式液冷技術(shù)三種冷板液冷是服務(wù)器芯片等高發(fā)熱元件的熱量通過冷板間接傳遞給液體進(jìn)行散熱低熱元件仍通過風(fēng)冷散熱的一種方式浸沒式液冷是服務(wù)器完全浸入冷卻液中部發(fā)熱元件熱量直接傳遞給冷卻液通過冷卻液循環(huán)流動(dòng)或蒸發(fā)冷凝相變進(jìn)行熱的一種方式其中冷卻液循環(huán)流動(dòng)的方式為單相浸沒式液冷冷卻液蒸發(fā)凝相變的方式為相變浸沒式液冷相變浸沒式液冷控制更復(fù)雜要求更高噴式液冷是用冷卻液直接噴淋芯片等發(fā)熱單元，通過對(duì)流換熱進(jìn)行散熱的一種方式。當(dāng)前，冷板式液冷、單相浸沒式液冷為主要形式。業(yè)內(nèi)實(shí)1.業(yè)內(nèi)實(shí)國(guó)移動(dòng)多年來(lái)中國(guó)移動(dòng)持續(xù)推動(dòng)綠色轉(zhuǎn)型加強(qiáng)節(jié)能技術(shù)創(chuàng)新主持或參與編制準(zhǔn)，探索研究液冷技術(shù)，開展先行試點(diǎn)應(yīng)用，后續(xù)將進(jìn)入規(guī)模試點(diǎn)新階段。標(biāo)準(zhǔn)編制2018年至今主持或作為主要單位編制了工業(yè)與信息化部中國(guó)通信標(biāo)準(zhǔn)協(xié)會(huì)中國(guó)電子學(xué)會(huì)開放數(shù)據(jù)中心標(biāo)準(zhǔn)推進(jìn)委員會(huì)等數(shù)十項(xiàng)液冷相關(guān)標(biāo)準(zhǔn)中參與編制的《數(shù)據(jù)中心液冷服務(wù)器系統(tǒng)總體技術(shù)要求和測(cè)試方法》等團(tuán)體標(biāo)準(zhǔn)6項(xiàng)”榮獲2021年度中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)科學(xué)技術(shù)獎(jiǎng)二等獎(jiǎng)2021年作為要參與單位編制液冷行業(yè)首批共5項(xiàng)行業(yè)標(biāo)準(zhǔn)，填補(bǔ)了行業(yè)空白。應(yīng)用實(shí)踐針對(duì)冷板式液冷與浸沒式液冷主動(dòng)布局按步驟分階段積極在數(shù)據(jù)中心與5G基站等場(chǎng)所開展了液冷系統(tǒng)試點(diǎn)應(yīng)用，對(duì)液冷技術(shù)的安全性、穩(wěn)定性節(jié)能性等進(jìn)行測(cè)試驗(yàn)證。前期探索階段，2012年在南方基地開展數(shù)據(jù)中心雙通道散熱關(guān)鍵技術(shù)及用研究申請(qǐng)專利94（其中發(fā)明48項(xiàng),實(shí)用新型46項(xiàng)設(shè)標(biāo)準(zhǔn)與規(guī)范項(xiàng)、軟件著作權(quán)1項(xiàng)、發(fā)表論文23篇。目前已穩(wěn)定運(yùn)行近10年，年均PE保持在1.2以下。 圖1中移南基液雙道板冷究實(shí)踐先行試點(diǎn)階段2017年在呼和浩特組織熱管水冷兩級(jí)熱管和水冷冷板等種冷板式液冷測(cè)試。20192021年在河北、山東組織核心路由器液冷、江蘇組5GBU浸沒式液冷、浙江組織匯聚機(jī)房浸沒式液冷試點(diǎn)。圖2中移動(dòng)和浩冷板式冷測(cè)試圖3中移動(dòng)G基相浸式冷 圖4中移匯機(jī)單相沒液試點(diǎn)規(guī)模試點(diǎn)階段2023年中國(guó)移動(dòng)在呼和浩特?cái)?shù)據(jù)中心國(guó)家發(fā)改委綠色節(jié)能范項(xiàng)目以及智算中心項(xiàng)目中啟動(dòng)液冷規(guī)模試點(diǎn)。國(guó)電信中國(guó)電信深入開展數(shù)據(jù)中心綠色低碳化建設(shè)，大力推進(jìn)“要素升級(jí)、集成新，突出創(chuàng)新發(fā)展、低碳發(fā)展，積極開展液冷技術(shù)研究和試點(diǎn)試用。技術(shù)研究準(zhǔn)確把握技術(shù)演進(jìn)方向，積極開展液冷應(yīng)用研討分析。2019年，在貴州行大容量路由器冷板式液冷研究和測(cè)試采用國(guó)產(chǎn)氟化液作為冷卻液室外干器為冷源。路由器總功率為18KW，70板卡器件由冷板式液冷散熱，30器由風(fēng)冷散熱經(jīng)2年跟蹤測(cè)試在二次側(cè)液冷系統(tǒng)供液45室外環(huán)境條件下，液冷運(yùn)行PE運(yùn)行約1.15，項(xiàng)目2021年獲得2021信息通信產(chǎn)業(yè)創(chuàng)貢獻(xiàn)獎(jiǎng)（CT最佳案例）。試點(diǎn)應(yīng)

圖5中電貴冷液冷由試點(diǎn)在5GBU站點(diǎn)及數(shù)據(jù)中心機(jī)房積極進(jìn)行液冷試點(diǎn)應(yīng)用。5GBU液冷系統(tǒng)應(yīng)用方面，針對(duì)5GBU發(fā)熱量大、散熱難的突出問題，率先開展5GBU噴淋式液冷降溫散熱技術(shù)研究，并獲取了國(guó)家發(fā)明專利2項(xiàng)。2020年10月啟用首個(gè)試驗(yàn)點(diǎn)上線2個(gè)液冷機(jī)柜經(jīng)長(zhǎng)期測(cè)試輕負(fù)載率條件下PE值約1.246，滿負(fù)載率條件下PE值約1.15。5GBU服務(wù)器試點(diǎn)應(yīng)用浸沒液冷技術(shù)在安徽浙江福建上海江蘇等分批實(shí)施規(guī)?；瘧?yīng)用部署圖6中電信GU柜液試點(diǎn)數(shù)據(jù)中心液冷應(yīng)用方面，在高密度機(jī)房開展試點(diǎn)應(yīng)用。2018年3月，在州安裝冷板式液冷微模（2列服務(wù)器機(jī)柜和風(fēng)冷微模塊各1個(gè)液冷微模PE值約1.2風(fēng)冷微模塊PE值約1.4冷板式液冷節(jié)能效果明顯2023年計(jì)劃在京津冀數(shù)據(jù)中心實(shí)施30個(gè)液冷服務(wù)器機(jī)柜；計(jì)劃在安徽建設(shè)3列，每列臺(tái)36KW冷板式液冷機(jī)柜，預(yù)留8臺(tái)40KW浸沒式液冷機(jī)柜；在廣州開展1冷板式液冷服務(wù)器項(xiàng)目。圖7中電廣數(shù)心冷式冷模試點(diǎn)國(guó)聯(lián)通中國(guó)聯(lián)通根據(jù)發(fā)展需求和T設(shè)備單機(jī)功耗變化特點(diǎn)，積極響應(yīng)國(guó)家綠色節(jié)能低碳政策要求主動(dòng)開展液冷基礎(chǔ)理論技術(shù)產(chǎn)品設(shè)備實(shí)際使用方面的研究交流，并結(jié)合實(shí)際進(jìn)行液冷技術(shù)探索與應(yīng)用。理論研究數(shù)據(jù)中心間接冷板式液冷研究方面研究不同冷板形式一次冷卻過程阻分布以及冷板結(jié)構(gòu)參數(shù)冷卻液流量對(duì)散熱效果影響總結(jié)關(guān)鍵部件主要響因素，提出設(shè)計(jì)與運(yùn)行建議。數(shù)據(jù)中心直接浸沒式噴淋式液冷研究方面研究強(qiáng)化傳熱方式分析液冷強(qiáng)化散熱的結(jié)構(gòu)設(shè)計(jì)如熱沉參數(shù)對(duì)換熱性能的影響研究冷池及噴淋結(jié)構(gòu)設(shè)計(jì)總結(jié)不同冷卻液的物化特性不同形態(tài)的傳熱性能提出強(qiáng)化換熱設(shè)計(jì)方案服務(wù)器芯片發(fā)展趨勢(shì)及液冷技術(shù)適用性方面研究芯片制造工藝與工作度相互作用，研究不同液冷技術(shù)必要性及適應(yīng)性，為建立“冷卻-能耗”模型提供理論基礎(chǔ)。試點(diǎn)應(yīng)用數(shù)據(jù)中心試點(diǎn)應(yīng)用方面在德清云數(shù)據(jù)基地DC機(jī)房高功率機(jī)房安裝柜32架，采用冷板式液冷，進(jìn)出水溫度為15/32，2021年6月投產(chǎn)，已穩(wěn)運(yùn)行近兩年，制冷效果良好。BU集中機(jī)房液冷試點(diǎn)應(yīng)用方面2021年10月在鄭州開展9臺(tái)5G設(shè)備液冷噴淋測(cè)試，配置一套10kW液冷機(jī)柜，并同步與風(fēng)冷測(cè)試。風(fēng)冷機(jī)PE為1.448，液冷機(jī)柜PE為1.254。如考慮液冷模式下主設(shè)備BU取消風(fēng)扇因素則U液冷系統(tǒng)PE值約為1.1（扣除主設(shè)備風(fēng)扇影響芯片溫較風(fēng)冷低1020度，壽命更長(zhǎng)。產(chǎn)業(yè)生1.產(chǎn)業(yè)生液冷產(chǎn)業(yè)生態(tài)涉及產(chǎn)業(yè)鏈上中下游包括上游的產(chǎn)品零部件提供商中游液冷服務(wù)器提供商及下游的算力使用者。業(yè)鏈上1.4.業(yè)鏈上上游主要為產(chǎn)品零部件及液冷設(shè)備包括快速接頭C電磁閥浸沒液冷Amaniold冷卻液等組件或產(chǎn)品供應(yīng)商部分代表廠商有英維克3M云酷、競(jìng)鼎、諾亞、廣東合一、綠色云圖等。業(yè)鏈中1.4.業(yè)鏈中中游主要為液冷服務(wù)器芯片廠商以及液冷集成設(shè)施模塊與機(jī)柜等部代表廠商有華為、中興、浪潮、曙光、新華三、聯(lián)想、超聚變、英特爾等。業(yè)鏈下1.4.業(yè)鏈下下游主要包括三家電信運(yùn)營(yíng)商百度阿里巴巴騰訊京東等互聯(lián)網(wǎng)企以及信息化行業(yè)應(yīng)用客戶主要在電信信息互聯(lián)網(wǎng)政府金融交通和能等信息化應(yīng)用目前阿里巴巴以單相浸沒式液冷為主要發(fā)展方向其他用戶冷板式液冷試點(diǎn)應(yīng)用居多。發(fā)展挑1.發(fā)展挑液冷產(chǎn)業(yè)生態(tài)尚不成熟目前業(yè)內(nèi)尚無(wú)服務(wù)器與機(jī)柜統(tǒng)一接口規(guī)范標(biāo)準(zhǔn)機(jī)柜與服務(wù)器深度耦合家服務(wù)器設(shè)備冷卻液制冷管路供配電等產(chǎn)品形態(tài)各異不同廠家產(chǎn)品接不同、不能互相兼容，勢(shì)必限制競(jìng)爭(zhēng)，影響產(chǎn)業(yè)高質(zhì)量發(fā)展。液冷系統(tǒng)架構(gòu)尚在演進(jìn)當(dāng)前業(yè)內(nèi)液冷系統(tǒng)架構(gòu)不同制冷與供電存在分布式集中式不同架構(gòu)分廠家服務(wù)器已演進(jìn)為高溫服務(wù)器可減配冷水機(jī)組進(jìn)一步簡(jiǎn)化冷源架構(gòu)進(jìn)降本增效。液冷系統(tǒng)成本仍較高與傳統(tǒng)風(fēng)冷產(chǎn)品比較，液冷仍存在初期投資高、全生命周期成本高等問題影響產(chǎn)品的規(guī)模應(yīng)用與推廣。目標(biāo)藍(lán)圖三年愿2.三年愿電信運(yùn)營(yíng)商共同聯(lián)合產(chǎn)學(xué)研上下游凝聚行業(yè)合力強(qiáng)攻關(guān)構(gòu)生態(tài)拓應(yīng)用強(qiáng)化原創(chuàng)性引領(lǐng)型關(guān)鍵核心技術(shù)攻關(guān)全力打造高水平液冷生態(tài)鏈構(gòu)筑開放生態(tài)推進(jìn)液冷機(jī)柜與服務(wù)器解耦引領(lǐng)形成統(tǒng)一標(biāo)準(zhǔn)既要降低P（數(shù)據(jù)中心電能利用效率），又要獲取最低TCO（全生命周期成本）；發(fā)揮規(guī)模優(yōu)勢(shì)，大力拓展應(yīng)用。冷板式液冷方面，推進(jìn)形成擁有原創(chuàng)技術(shù)、接口標(biāo)準(zhǔn)統(tǒng)一產(chǎn)業(yè)生態(tài)完善應(yīng)用規(guī)模最大的發(fā)展態(tài)勢(shì)浸沒式液冷方面推進(jìn)形成標(biāo)準(zhǔn)統(tǒng)一化、產(chǎn)品國(guó)產(chǎn)化、實(shí)施工程化、推廣規(guī)?；陌l(fā)展格局。2023年開展技術(shù)驗(yàn)證，充分驗(yàn)證液冷技術(shù)性能，降低P，儲(chǔ)備規(guī)劃、建設(shè)與維護(hù)等技術(shù)能力；2024年開展規(guī)模測(cè)試，推進(jìn)液冷機(jī)柜與服務(wù)器解耦，促進(jìn)競(jìng)爭(zhēng)推進(jìn)產(chǎn)業(yè)生態(tài)成熟降低全生命周期成本至2025年開展規(guī)模應(yīng)用共同推進(jìn)形成標(biāo)準(zhǔn)統(tǒng)一生態(tài)完善成本最優(yōu)規(guī)模應(yīng)用的高質(zhì)量發(fā)展格局電信行業(yè)力爭(zhēng)成為液冷技術(shù)的引領(lǐng)者、產(chǎn)業(yè)鏈的領(lǐng)航者、推廣應(yīng)用的領(lǐng)先者。2023 2024

10%

50%技術(shù)路線2.技術(shù)路線在芯片演進(jìn)趨勢(shì)上，芯片TDP設(shè)計(jì)功耗不斷增長(zhǎng)，單個(gè)CPU功耗已達(dá)350W單個(gè)U功耗已達(dá)到500W未來(lái)將持續(xù)增長(zhǎng)目前各液冷技術(shù)均可滿足未來(lái)較長(zhǎng)時(shí)間芯片散熱需求并有進(jìn)一步提升空間如冷板式液冷可減小觸熱阻、微通道設(shè)計(jì)等加強(qiáng)換熱，浸沒及噴淋式液冷可改善流場(chǎng)等。在液冷方案演進(jìn)上現(xiàn)階段冷板式液冷無(wú)法解決服務(wù)器全部散熱等問題后續(xù)有望向風(fēng)液融合或全液冷方向演進(jìn)并對(duì)應(yīng)應(yīng)用高溫服務(wù)器或服務(wù)器全部部件增加冷板。浸沒式液冷目前主要存在冷卻液物性要求高、服務(wù)器定制化程度高與現(xiàn)有基礎(chǔ)設(shè)施體系不兼容生態(tài)不完善等問題隨著冷卻液國(guó)產(chǎn)化替代性能的提升流場(chǎng)優(yōu)化不斷完善產(chǎn)業(yè)生態(tài)不斷成熟浸沒式液冷應(yīng)用場(chǎng)景將進(jìn)一步拓展。另外，相變浸沒式液冷控制復(fù)雜、要求高，噴淋式液冷應(yīng)用仍較少。總體來(lái)看冷板式液冷與單相浸沒式液冷各有優(yōu)劣生態(tài)均需完善兩者進(jìn)均尚需時(shí)日未來(lái)一定時(shí)間內(nèi)將并存發(fā)展為當(dāng)前業(yè)內(nèi)發(fā)展主流綜上電運(yùn)營(yíng)商現(xiàn)階段主要推進(jìn)冷板式液冷與單相浸沒式液冷兩種技術(shù)路線。生態(tài)完2.生態(tài)完液冷技術(shù)現(xiàn)階段需求驅(qū)動(dòng)核心是P未來(lái)規(guī)模應(yīng)用關(guān)鍵是TCO”液冷技術(shù)的高質(zhì)量發(fā)展關(guān)鍵在于完善生態(tài)電信運(yùn)營(yíng)商將從傳統(tǒng)意義的單純用戶轉(zhuǎn)變成為液冷生態(tài)的主導(dǎo)者、設(shè)計(jì)者、構(gòu)筑者，吸納產(chǎn)學(xué)研用各界伙伴開展合作凝聚共識(shí)深度協(xié)同創(chuàng)新攻關(guān)融通發(fā)展攜手構(gòu)筑技術(shù)領(lǐng)先開放共享自主可控、成本最優(yōu)、合作共贏的新生態(tài)。聚合力拓寬朋友圈”借助行業(yè)協(xié)會(huì)組織等平臺(tái)融合互聯(lián)網(wǎng)企業(yè)大及科研機(jī)構(gòu)液冷服務(wù)器液冷配套設(shè)施集成商測(cè)試服務(wù)商等上下游等合伙伴。立標(biāo)準(zhǔn)開放新生態(tài)”通過行業(yè)協(xié)會(huì)社會(huì)團(tuán)體等標(biāo)準(zhǔn)化組織爭(zhēng)取將解耦液冷標(biāo)準(zhǔn)升級(jí)為團(tuán)體標(biāo)準(zhǔn)或行業(yè)標(biāo)準(zhǔn)探索接口標(biāo)準(zhǔn)化引領(lǐng)機(jī)柜與服務(wù)器解耦形成開放環(huán)境進(jìn)廠家充分競(jìng)爭(zhēng)推進(jìn)產(chǎn)業(yè)生態(tài)成熟降低產(chǎn)品采購(gòu)成本利于業(yè)務(wù)靈活部署擴(kuò)容，獲取最低TC。技術(shù)方案冷板式液3冷板式液聯(lián)合產(chǎn)業(yè)鏈上游企業(yè)制定標(biāo)準(zhǔn)化接口形成統(tǒng)一標(biāo)準(zhǔn)同時(shí)開展核心技攻關(guān)，爭(zhēng)取實(shí)質(zhì)性突破，推進(jìn)打造解耦液冷機(jī)柜+統(tǒng)一接口服務(wù)器+柔性基礎(chǔ)設(shè)施的開放、先進(jìn)、完善的生態(tài)。務(wù)器與機(jī)柜解3.1.務(wù)器與機(jī)柜解交付模式比較當(dāng)前交付模式包括一體化交付與解耦交付兩種解耦交付是液冷機(jī)柜與液冷服務(wù)器之間遵循用戶統(tǒng)一制定的接口設(shè)計(jì)規(guī)范機(jī)柜與服務(wù)器解耦可由不同廠商交付一體化交付是液冷整機(jī)（包括機(jī)柜和服務(wù)器由廠商自定標(biāo)準(zhǔn)進(jìn)行集成設(shè)計(jì)開發(fā)，整機(jī)柜由同一廠商一體化交付。解耦交付模式更有利于促進(jìn)競(jìng)爭(zhēng)實(shí)現(xiàn)多廠家適配便于后續(xù)靈活部署為推進(jìn)產(chǎn)業(yè)生態(tài)成熟形成統(tǒng)一標(biāo)準(zhǔn)及規(guī)范，從易于推廣、靈活部署、促進(jìn)競(jìng)爭(zhēng)、降低TCO等角度出發(fā)，液冷技術(shù)路應(yīng)采用解耦交付模式。盲插解耦方案對(duì)于手插和盲插由于液冷產(chǎn)品涉及液冷接頭的維護(hù)工作其中手插接頭對(duì)運(yùn)維人員的要求較高插拔操作依賴機(jī)房運(yùn)維人員而盲插液冷接頭插拔具備自動(dòng)化保障盲插快接頭操作方便連接精度高符合未來(lái)自動(dòng)巡檢機(jī)器人運(yùn)維需求因此應(yīng)選用盲插方案并在此基礎(chǔ)上基于解耦理念推進(jìn)服務(wù)器與機(jī)柜盲插統(tǒng)一接口標(biāo)準(zhǔn)化，減少機(jī)柜與服務(wù)器間的限制，可靈活部署，降低成本促進(jìn)液冷技術(shù)規(guī)?；?、產(chǎn)業(yè)化發(fā)展。盲插解耦方案采用標(biāo)準(zhǔn)機(jī)柜盲插制冷管路集中供電模塊可選配分布CU及無(wú)源風(fēng)液換熱器，有效提升功率密度，降低P，節(jié)省布線空間，提上架率。主要內(nèi)容包括：標(biāo)準(zhǔn)機(jī)柜：產(chǎn)品整體為標(biāo)準(zhǔn)機(jī)柜形態(tài)，部署服務(wù)器、交換機(jī)等多類型設(shè)備供冷盲插：服務(wù)器與機(jī)柜僅通過盲插快速接頭連接，無(wú)需軟管。連接簡(jiǎn)單節(jié)省大量布線空間，線纜之間無(wú)交叉，漏點(diǎn)少。供電盲插利用電源框電源模塊供電銅排向機(jī)柜內(nèi)設(shè)備集中供電支盲插操作，無(wú)需電源線纜，節(jié)省布線空間。圖8盲解方案形形冷板式液冷接頭分為集中式CU與分布式CDU兩種布置形式分布式C免二次管路部署適應(yīng)不同機(jī)柜功率場(chǎng)景易與機(jī)柜功耗匹配根據(jù)業(yè)務(wù)上架況隨啟隨用，實(shí)際工程中根據(jù)情況選擇，優(yōu)先采用分布式CU形式。表1集式U與式U集中式分布式布局CU布在柜，柜布置個(gè)D，主CU布在柜部個(gè)機(jī)對(duì)一個(gè)DU組成液冷次冷環(huán)主由C（循環(huán)道分液T設(shè)備、T備內(nèi)配管路組件二冷管系等成液冷次冷環(huán)主由U循環(huán)道分、冷T設(shè)備、T備柜配管組系等組成系統(tǒng)管路連接較多需次管部需考慮二側(cè)量配較二管部支持同特性率級(jí)柜配無(wú)流浪費(fèi)空間利用率較低占機(jī)空間較高集于柜部可維護(hù)性相對(duì)單出故可中診和維影范大二次冷卻循路長(zhǎng)需注冷液潔度相對(duì)多診維故影響圍限單機(jī)內(nèi)卻在機(jī)側(cè)徑有利保凈度。適用場(chǎng)景對(duì)于型超型據(jù)心柜總多應(yīng)集式CU可減少備護(hù)加路維量。用業(yè)需明的場(chǎng)景，柜無(wú)顯冷差。對(duì)中型據(jù)數(shù)量用分式DU也會(huì)過多護(hù)負(fù)擔(dān)同具高集系統(tǒng)潔點(diǎn)可業(yè)需分線可應(yīng)同機(jī)功場(chǎng)，于柜功匹配技術(shù)成熟度較高起較用對(duì)多較高起較，在新應(yīng)用電模3.1.3電模供電模塊包括分布式供電與集中供電兩種模式。集中供電模式將服務(wù)器電源集中起來(lái)部署在機(jī)柜內(nèi)部池化管理統(tǒng)一為服務(wù)器供電，由電源框、供電母排和節(jié)點(diǎn)供電模塊組成。電能損耗小，48V電壓低安全性高服務(wù)器內(nèi)部?jī)H設(shè)置一個(gè)供電模塊節(jié)省服務(wù)器內(nèi)設(shè)備布置空間服務(wù)器內(nèi)器件供電電壓逐步向48V演進(jìn)，與集中供電適配性高，可進(jìn)一步減少服務(wù)器內(nèi)電源轉(zhuǎn)換。業(yè)內(nèi)有多個(gè)廠家可支持集中供電模式。分布供電模式：電源分布在每個(gè)服務(wù)器節(jié)點(diǎn)上，主要由PU和分布在每服務(wù)器節(jié)點(diǎn)上的電源組成。建設(shè)中根據(jù)具體場(chǎng)景選擇，優(yōu)先集中供電模式。項(xiàng)目分布供電模式集中供電模式配置服務(wù)采用2N配的PSU項(xiàng)目分布供電模式集中供電模式配置服務(wù)采用2N配的PSUC轉(zhuǎn)C源機(jī)柜置N流連接每服器用2組交源線纜服務(wù)：用NC轉(zhuǎn)C源機(jī)柜置N源9個(gè)電模，1個(gè)busbr連接每服器1組夾子接纜可靠性兩路源別入NU互份，路障切至外一。兩路源入源故障自切外一，源塊+1份。裝配性安裝護(hù)務(wù)需進(jìn)電源的布放安裝護(hù)務(wù)采盲操作免線裝配單應(yīng)用況常規(guī)用案目前進(jìn)向業(yè)均應(yīng)用業(yè)務(wù)全兩個(gè)U均損響機(jī)電機(jī)柜設(shè)通銅集取電極情下銅排影機(jī)電通云分?jǐn)倓?wù)方，避對(duì)業(yè)的響。、卻液選3.1.卻液選業(yè)內(nèi)選擇有乙二醇溶液丙二醇溶液去離子水等其中華為曙光以乙二醇溶液為主，浪潮、新華三以25丙二醇溶液為主。濃度25%并非定值20%30%均可，濃度不宜過高，影響工質(zhì)流動(dòng)、散熱性能，也不宜過低，無(wú)法起到防凍作用及抑制微生物的作用在濃度20以上時(shí)乙二醇溶液和丙二醇液對(duì)微生物即可起到一定的抑制作用。去離子水具有良好的傳熱性能超低電導(dǎo)率制備工藝成熟無(wú)毒安全可作為冷卻液備選之一但需注意對(duì)冷卻液的維護(hù)去離子水的冰點(diǎn)為0℃需考慮運(yùn)輸儲(chǔ)存短時(shí)機(jī)業(yè)務(wù)量較少服器已安裝未運(yùn)行等情況下防凍問題綜上可根據(jù)工質(zhì)液體熱性能部署所在地的地理位置和氣候等條件綜合慮選用冷卻液。表3冷式冷要液性對(duì)比冷卻液25乙二醇25丙二醇去子水冷卻液行標(biāo)要求沸點(diǎn)198187100-凝固點(diǎn)℃12.710.20-導(dǎo)熱數(shù)W0.510.490.63-比熱容(Jkg)2.3472.4814.2-密度kg)10271014992-運(yùn)動(dòng)2s)1.16851.37080.6552在最使溫下體運(yùn)動(dòng)<502/s散熱能比0.94A0.96AA滿足統(tǒng)定體功率除要求導(dǎo)電性混合質(zhì)導(dǎo)電混合質(zhì)導(dǎo)電混合質(zhì)導(dǎo)電初始體電系數(shù)<300cm毒性有一毒，二醇液服死量16gkg有一毒丙醇原口致死量22gg無(wú)液體許觸濃度>00pp用體要求無(wú)膚觸無(wú)接觸刺激無(wú)胞異響，對(duì)水毒無(wú)響腐蝕性弱腐性需加緩蝕劑弱腐加蝕劑弱腐性需緩蝕劑-環(huán)保性需加稀后排放到水道需加稀后排放到水道環(huán)保直排放臭氧壞能=0材料容性通過加（蝕和菌有抑制路材腐蝕細(xì)的長(zhǎng)通過加緩和殺有抑管路材腐蝕和細(xì)的長(zhǎng)通過持質(zhì)運(yùn)行環(huán)超的電導(dǎo)率抑管路材料的蝕和微生的長(zhǎng)同時(shí)也有加劑（緩和菌）-產(chǎn)業(yè)及本與汽防液用產(chǎn)鏈大應(yīng)用產(chǎn)鏈?zhǔn)?、本低多用食飲等有毒要求的產(chǎn)用圍小成高去離水藝及業(yè)較熟-浸沒式液3浸沒式液統(tǒng)方3.2.1統(tǒng)方T設(shè)備定制化浸沒式液冷需要密封艙體存儲(chǔ)冷卻液服務(wù)器設(shè)備應(yīng)滿足冷卻液的兼容性，因此采用定制化T設(shè)備。流場(chǎng)及散熱優(yōu)化。浸沒式液冷設(shè)備內(nèi)部冷卻液與T設(shè)備直接接觸進(jìn)行熱換，由于不同的T設(shè)備熱功耗不同，因此需考慮機(jī)柜內(nèi)溫度場(chǎng)分布均勻，按分配冷卻液流量，避免出現(xiàn)局部熱點(diǎn)，導(dǎo)致設(shè)備過熱宕機(jī)。運(yùn)行維護(hù)便利性由于浸沒式液冷中的服務(wù)器設(shè)備浸泡在浸沒腔中運(yùn)行護(hù)需需要額外吊裝機(jī)械臂，便于將服務(wù)器從冷卻液浸沒腔中取出。圖9浸液+塔架構(gòu)意圖卻3.2.2卻浸沒式液冷的冷卻液幾乎與系統(tǒng)內(nèi)所有材料接觸冷卻液的粘度和沸點(diǎn)等熱物理性能、閃點(diǎn)等易燃性或可燃性能、材料兼容性、對(duì)傳輸信號(hào)影響、絕緣性環(huán)境影響安全性可維護(hù)程度長(zhǎng)期穩(wěn)定和清潔度成本等是浸沒式液冷重要關(guān)注問題應(yīng)全面統(tǒng)籌考慮后進(jìn)行選取目前浸沒式冷卻液主要分為碳?xì)浼坝袡C(jī)硅化合物類和碳氟化合物類。碳?xì)浠衔铮℉drorbo）及有機(jī)硅類冷卻液業(yè)內(nèi)一般統(tǒng)稱為油類冷卻液一般分為天然礦物油合成油有機(jī)硅油3大類常溫下呈黏稠狀比熱容和導(dǎo)熱率較高具有沸點(diǎn)高不易揮發(fā)不腐蝕金屬、環(huán)境友好、毒性低等共性且成本較低；但有閃點(diǎn)，使用中有可燃助燃風(fēng)險(xiǎn)碳氟類（luorocarbo）冷卻液將碳?xì)浠衔镏兴囊徊糠只蛉繗鋼Q為氟而得到的有機(jī)化合物整體傳熱能力更佳同時(shí)無(wú)閃點(diǎn)不可燃?jí)勖L(zhǎng)不易變質(zhì)兼容性好低粘度易維護(hù)更安全可靠面向愈發(fā)嚴(yán)格的環(huán)境保護(hù)要求氟化學(xué)公司正致力于研究開發(fā)超低溫室效應(yīng)碳氟化合（aowWP爭(zhēng)取對(duì)環(huán)境友好的同時(shí)兼顧商用需求、適宜的生產(chǎn)成本和穩(wěn)定工藝，3M、科慕、霍尼韋爾等企業(yè)均有所涉及。同時(shí)，當(dāng)前造價(jià)高隨著技術(shù)發(fā)展與國(guó)產(chǎn)化替代液體成本將逐步下降經(jīng)濟(jì)性得到改善。對(duì)于單相浸沒液冷，碳?xì)浼坝袡C(jī)硅類化合物和碳氟類化合物均有相關(guān)案例后續(xù)需要進(jìn)一步測(cè)試驗(yàn)證。應(yīng)用中還需注意部分風(fēng)冷下工作組件兼容問題如機(jī)械硬盤D無(wú)法直在冷卻液下工作，需選用借助鐳射封裝等技術(shù)將D密封為氦氣硬盤。表4浸式冷卻能對(duì)比對(duì)比碳?xì)溆泄枥涮挤涮烊坏V物油合成油有機(jī)氫氟烴（HF全碳合（PFC）氫氟醚（HF碳氟合物（GW3MFC4全氟三?。?8子冷卻氟化臭氧壞無(wú)無(wú)溫室無(wú)會(huì)帶溫效溫室應(yīng)影較超低溫室效影響液體高低2.2.沸高，易較1716腐蝕不腐金不腐金毒低低成低較高高閃點(diǎn)燃存在有可助燃風(fēng)可設(shè)高閃點(diǎn)但能導(dǎo)致流困無(wú)閃，可老化性容易解老，變氧化生，要期測(cè)不易解可靠壽低，35高，過0兼容兼容兼容雜質(zhì)元件害導(dǎo)熱高低惰低高維護(hù)黏性，便維，需要清黏性，揮，于護(hù)密度（g/c3低高比熱高低揮發(fā)不易易揮綜合熱性與密度、度比熱導(dǎo)有關(guān)低高介電度（絕性>30k>24k介電低低低對(duì)高信號(hào)輸有定影低1.1.推進(jìn)計(jì)劃制定標(biāo)4.制定標(biāo)板式液冷4.1.1板式液冷2023年電信運(yùn)營(yíng)商協(xié)同產(chǎn)業(yè)鏈廠家聯(lián)合技術(shù)攻關(guān)與研發(fā)，年底前形成《冷板式液冷技術(shù)標(biāo)準(zhǔn)2024年提交行業(yè)組織協(xié)會(huì)爭(zhēng)取升級(jí)為團(tuán)體或行業(yè)標(biāo)準(zhǔn)打造解耦液冷機(jī)柜統(tǒng)一接口服務(wù)器柔性基礎(chǔ)設(shè)施的開放先進(jìn)完善的生態(tài)相浸沒式液冷4.1.2相浸沒式液冷2023年啟動(dòng)調(diào)研交流爭(zhēng)取年底前形成統(tǒng)一技術(shù)標(biāo)準(zhǔn)適時(shí)部署后續(xù)工作。測(cè)試驗(yàn)4.測(cè)試驗(yàn)板式液冷4.2.1板式液冷對(duì)于盲插解耦式液冷目前華為超聚變等服務(wù)器廠家已滿足盲插快接國(guó)移動(dòng)已組織研發(fā)新型機(jī)柜將在測(cè)試后及時(shí)開源同時(shí)支持更多服務(wù)器與機(jī)廠家參與，計(jì)劃2023年底前推動(dòng)測(cè)試工作，2024年中完成規(guī)模驗(yàn)證。相浸沒式液冷4.2.2相浸沒式液冷2024年適時(shí)開展系統(tǒng)兼容性、服務(wù)器定制、冷卻液（碳?xì)浼坝袡C(jī)硅化合類和碳氟化合物類）國(guó)產(chǎn)替代等研發(fā)與試點(diǎn)驗(yàn)證。規(guī)模推廣4.規(guī)模推廣經(jīng)測(cè)試驗(yàn)證，2025年及以后在電信行業(yè)規(guī)模應(yīng)用，技術(shù)、生態(tài)、應(yīng)用全領(lǐng)先。5 展望倡議我國(guó)數(shù)字經(jīng)濟(jì)正在轉(zhuǎn)向深化應(yīng)用規(guī)范發(fā)展普惠共享的新階段作為建網(wǎng)絡(luò)強(qiáng)國(guó)數(shù)字中國(guó)智慧社會(huì)的國(guó)家隊(duì)與主力軍中國(guó)移動(dòng)中國(guó)電信中聯(lián)通將全面貫徹落實(shí)新發(fā)展理念服務(wù)新發(fā)展格局堅(jiān)持綠色低碳發(fā)展理念力加強(qiáng)數(shù)據(jù)中心建設(shè)推進(jìn)算力網(wǎng)絡(luò)資源布局促進(jìn)資源要素的高效匯聚動(dòng)、共享，支撐數(shù)字經(jīng)濟(jì)不斷做強(qiáng)、做優(yōu)、做大。為完善液冷產(chǎn)業(yè)標(biāo)準(zhǔn)化和生態(tài)建設(shè)促進(jìn)液冷技術(shù)有序發(fā)展開辟數(shù)據(jù)中心液冷行業(yè)高質(zhì)量發(fā)展道路。在此，倡議產(chǎn)業(yè)各方凝聚共識(shí)、加強(qiáng)協(xié)作，在技術(shù)、產(chǎn)業(yè)生態(tài)等方面攻堅(jiān)克難解決當(dāng)前液冷技術(shù)和產(chǎn)品在接口規(guī)范標(biāo)準(zhǔn)不夠完善原創(chuàng)技術(shù)不夠成熟產(chǎn)業(yè)生態(tài)不夠健全等系列問題建議產(chǎn)業(yè)各方圍“三年愿景”，著力開展以下重點(diǎn)工作：一是凝聚合力加強(qiáng)合作進(jìn)一步加強(qiáng)需求使用單位生產(chǎn)企業(yè)高校和研究單位的合作交流建立協(xié)同發(fā)展機(jī)制通過對(duì)關(guān)鍵技術(shù)領(lǐng)域的聯(lián)合攻關(guān)聯(lián)合試點(diǎn)聯(lián)合推廣等速技術(shù)創(chuàng)新與技術(shù)成熟形成從基礎(chǔ)技術(shù)研究產(chǎn)品開發(fā)應(yīng)用對(duì)接和商業(yè)落地的全