《電信運(yùn)營(yíng)商液冷技術(shù)白皮書》

LiquidCoolingTechnologyWhitepaper(2023年)中國(guó)移動(dòng)通信集團(tuán)有限公司中國(guó)電信集團(tuán)有限公司中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司12前言 11.1面臨形勢(shì)1.1.1高密高算力基礎(chǔ)設(shè)施推動(dòng)液冷新需求圖形渲染等計(jì)算密集型業(yè)務(wù)發(fā)展。計(jì)算型節(jié)點(diǎn)、AI訓(xùn)練、超算等高算力業(yè)務(wù)需數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案》中要求“推動(dòng)數(shù)據(jù)中心采用液冷、機(jī)柜模塊年行動(dòng)計(jì)劃(2021-2023年)》要求“加強(qiáng)核心技術(shù)研發(fā)。鼓勵(lì)企業(yè)加大技術(shù)研發(fā)層，總線級(jí)超融合網(wǎng)絡(luò)等網(wǎng)絡(luò)層的技術(shù)研發(fā)”。2021年11月發(fā)改委《貫徹落實(shí)碳達(dá)峰碳中和目標(biāo)要求推動(dòng)數(shù)據(jù)中心和5G等新型基礎(chǔ)設(shè)施綠色高質(zhì)量發(fā)展實(shí)采用液冷等方式”。22021年7月工信部印發(fā)《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃(2021-2023年)》 (工信部通信〔2021〕76號(hào))，明確“到2023年底，新建大型及以上數(shù)據(jù)中心PUE以內(nèi)”。2021年11月發(fā)改委印發(fā)《貫徹落實(shí)碳達(dá)峰碳中和目標(biāo)要求推動(dòng)數(shù)據(jù)中心和5G等新型基礎(chǔ)設(shè)施綠色高質(zhì)量發(fā)展實(shí)施方案》(發(fā)改高技〔2021〕1742號(hào))，明確“到2025年，月發(fā)改委同意啟動(dòng)建設(shè)全國(guó)一體化算力網(wǎng)絡(luò)國(guó)家樞紐節(jié)點(diǎn)的系列復(fù)函中明1.2發(fā)展現(xiàn)狀31.2.2當(dāng)前液冷技術(shù)發(fā)散冷是用冷卻液直接噴淋芯片等發(fā)熱單元，通過(guò)對(duì)流換熱進(jìn)行散熱的一種方 (1)標(biāo)準(zhǔn)編制中參與編制的“《數(shù)據(jù)中心液冷服務(wù)器系統(tǒng)總體技術(shù)要求和測(cè)試方法》等團(tuán)體標(biāo) (2)應(yīng)用實(shí)踐項(xiàng)、軟件著作權(quán)1項(xiàng)、發(fā)表論文23篇。目前已穩(wěn)定運(yùn)行近10年，年均PUE保4G5中國(guó)電信深入開展數(shù)據(jù)中心綠色低碳化建設(shè)，大力推進(jìn)“要素升級(jí)、集成創(chuàng) (1)技術(shù)研究條件下，液冷運(yùn)行PUE運(yùn)行約1.15，項(xiàng)目2021年獲得“2021信息通信產(chǎn)業(yè)創(chuàng)新貢獻(xiàn)獎(jiǎng)”(ICT最佳案例)。6 (2)試點(diǎn)應(yīng)用GBBU試點(diǎn)應(yīng)用。BUPUEPUEGBBU服務(wù)器試點(diǎn)應(yīng)用U7州安裝冷板式液冷微模塊(2列服務(wù)器機(jī)柜)和風(fēng)冷微模塊各1個(gè)，液冷微模塊劃在京津冀數(shù)據(jù)中心實(shí)施30個(gè)液冷服務(wù)器機(jī)柜；計(jì)劃在安徽建設(shè)3列，每列7臺(tái)36KW冷板式液冷機(jī)柜，預(yù)留8臺(tái)40KW浸沒式液冷機(jī)柜；在廣州開展1個(gè) (1)理論研究溫度相互作用，研究不同液冷技術(shù)必要性及適應(yīng)性，為建立“冷卻-能耗”模型提供8 (2)試點(diǎn)應(yīng)用穩(wěn)定kW液冷機(jī)柜，并同步與風(fēng)冷測(cè)試。風(fēng)冷機(jī)柜PUE為1.448，液冷機(jī)柜PUE為1.254。如考慮液冷模式下主設(shè)備BBU取消風(fēng)PUE1.4產(chǎn)業(yè)生態(tài)1.4.1產(chǎn)業(yè)鏈上游1.4.2產(chǎn)業(yè)鏈中游分1.4.3產(chǎn)業(yè)鏈下游91.5發(fā)展挑戰(zhàn) (1)液冷產(chǎn)業(yè)生態(tài)尚不成熟 (2)液冷系統(tǒng)架構(gòu)尚在演進(jìn) (3)液冷系統(tǒng)成本仍較高2.1三年愿景據(jù)中心電能利用效率)，又要獲取最低TCO(全生命周期成本)；發(fā)揮規(guī)模優(yōu)2023年開展技術(shù)驗(yàn)證，充分驗(yàn)證液冷技術(shù)性能，降低PUE，儲(chǔ)備規(guī)劃、建 2.2技術(shù)路線在芯片演進(jìn)趨勢(shì)上，芯片TDP設(shè)計(jì)功耗不斷增長(zhǎng)，單個(gè)CPU功耗已達(dá)到PUW件2.3生態(tài)完善合作共贏的“新生態(tài)”。3技術(shù)方案3.1冷板式液冷3.1.1服務(wù)器與機(jī)柜解耦 (1)交付模式比較商交付。一體化交付是液冷整機(jī)柜(包括機(jī)柜和服務(wù)器)由廠商自定標(biāo)準(zhǔn)進(jìn)行集 (2)盲插解耦方案CDU源風(fēng)液換熱器，有效提升功率密度，降低PUE，節(jié)省布線空間，提高3.1.2CDU形式布局路主要由CDU(內(nèi)循環(huán)通道部分)、液冷要由CDU(內(nèi)流管路組件系統(tǒng)等組成量分配可維護(hù)性適用場(chǎng)景于業(yè)務(wù)需求明確的場(chǎng)CDU負(fù)率場(chǎng)景，易于機(jī)柜功耗匹配度3.1.3供電模塊器內(nèi)器件供電電壓逐步向48V演進(jìn)，與集中供電適配性高，可進(jìn)一步減少服務(wù)分布供電模式：電源分布在每個(gè)服務(wù)器節(jié)點(diǎn)上，主要由PDU和分布在每個(gè)電模式對(duì)比DC模塊busbar故障時(shí)切換至另外一路。進(jìn)行電源線纜，電機(jī)柜內(nèi)設(shè)備通過(guò)銅排集中取電，極端情況下如分?jǐn)倶I(yè)務(wù)等方式，可避免對(duì)業(yè)務(wù)的影響。3.1.4冷卻液選擇乙二醇溶液為主，浪潮、新華三以25%丙二醇溶液為主。濃度25%并非定值，液性能對(duì)比25%丙二醇去離子水液行標(biāo)要求-℃0-W/m*K)-/(KJ/kg*K)3474812-kgm3)-(mm2/s)52溫度下液體<50mm2/s對(duì)比AAA液體循環(huán)體電阻系數(shù)00μS/cm無(wú)液體允許接觸濃度>100ppm；使用液體要求無(wú)皮膚接觸，無(wú)眼接觸害無(wú)影響-道道放通過(guò)添加劑(緩蝕和殺菌)有效材料的滋長(zhǎng)通過(guò)添加劑(緩蝕和殺菌)有效抑制質(zhì)運(yùn)蝕和 (緩蝕和殺菌)-本熟-3.2浸沒式液冷3.2.1系統(tǒng)方案流場(chǎng)及散熱優(yōu)化。浸沒式液冷設(shè)備內(nèi)部冷卻液與IT設(shè)備直接接觸進(jìn)行熱交換，由于不同的IT設(shè)備熱功耗不同，因此需考慮機(jī)柜內(nèi)溫度場(chǎng)分布均勻，按需圖3.2.2冷卻液 (1)碳?xì)浠衔?Hydrocarbon)及有機(jī)硅類冷卻液油、有機(jī)硅油3 (2)碳氟類(Fluorocarbon)冷卻液溫室效應(yīng)碳氟化合物(UltraLowGWP)，爭(zhēng)取對(duì)環(huán)境友好的同時(shí)兼顧商用需求、例，能對(duì)比硅類冷卻液液天然礦物油合成油 ) P68電子冷卻氟化液壞無(wú)無(wú)無(wú)室效應(yīng)高低2.22.2低低低高高性，會(huì)變色需要定期檢測(cè)害大高低低高，便于維護(hù) 低高高低性能(與密有關(guān))低高 (絕緣性)低低低低4推進(jìn)計(jì)劃4.1制定標(biāo)準(zhǔn)4.1.1冷板式液冷4.1.2單相浸沒式液冷4.2測(cè)試驗(yàn)證4.2.1冷板式液冷4.2.2單相浸沒式液冷2024年適時(shí)開展系統(tǒng)兼容性、服務(wù)器定制、冷卻液(碳?xì)浼坝袡C(jī)硅化合物類和碳氟化合物類)國(guó)產(chǎn)替代等研發(fā)與試點(diǎn)驗(yàn)證。4.3規(guī)模推廣議縮略語(yǔ)列表英文全名IArtificialIntelligencePowerUsageEffectivenessTotalCostofOwnershipThermaldesignpowerCentralProcessingUnitgraphicsprocessingunitcoolantdistributionunitUPowerSupplyUnitPowerDistributionUnit參考文獻(xiàn)著，數(shù)據(jù)中心熱點(diǎn)技術(shù)剖析[M].人民郵電出版社.2019委員會(huì).液冷技術(shù)與應(yīng)用發(fā)展白皮書[R].20185.英特爾公司.綠色數(shù)據(jù)中心創(chuàng)新實(shí)踐——冷板液冷系統(tǒng)設(shè)計(jì)參考[R].6.中國(guó)智能計(jì)算產(chǎn)業(yè)聯(lián)盟.東數(shù)西算下新型算力基礎(chǔ)設(shè)施發(fā)展白皮書[R].心委員會(huì).冷板式液冷服務(wù)器可靠性白皮書[R].20228.開放數(shù)據(jù)中心委員會(huì).ODCC-2020-05001.浸沒液冷數(shù)據(jù)中心規(guī)范[S].9.中華人民共和國(guó)工業(yè)和信息化部.YD/T3979-2021.數(shù)據(jù)中心浸沒式液試方法[S].202110.中華人民共和國(guó)工業(yè)和信息化部.YD/T3980-2021.數(shù)據(jù)中心冷板式液冷試方法[S].202111.中華人民共和國(guó)工業(yè)和信息化部.YD/T3981-2021.數(shù)據(jù)