烽火通信浸沒(méi)式液冷系統(tǒng)測(cè)試報(bào)告

生產(chǎn)單位：烽火通信科技股份有限公司、中國(guó)移動(dòng)通信集中國(guó)信息通信研究院源信息（如送樣人、產(chǎn)地、生產(chǎn)單位等）由客戶提供，1烽火通信科技股份有限公司、中國(guó)移動(dòng)通信CTTL-XXFF-2024-0041《液冷系統(tǒng)測(cè)試方法》4.服務(wù)器結(jié)構(gòu)件：金屬件、塑料件、標(biāo)簽等結(jié)構(gòu)外6.在不同的液泵頻率和液溫下運(yùn)行液冷系統(tǒng)3.服務(wù)器結(jié)構(gòu)件：金屬件、塑料件、標(biāo)4.冷卻液體外觀無(wú)色、透明，氣味），集團(tuán)寧夏有限公司協(xié)調(diào)測(cè)試環(huán)境及場(chǎng)地，中國(guó)移動(dòng)通信集團(tuán)烽火通信浸沒(méi)式液冷系統(tǒng)介紹：該系統(tǒng)由一套浸沒(méi)Tank、一套液冷額定功率20KWCDU、一套室內(nèi)配電箱、一套室外水泵控制柜、寧夏回族自治區(qū)中衛(wèi)市沙坡頭區(qū)沙坡頭區(qū)工業(yè)園區(qū)鳳云路寧夏移動(dòng)中衛(wèi)數(shù)據(jù)中圖1烽火浸沒(méi)式液冷系統(tǒng)液冷機(jī)柜圖2烽火浸沒(méi)式液冷系統(tǒng)室外風(fēng)機(jī)18℃~23℃1服務(wù)器運(yùn)行狀態(tài)驗(yàn)證及程滿載正常運(yùn)行，液冷系統(tǒng)正常運(yùn)行，硬件設(shè)備溫度在正常范圍內(nèi)，CPU和GPU無(wú)2無(wú)3模塊插拔正常，光模塊使用塊插拔正常，光模塊使用正無(wú)4無(wú)5服務(wù)器結(jié)構(gòu)件可靠性分析金屬件、塑料件、標(biāo)簽等結(jié)無(wú)6冷卻液可靠冷卻液體外觀無(wú)色、透明，氣味無(wú)異臭；入液運(yùn)行48小時(shí)后冷卻液體外觀無(wú)變味無(wú)異臭；入液運(yùn)行48小時(shí)無(wú)7液泵頻率和在不同溫度下，服務(wù)器硬件無(wú)8tank溫度最高35.1度，冷卻無(wú)9無(wú)審核人：王少鵬12圖1烽火液冷系統(tǒng)配電圖編號(hào)1檢測(cè)項(xiàng)目服務(wù)器運(yùn)行狀態(tài)驗(yàn)證及核心溫度檢測(cè)目的確保服務(wù)器在液冷環(huán)境中，安全可靠的運(yùn)行檢測(cè)環(huán)境浸沒(méi)式液冷系統(tǒng)前置條件1、液冷系統(tǒng)打開(kāi)正常運(yùn)行2、服務(wù)器放入液冷機(jī)柜中，開(kāi)機(jī)運(yùn)行程序，持續(xù)滿負(fù)載運(yùn)行檢測(cè)步驟開(kāi)始持續(xù)運(yùn)行48小時(shí)，期間觀察服務(wù)器運(yùn)行狀態(tài)，硬件設(shè)備溫度以及液冷系統(tǒng)運(yùn)行狀態(tài)，確保全程服務(wù)器正常滿載運(yùn)行，液冷系統(tǒng)正常運(yùn)行。預(yù)期結(jié)果經(jīng)過(guò)48小時(shí)測(cè)試，服務(wù)器全程滿載正常運(yùn)行，液冷系統(tǒng)正常運(yùn)行，硬件設(shè)備溫度在正常范圍內(nèi)，CPU和GPU溫度不超過(guò)70度。檢測(cè)結(jié)果經(jīng)過(guò)48小時(shí)測(cè)試，服務(wù)器全程滿載正常運(yùn)行，液冷系統(tǒng)正常運(yùn)行，硬件設(shè)備溫度在正常范圍內(nèi)，CPU最高63度，GPU最高65度。備注圖中GPU溫度每八小時(shí)出現(xiàn)一次降溫是由于英偉達(dá)dcgmi命令運(yùn)行時(shí)每八小時(shí)業(yè)務(wù)重啟導(dǎo)致，與液冷系統(tǒng)無(wú)關(guān)編號(hào)2檢測(cè)項(xiàng)目電源熱插拔檢測(cè)目的確保電源在液冷環(huán)境中進(jìn)行插拔操作時(shí)的穩(wěn)定性和性能檢測(cè)環(huán)境浸沒(méi)式液冷電源插拔測(cè)試需要在液冷環(huán)境中進(jìn)行，確保測(cè)試條件與實(shí)際使用場(chǎng)景一致。前置條件1.按照實(shí)際使用場(chǎng)景部署液冷機(jī)柜，安裝服務(wù)器2.服務(wù)器滿負(fù)載運(yùn)行檢測(cè)步驟1.拔出電源線，拔出電源，觀察服務(wù)器運(yùn)行是否正常，整體功耗是否正常，插入電源，插入電源線，再次觀察服務(wù)器運(yùn)行是否正常，整體功耗是否正常，重復(fù)三次。2.跟換下一個(gè)電源，重復(fù)步驟1操作，至到6個(gè)電源均測(cè)試完成預(yù)期結(jié)果全程18次電源插拔，服務(wù)器正常運(yùn)行，功耗穩(wěn)定。檢測(cè)結(jié)果全程18次電源插拔，服務(wù)器正常運(yùn)行，功耗穩(wěn)定。備注電源插拔測(cè)試：第2次正常正常正常2號(hào)電源正常正常正常3號(hào)電源正常正常正常4號(hào)電源正常正常正常5號(hào)電源正常正常正常6號(hào)電源正常正常正常1號(hào)電源：2號(hào)電源:3號(hào)電源：4號(hào)電源：5號(hào)電源：6號(hào)電源編號(hào)3檢測(cè)項(xiàng)目光模塊插拔檢測(cè)目的確保400G光模塊在液冷環(huán)境中正常插拔及運(yùn)行。檢測(cè)環(huán)境浸沒(méi)式液冷電源插拔測(cè)試需要在液冷環(huán)境中進(jìn)行，確保測(cè)試條件與實(shí)際使用場(chǎng)景一致。前置條件1、按照實(shí)際使用場(chǎng)景部署液冷機(jī)柜，安裝服務(wù)器2、400G光模塊通過(guò)MPO光纖與對(duì)端400G光模塊連接3、服務(wù)器開(kāi)機(jī)運(yùn)行檢測(cè)步驟1、插入封裝光模塊，查看網(wǎng)卡指示燈是否由熄滅狀態(tài)變?yōu)轱@示橙色，后面轉(zhuǎn)為綠色2、測(cè)試網(wǎng)絡(luò)是否通暢，然后拔出光模塊3、依次在3張網(wǎng)卡上，重復(fù)上述操作3次預(yù)期結(jié)果全程9次插拔，封裝后的光模塊插拔正常，光模塊使用正常，網(wǎng)絡(luò)通暢檢測(cè)結(jié)果全程9次插拔，封裝后的光模塊插拔正常，光模塊使用正常，網(wǎng)絡(luò)通暢備注光模塊插拔測(cè)試：第2次正常正常正常2號(hào)網(wǎng)卡正常正常正常3號(hào)網(wǎng)卡正常正常正常對(duì)端網(wǎng)卡：1號(hào)網(wǎng)卡：2號(hào)網(wǎng)卡：3號(hào)網(wǎng)卡：編號(hào)4檢測(cè)項(xiàng)目材料/部件兼容性測(cè)試檢測(cè)目的為了評(píng)估液冷環(huán)境對(duì)主板物理特性是否有影響，對(duì)液冷環(huán)境PCBA物理兼容性層面可靠性測(cè)試檢測(cè)環(huán)境浸沒(méi)式液冷系統(tǒng)前置條件無(wú)檢測(cè)步驟1、服務(wù)器入液前，對(duì)服務(wù)器PCBA板部位進(jìn)行拍照2、服務(wù)器入液持續(xù)運(yùn)行48以上小時(shí)3、抬出服務(wù)器，對(duì)服務(wù)器PCBA板相同部位進(jìn)行拍照對(duì)比。預(yù)期結(jié)果PCBA外觀正常，無(wú)變化檢測(cè)結(jié)果PCBA外觀正常，無(wú)變化備注編號(hào)5檢測(cè)項(xiàng)目服務(wù)器結(jié)構(gòu)件可靠性分析檢測(cè)目的為了評(píng)估液冷環(huán)境是否會(huì)影響機(jī)箱結(jié)構(gòu)件的性能，對(duì)機(jī)箱結(jié)構(gòu)件進(jìn)行外觀檢視、烤漆檢視、螺絲扭力測(cè)試等可靠性評(píng)估。檢測(cè)環(huán)境浸沒(méi)式液冷系統(tǒng)前置條件無(wú)檢測(cè)步驟1、服務(wù)器入液前，對(duì)服務(wù)器金屬件、塑料件、標(biāo)簽等進(jìn)行拍照2、服務(wù)器入液持續(xù)運(yùn)行48以上小時(shí)3、抬出服務(wù)器，對(duì)服務(wù)器金屬件、塑料件、標(biāo)簽等相同部位進(jìn)行拍照對(duì)比。預(yù)期結(jié)果金屬件、塑料件、標(biāo)簽等結(jié)構(gòu)，外觀無(wú)變化檢測(cè)結(jié)果金屬件、塑料件、標(biāo)簽等結(jié)構(gòu)，外觀無(wú)變化備注1月15日金屬件和塑料件照片：1月19日金屬件和塑料件照片：1月15日金屬接口照片：1月19日金屬接口照片：1月15日整體結(jié)構(gòu)照片：1月19日整體結(jié)構(gòu)照片：編號(hào)6檢測(cè)項(xiàng)目冷卻液可靠性分析檢測(cè)目的為了測(cè)試浸沒(méi)式液冷服務(wù)器中冷卻液體長(zhǎng)期使用后液體的物理特性及成分是否變化檢測(cè)環(huán)境浸沒(méi)式液冷系統(tǒng)前置條件無(wú)檢測(cè)步驟1、服務(wù)器入液前，對(duì)液體采樣并檢測(cè)2、服務(wù)器入液持續(xù)運(yùn)行48以上小時(shí)，對(duì)液體進(jìn)行第二次采樣并檢測(cè)預(yù)期結(jié)果冷卻液體外觀無(wú)色、透明，氣味無(wú)異臭；入液運(yùn)行48小時(shí)后冷卻液體外觀無(wú)變化。檢測(cè)結(jié)果冷卻液體外觀無(wú)色、透明，氣味無(wú)異臭；入液運(yùn)行48小時(shí)后冷卻液體外觀無(wú)變化。備注編號(hào)7檢測(cè)項(xiàng)目基礎(chǔ)測(cè)試-液泵頻率和液溫測(cè)試檢測(cè)目的檢測(cè)液冷系統(tǒng)液泵在不同頻率下的工作狀態(tài)，服務(wù)器在不同液溫下的硬件溫度檢測(cè)環(huán)境浸沒(méi)式液冷系統(tǒng)前置條件液冷系統(tǒng)部署完成正常運(yùn)行檢測(cè)步驟1、切換至調(diào)試模式，調(diào)節(jié)循環(huán)液泵至不同頻率，待溫度穩(wěn)定后，記錄數(shù)據(jù)2、調(diào)整系統(tǒng)室外散熱邏輯，將液溫升至不同溫度，待穩(wěn)定后，記錄數(shù)據(jù)預(yù)期結(jié)果在不同溫度下，服務(wù)器硬件溫度正常檢測(cè)結(jié)果即使在50度的液溫下，服務(wù)器硬件溫度最高80.12度，仍在正常使用訪問(wèn)內(nèi)備注不同頻率下的系統(tǒng)狀態(tài)頻率設(shè)備PDU度度瞬時(shí)PUE25Hz0.417kW7.632kW32.6℃35.2℃1.054630Hz0.552kW7.910kW32.0℃34.6℃1.069735Hz0.652kW7.799kW30.5℃1.083640Hz0.836kW7.850kW30.6℃33.7℃1.106445Hz1.070kW7.861kW30.5℃33.2℃1.136150Hz1.357kW7.967kW30.8℃32.9℃1.1703不同液溫下的硬件溫度Tank進(jìn)口液溫CPU（平均值）GPU（平均值）30℃57.5℃61.87℃35℃60.0℃64.75℃40℃65.5℃69.75℃45℃73.0℃75.25℃50℃78.5℃編號(hào)8檢測(cè)項(xiàng)目性能測(cè)試檢測(cè)目的測(cè)試設(shè)備在滿載情況下性能是否符合設(shè)計(jì)要求檢測(cè)環(huán)境浸沒(méi)式液冷系統(tǒng)前置條件液冷系統(tǒng)部署完成正常運(yùn)行檢測(cè)步驟1、服務(wù)器滿載運(yùn)行，讀取控制面板上的溫度并記錄預(yù)期結(jié)果1、溫度數(shù)據(jù)應(yīng)低于45℃,冷卻液供回液溫差應(yīng)低于5℃。檢測(cè)結(jié)果進(jìn)tank溫度最高32.6度，出tank溫度最高35.1度，冷卻液供回液溫差低于5℃,符合設(shè)計(jì)要求備注備注液泵頻率率風(fēng)機(jī)轉(zhuǎn)速溫度溫度液冷用電功率室外溫度室外濕度25Hz0%30.6℃34.2℃0.447.9℃30.3%25Hz23%32.2℃34.7℃0.495.6℃31.4%25Hz32.6Hz0%34.6℃0.446.7℃41.4%25Hz33.4Hz24%31.6℃35.0℃0.496.7℃31.4%25Hz32.4Hz0%31.5℃34.4℃0.443.7℃34.6%液泵頻率水泵頻率風(fēng)機(jī)轉(zhuǎn)速溫度溫度液冷用電功率室外溫度室外濕度25Hz32.4Hz0%31.3℃34.4℃0.44kW8.2℃32.0%25Hz33.6Hz23%35.0℃0.49kW5.7℃32.4%25Hz33.6Hz23%31.9℃0.49kW30.2%25Hz32.8Hz0%31.8℃34,6℃0.48kW6.8℃30.2%25Hz33.3Hz23%32.5℃34.9℃0.49kW8.2℃32.0%25Hz0%30.6℃34.2℃0.44kW24.8%液泵頻率水泵頻率風(fēng)機(jī)轉(zhuǎn)速溫度溫度液冷用電功率室外溫度室外濕度25Hz33.8Hz23%32.6℃0.50kW6.2℃35.6%25Hz32.6Hz0%31.5℃34.4℃0.44kW9.0℃32.2%25Hz32.3Hz0%30.0℃34.5℃0.43kW7.3℃38.7%25Hz32.5Hz0%31.0℃34.5℃0.44kW6.6℃39.6%25Hz33.4Hz23%32.2℃34.9℃0.48kW6.4℃41.4%25Hz33.6Hz23%0.49kW9.3℃27.5%編號(hào)9檢測(cè)項(xiàng)目能效測(cè)試檢測(cè)目的測(cè)試計(jì)算液冷系統(tǒng)48小時(shí)PUE能效值檢測(cè)環(huán)境浸沒(méi)式液冷系統(tǒng)前置條件液冷系統(tǒng)部署完成正常運(yùn)行檢測(cè)步驟1、服務(wù)器滿載運(yùn)行，記錄服務(wù)器功耗，液冷設(shè)備功耗，計(jì)算瞬時(shí)PUE。2、記錄開(kāi)始時(shí)間以及PDU和液冷設(shè)備電表值。3、持續(xù)運(yùn)行48小時(shí)，記錄結(jié)束時(shí)PDU和液冷設(shè)備電表值，計(jì)算48小時(shí)平均PUE。預(yù)期結(jié)果瞬時(shí)PUE以及48小時(shí)PUE符合正常PUE范圍檢測(cè)結(jié)果瞬時(shí)PUE在1.0564到1.0661之間，48小時(shí)平均PUE值為1.0604備注液冷系統(tǒng)功耗(含機(jī)器)IT設(shè)備功耗瞬時(shí)PUE7.98kW7.54kW1.05838.01kW7.52kW1.06517.96kW7.52kW1.05858.08kW7.59kW1.06457.97kW7.53kW1.058